內容目錄>>
關聯式資料庫管理系統（RDBMS）框架分散式程式設計分散式檔案系統檔資料模型Key -Map 資料模型鍵-值資料模型圖形資料模型NewSQL資料庫列式資料庫時間序列資料庫類SQL處理數據攝取服務程式設計調度機器學習基準測試安全性系統部署應用程式搜尋引擎與框架MySQL的分支和演化PostgreSQL的分支和演化Memcached的分支和演化内建式資料庫BI商業智慧資料視覺化loT物聯網和感測器文章論文視頻
關聯式資料庫管理系統（RDBMS）
- MySQL：世界最流行的開來源資料庫；
- PostgreSQL：世界最先進的開來源資料庫；
- Oracle 資料庫：物件-關係型數據庫管理系統。
框架
- Apache Hadoop：分散式處理架構，結合了 MapReduce（並行處理）、YARN（作業調度）和HDFS（分散式檔案系統）；
- Tigon：高輸送量即時流處理框架。
分散式程式設計
- AddThis Hydra ：最初在AddThis上開發的分散式資料處理和存儲系統；
- AMPLab SIMR：用在Hadoop MapReduce v1上運行Spark；
- Apache Beam：為統一的模型以及一套用於定義和執行資料處理工作流的特定SDK語言；
- Apache Crunch：一個簡單的Java API，用於執行在普通的MapReduce實現時比較單調的連結、資料聚合等任務；
- Apache DataFu：由LinkedIn開發的針對Hadoop and 和Pig的使用者定義的函數集合；
- Apache Flink：具有高性能的執行時間和自動程式優化；
- Apache Gora：記憶體中的資料模型和持久性框架；
- Apache Hama：BSP（整體同步並行）計算框架；
- Apache MapReduce ：在叢集上使用並行、分散式演算法處理大數據集的程式設計模型；
- Apache Pig ：Hadoop中，用於處理資料分析程式的高級查詢語言；
- Apache REEF ：用來簡化和統一低層大數據系統的保留性評估執行框架；
- Apache S4 ：S4中流處理與實現的框架；
- Apache Spark ：記憶體叢集計算框架；
- Apache Spark Streaming ：流處理框架，同時是Spark的一部分；
- Apache Storm ：Twitter流處理框架，也可用於YARN；
- Apache Samza ：基於Kafka和YARN的流處理框架；
- Apache Tez ：基於YARN，用於執行任務中的複雜DAG（有向無環圖）；
- Apache Twill ：基於YARN的抽象概念，用於減少開發分散式應用程式的複雜度；
- Cascalog：資料處理和查詢庫；
- Cheetah ：在MapReduce之上的高性能、自訂資料倉庫；
- Concurrent Cascading ：在Hadoop上的資料管理/分析框架；
- Damballa Parkour ：用於Clojure的MapReduce庫；
- Datasalt Pangool ：可選擇的MapReduce範例；
- DataTorrent StrAM ：為即時引擎，用於以盡可能暢通的方式、最小的開支和對性能最小的影響，實現分散式、非同步、即時的記憶體大數據計算；
- Facebook Corona ：為Hadoop做優化處理，從而消除單點故障；
- Facebook Peregrine ：MapReduce框架；
- Facebook Scuba ：分散式記憶體資料存儲；
- Google Dataflow ：創建資料管道，以説明其分析框架；
- Netflix PigPen ：為MapReduce，用於編譯成Apache Pig；
- Nokia Disco ：由Nokia開發的MapReduc獲取、轉換和分析資料；
- Google MapReduce ：MapReduce框架；
- Google MillWheel ：容錯流處理框架；
- JAQL ：用於處理結構化、半結構化和非結構化資料工作的宣告式程式設計語言；
- Kite ：為一組庫、工具、實例和檔案集，用於使在Hadoop的生態系統上建立系統更加容易；
- Metamarkets Druid ：用於大數據集的即時e框架；
- Onyx ：分散式雲計算；
- Pinterest Pinlater ：非同步任務執行系統；
- Pydoop ：用於Hadoop的Python MapReduce和HDFS API；
- Rackerlabs Blueflood ：多租戶分散式測度處理系統；
- Stratosphere ：通用叢集計算框架；
- Streamdrill ：用於計算基於不同時間視窗的事件流的活動，並找到最活躍的一個；
- Tuktu ：易於使用的用於分批次處理和流計算的平臺，通過Scala、 Akka和Play所建；
- Twitter Scalding：基於Cascading，用於Map Reduce工作的Scala庫；
- Twitter Summingbird ：在Twitter上使用Scalding和Storm串流MapReduce；
- Twitter TSAR ：Twitter上的時間序列聚合器。
分散式檔案系統
- Apache HDFS：在多台機器上存儲大型檔的方式；
- BeeGFS：以前是FhGFS，並行分散式檔案系統；
- Ceph Filesystem：設計的軟體存儲平臺；
- Disco DDFS：分散式檔案系統；
- Facebook Haystack：物件存儲系統；
- Google Colossus：分散式檔案系統(GFS2)；
- Google GFS：分散式檔案系統；
- Google Megastore：可擴展的、高度可用的存儲；
- GridGain：相容GGFS、Hadoop記憶體的檔案系統；
- Lustre file system：高性能分散式檔案系統；
- Quantcast File System QFS：開源分散式檔案系統；
- Red Hat GlusterFS：向外擴展的附網存儲（Network-attached Storage）檔案系統；
- Seaweed-FS：簡單的、高度可擴展的分散式檔案系統；
- Alluxio：以可靠的存儲速率在跨叢集框架上檔共用；
- Tahoe-LAFS：分散式雲存儲系統；
檔資料模型
- Actian Versant：商用的物件導向資料庫管理系統；
- Crate Data：是一個開源的大規模可擴展的資料存儲，需要零管理模式；
- Facebook Apollo：Facebook的Paxos演算法，類似於NoSQL資料庫；
- jumboDB：基於Hadoop的面向叢集的資料存儲；
- LinkedIn Espresso：可橫向擴展的面向叢集的NoSQL資料存儲；
- MarkLogic：模式不可知的企業版NoSQL資料庫技術；
- MongoDB：面向檔案的資料庫系統；
- RavenDB：一個事務性的，開來源文件資料庫；
- RethinkDB：支援連結查詢和群組依據等查詢的檔案型資料庫。
Key Map 資料模型
注意：業記憶體在一些術語混亂，有兩個不同的東西都叫做“列式資料庫”。這裡列出的有一些是圍繞“key-map”資料模型而建的分散式、持續型資料庫，其中所有的資料都有（可能綜合了）鍵，並與映射中的鍵-值對相關聯。在一些系統中，多個這樣的值映射可以與鍵相關聯，並且這些映射被稱為“列族”（具有映射值的鍵被稱為【欄】）。
另一組也可稱為【列式資料庫】的技術因其存儲資料的方式而有別於前一組，它在磁片上或在記憶體中 — — 而不是以傳統方式，即所有既定鍵的鍵值都相鄰著、逐行存儲。這些系統也彼此相鄰來存儲所有列值，但是要得到給定列的所有值卻不需要以前那麼繁複的工作。
前一組在這裡被稱為【key map資料模型】，這兩者和Key-value 資料模型之間的界限是相當模糊的。後者對資料模型有更多的存儲格式，可在列式資料庫中列出。若想瞭解更多關於這兩種模型的區分，可閱讀Daniel Abadi的博客：Distinguishing two major types of Column Stores。
- Apache Accumulo：內置在Hadoop上的分散式鍵/值存儲；
- Apache Cassandra：由BigTable授權，面向列的分散式資料存儲；
- Apache HBase：由BigTable授權，面向列的分散式資料存儲；
- Facebook HydraBase：Facebook所開發的HBase的衍化品；
- Google BigTable：面向列的分散式資料存儲；
- Google Cloud Datastore：為完全管理型的無模式資料庫，用於存儲在BigTable上非關聯式資料；
- Hypertable：由BigTable授權，面向列的分散式資料存儲；
- InfiniDB：通過MySQL的介面訪問，並使用大規模並行處理進行並行查詢；
- Tephra：用於HBase處理；
- Twitter Manhattan：Twitter的即時、多租戶分散式資料庫。
鍵-值資料模型
- Aerospike：支援NoSQL的快閃記憶體優化，資料存儲在記憶體。開源，“’C’（不是Java或Erlang）中的伺服器代碼可精確地調整從而避免上下文切換和記憶體拷貝”。
- Amazon DynamoDB：分散式鍵/值存儲，Dynamo論文的實現；
- Edis：為替代Redis的協定相容的伺服器；
- ElephantDB：專門研究Hadoop中資料匯出的分散式資料庫；
- EventStore：分散式時間序列資料庫；
- GridDB：適用於存儲在時間序列中的感測器資料；
- LinkedIn Krati：簡單的持久性資料存儲，擁有低延遲和高輸送量；
- Linkedin Voldemort：分散式鍵/值存儲系統；
- Oracle NoSQL Database：Oracle公司開發的分散式鍵值資料庫；
- Redis：記憶體中的鍵值資料存儲；
- Riak：分散式資料存儲；
- Storehaus：Twitter開發的非同步鍵值存儲的庫；
- Tarantool：一個高效的NoSQL資料庫和Lua應用伺服器；
- TiKV：由Google Spanner和HBase授權，Rust提供技術支援的分散式鍵值資料庫；
- TreodeDB：可複製、共用的鍵-值存儲，能提供多行原子寫入。
圖形資料模型
- Apache Giraph：基於Hadoop的Pregel實現；
- Apache Spark Bagel：可實現Pregel，為Spark的一部分；
- ArangoDB：多層模型分散式資料庫；
- DGraph：一個可擴展的、分散式、低時延、高輸送量的圖形資料庫，旨在為Google生產水準規模和輸送量提供足夠的低延遲，用於TB級的結構化資料的即時使用者查詢；
- Facebook TAO：TAO是facebook廣泛用來存儲和服務於社交圖形的分散式資料存儲；
- GCHQ Gaffer：GCHQ中的Gaffer是一個易於存儲大規模圖形的框架，其中節點和邊緣都有統計資料；
- Google Cayley：開源圖形資料庫；
- Google Pregel ：圖形處理框架；
- GraphLab PowerGraph：核心C ++ GraphLab API和建立在GraphLab API之上的高性能機器學習和資料採擷工具包的集合；
- GraphX：Spark中的彈性分散式圖形系統；
- Gremlin：圖形追蹤語言；
- Infovore：以RDF為中心的Map / Reduce框架；
- Intel GraphBuilder：在Hadoop上構建大規模圖形的工具；
- MapGraph：用於在GPU上大規模並行圖形處理；
- Neo4j：完全用Java寫入的圖形資料庫；
- OrientDB：檔案和圖形資料庫；
- Phoebus：大型圖形處理框架；
- Titan：建於Cassandra的分散式圖形資料庫；
- Twitter FlockDB：分散式圖形資料庫。
NewSQL資料庫
- Actian Ingres：由商業支援，開源的SQL關聯式資料庫管理系統；
- Amazon RedShift：基於PostgreSQL的資料倉庫服務；
- BayesDB：面向統計數值的SQL資料庫；
- CitusDB：通過分區和複製橫向擴展PostgreSQL；
- Cockroach：可擴展、位址可複製、交易型的資料庫；
- Datomic：旨在產生可擴展、靈活的智慧應用的分散式資料庫；
- FoundationDB：由F1授意的分散式資料庫；
- Google F1：建立在Spanner上的分散式SQL資料庫；
- Google Spanner：全球性的分散式半關係型數據庫；
- H-Store：是一個實驗性主存並行資料庫管理系統，用於連線交易處理（OLTP）應用的優化；
- Haeinsa：基於Percolator，HBase的線性可擴展多行多表交易庫；
- HandlerSocket：MySQL/MariaDB的NoSQL外掛程式；
- InfiniSQL：無限可擴展的RDBMS；
- MemSQL：記憶體中的SQL資料庫，其中有優化的快閃記憶體列存儲；
- NuoDB：SQL / ACID相容的分散式資料庫；
- Oracle TimesTen in-Memory Database：記憶體中具有持久性和可恢復性的關係型數據庫管理系統；
- Pivotal GemFire XD：記憶體中低延時的分散式SQL資料存儲，可為記憶體清單資料提供SQL介面，在HDFS中較持久化；
- SAP HANA：是在記憶體中面向列的關係型數據庫管理系統；
- SenseiDB：分散式即時半結構化的資料庫；
- Sky：用於行為資料的靈活、高性能分析的資料庫；
- SymmetricDS：用於檔和資料庫同步的開源軟體；
- Map-D：為GPU記憶體中資料庫，也為大資料分析和視覺化平臺；
- TiDB：TiDB是分散式SQL資料庫，基於穀歌F1的設計靈感；
- VoltDB：自稱為最快的記憶體中資料庫。
列式資料庫
注意：請在鍵-值資料模型 閱讀相關注釋。
- Columnar Storage：解釋什麼是列存儲以及何時會需要用到它；
- Actian Vector：面向列的分析型資料庫；
- C-Store：面向列的DBMS；
- MonetDB：列存儲資料庫；
- Parquet：Hadoop的列存儲格式；
- Pivotal Greenplum：專門設計的、專用的分析資料倉庫，類似于傳統的基於行的工具，提供了一個列式工具；
- Vertica：用來管理大規模、快速增長的大量資料，當用於資料倉庫時，能夠提供非常快的查詢性能；
- Google BigQuery ：google的雲產品，由其在Dremel的創始工作提供支援；
- Amazon Redshift ：亞馬遜的雲產品，它也是基於柱狀資料存儲後端。
時間序列資料庫
- Cube：使用MongoDB來存儲時間序列資料；
- Axibase Time Series Database：在HBase之上的分散式時間序列資料庫，它包括內置的Rule Engine、資料預測和視覺化；
- Heroic：基於Cassandra和Elasticsearch的可擴展的時間序列資料庫；
- InfluxDB：分散式時間序列資料庫；
- Kairosdb：類似於OpenTSDB但會考慮到Cassandra；
- OpenTSDB：在HBase上的分散式時間序列資料庫；
- Prometheus：一種時間序列資料庫和服務監測系統；
- Newts：一種基於Apache Cassandra的時間序列資料庫。
類SQL處理
- Actian SQL for Hadoop：高性能互動式的SQL，可訪問所有的Hadoop資料；
- Apache Drill：由Dremel授意的互動式分析框架；
- Apache HCatalog：Hadoop的表格和存儲管理層；
- Apache Hive：Hadoop的類SQL數倉系統；
- Apache Optiq：一種框架，可允許高效的查詢翻譯，其中包括異構性及聯合性資料的查詢；
- Apache Phoenix：Apache Phoenix 是 HBase 的 SQL 驅動；
- Cloudera Impala：由Dremel授意的互動式分析框架；
- Concurrent Lingual：Cascading中的類SQL查詢語言；
- Datasalt Splout SQL：用於大數據集的完整的SQL查詢工具；
- Facebook PrestoDB：分散式SQL查詢工具；
- Google BigQuery：互動式分析框架，Dremel的實現；
- Pivotal HAWQ：Hadoop的類SQL的資料倉庫系統；
- RainstorDB：用於存儲大規模PB級結構化和半結構化資料的資料庫；
- Spark Catalyst：用於Spark和Shark的查詢優化框架；
- SparkSQL：使用Spark操作結構化資料；
- Splice Machine：一個全功能的Hadoop上的SQL RDBMS，並帶有ACID事務；
- Stinger：用於Hive的互動式查詢；
- Tajo：Hadoop的分散式數倉系統；
- Trafodion：為企業級的SQL-on-HBase針對大數據的事務或業務工作負載的解決方案。
數據攝取
- Amazon Kinesis：大規模資料流程的即時處理；
- Apache Chukwa：資料獲取系統；
- Apache Flume：管理大量日誌資料的服務；
- Apache Kafka：分散式發佈-訂閱消息系統；
- Apache Sqoop：在Hadoop和結構化的資料存儲區之間傳送資料的工具；
- Cloudera Morphlines：幫助 Solr、HBase和HDFS完成ETL的框架；
- Facebook Scribe：流日誌資料聚合器；
- Fluentd：採集事件和日誌的工具；
- Google Photon：即時連接多個資料流程的分散式運算機系統，具有高可擴展性和低延遲性；
- Heka：開源流處理軟體系統；
- HIHO：用Hadoop連接不同資料來源的框架；
- Kestrel：分散式訊息佇列系統；
- LinkedIn Databus：對資料庫更改捕獲的事件流；
- LinkedIn Kamikaze：壓縮已分類整型陣列的套裝程式；
- LinkedIn White Elephant：日誌聚合器和儀錶板；
- Logstash：用於管理事件和日誌的工具；
- Netflix Suro：像基於Chukwa 的Storm和Samza一樣的日誌聚合器；
- Pinterest Secor：是實現Kafka日誌持久性的服務；
- Linkedin Gobblin：LinkedIn的通用資料攝取框架；
- Skizze：是一種資料存儲略圖，使用概率性資料結構來處理計數、略圖等相關的問題；
- StreamSets Data Collector：連續大數據獲取的基礎設施，可簡單地使用IDE。
服務程式設計
- Akka Toolkit：JVM中分佈性、容錯事件驅動應用程式的執行時間；
- Apache Avro：資料序列化系統；
- Apache Curator：Apache ZooKeeper的Java庫；
- Apache Karaf：在任何OSGi框架之上運行的OSGi執行時間；
- Apache Thrift：構建二進位協定的框架；
- Apache Zookeeper：流程管理集中式服務；
- Google Chubby：一種松耦合分散式系統鎖服務；
- Linkedin Norbert：叢集管理器；
- OpenMPI：消息傳遞框架；
- Serf：服務發現和協調的分散化解決方案；
- Spotify Luigi：一種構建批次處理作業的複雜管道的Python包，它能夠處理依賴性解析、工作流管理、視覺化、故障處理、命令列一體化等等問題；
- Spring XD：資料攝取、即時分析、批量處理和資料匯出的分散式、可擴展系統；
- Twitter Elephant Bird：LZO壓縮資料的工作庫；
- Twitter Finagle：JVM的非同步網路堆疊。
調度
- Apache Aurora：在Apache Mesos之上運行的服務調度程式；
- Apache Falcon：資料管理框架；
- Apache Oozie：工作流作業調度程式；
- Chronos：分散式容錯調度；
- Linkedin Azkaban：批次處理工作流作業調度；
- Schedoscope：Hadoop作業敏捷調度的Scala DSL；
- Sparrow：調度平臺；
- Airflow：一個以程式設計方式編寫、調度和監控工作流的平臺。
機器學習
- Apache Mahout：Hadoop的機器學習庫；
- brain：JavaScript中的神經網路；
- Cloudera Oryx：即時大規模機器學習；
- Concurrent Pattern：Cascading的機器學習庫；
- convnetjs：Javascript中的機器學習，在流覽器中訓練卷積神經網路（或普通網路）；
- Decider：Ruby中靈活、可擴展的機器學習；
- ENCOG：支援多種先進演算法的機器學習框架，同時支援類的標準化和處理資料；
- etcML：機器學習文本分類；
- Etsy Conjecture：Scalding中可擴展的機器學習；
- Google Sibyl：Google中的大規模機器學習系統；
- GraphLab Create：Python的機器學習平臺，包括ML工具包、資料工程和部署工具的廣泛集合；
- H2O：Hadoop統計性的機器學習和數學執行時間；
- MLbase：用於BDAS堆疊的分散式機器學習庫；
- MLPNeuralNet：針對iOS和Mac OS X的快速多層感知神經網路庫；
- MonkeyLearn：使文本挖掘更為容易，從文本中提取分類資料；
- nupic：智慧計算的Numenta平臺，它是一個啟發大腦的機器智力平臺，基於皮質學習演算法的精准的生物神經網路；
- PredictionIO：建於Hadoop、Mahout和Cascading上的機器學習伺服器；
- SAMOA：分散式流媒體機器學習框架；
- scikit-learn：scikit-learn為Python中的機器學習；
- Spark MLlib：Spark中一些常用的機器學習（ML）功能的實現；
- Vowpal Wabbit：微軟和yahoo發起的學習系統；
- WEKA：機器學習軟體套件；
- BidMach：CPU和加速GPU的機器學習庫。
基準測試
- Apache Hadoop Benchmarking：測試Hadoop性能的微基準；
- Berkeley SWIM Benchmark：現實大數據工作負載基準測試；
- Intel HiBench：Hadoop基準測試套件；
- PUMA Benchmarking：MapReduce應用的基準測試套件；
- Yahoo Gridmix3：yahoo工程師團隊的Hadoop叢集基準測試。
安全性
- Apache Knox Gateway：Hadoop集群安全訪問的單點；
- Apache Sentry：存儲在Hadoop的資料安全模組。
系統部署
- Apache Ambari：Hadoop管理的運作框架；
- Apache Bigtop：Hadoop生態系統的部署框架；
- Apache Helix：叢集管理框架；
- Apache Mesos：叢集管理器；
- Apache Slider：一種YARN應用，用來部署YARN中現有的分散式應用程式；
- Apache Whirr：運行雲服務的庫集；
- Apache YARN：叢集管理器；
- Brooklyn：用於簡化應用程式部署和管理的庫；
- Buildoop：基於Groovy語言，和Apache BigTop類似；
- Cloudera HUE：和Hadoop進行交互的Web應用程式；
- Facebook Prism：多資料中心複製系統；
- Google Borg：作業調度和監控系統；
- Google Omega：作業調度和監控系統；
- Hortonworks HOYA：可在YARN上部署HBase集群的應用；
- Marathon：用於長期運行服務的Mesos框架。
應用程式
- Adobe spindle：使用Scala、Spark和Parquet處理的下一代web分析；
- Apache Kiji：基於HBase，即時採集和分析資料的框架；
- Apache Nutch：開源網路爬蟲；
- Apache OODT：用於NASA科學檔案中資料的捕獲、處理和共用；
- Apache Tika：內容分析工具包；
- Argus：時間序列監測和報警平臺；
- Countly：基於Node.js和MongoDB，開源的手機和網路分析平臺；
- Domino：運行、規劃、共用和部署模型 — — 沒有任何基礎設施；
- Eclipse BIRT：基於Eclipse的報告系統；
- Eventhub：開源的事件分析平臺；
- Hermes：建於Kafka上的非同步消息代理；
- HIPI Library：在Hadoop’s MapReduce上執行影像處理任務的API；
- Hunk：Hadoop的Splunk分析；
- Imhotep：大規模分析平臺；
- MADlib：RDBMS的用於資料分析的資料處理庫；
- Kylin：來自eBay的開源分散式分析工具；
- PivotalR：Pivotal HD / HAWQ和PostgreSQL中的R；
- Qubole：為自動縮放Hadoop集群，內置的資料連接器；
- Sense：用於資料科學和大資料分析的雲平臺；
- SnappyData：用於即時營運分析的分散式記憶體資料存儲，提供建立在Spark單一内建叢集中的資料流程分析、OLTP（連線交易處理）和OLAP（連線分析處理）；
- Snowplow：企業級網路和事件分析，由Hadoop、Kinesis、Redshift 和Postgres提供技術支援；
- SparkR：Spark的R前端；
- Splunk：用於機器生成的資料的分析；
- Sumo Logic：基於雲的分析儀，用於分析機器生成的資料；
- Talend：用於YARN、Hadoop、HBASE、Hive、HCatalog和Pig的統一開源環境；
- Warp：利用大資料（OS X app）的實例查詢工具。
搜尋引擎與框架
- Apache Lucene：搜尋引擎庫；
- Apache Solr：用於Apache Lucene的搜索平臺；
- ElasticSearch：基於Apache Lucene的搜索和分析引擎；
- Enigma.io：為免費增值的健壯性web應用，用於探索、篩選、分析、搜索和匯出來自網路的大規模資料集；
- Facebook Unicorn：社交圖形搜索平臺；
- Google Caffeine：連續索引系統；
- Google Percolator：連續索引系統；
- TeraGoogle：大型搜索索引；
- HBase Coprocessor：為Percolator的實現，HBase的一部分；
- Lily HBase Indexer：快速、輕鬆地搜索存儲在HBase的任何內容；
- LinkedIn Bobo：完全由Java編寫的分面搜索的實現，為Apache Lucene的延伸；
- LinkedIn Cleo：為一個一個靈活的軟體庫，使得局部、無序、即時預輸入的搜索實現了快速發展；
- LinkedIn Galene：LinkedIn搜索架構；
- LinkedIn Zoie：是用Java編寫的即時搜索/索引系統；
- Sphinx Search Server：全文檢索搜尋引擎
MySQL的分支和演化
- Amazon RDS：亞馬遜雲的MySQL資料庫；
- Drizzle：MySQL的6.0的演化；
- Google Cloud SQL：谷歌雲的MySQL資料庫；
- MariaDB：MySQL的增強版嵌入式替代品；
- MySQL Cluster：使用NDB叢集存儲引擎的MySQL實現；
- Percona Server：MySQL的增強版嵌入式替代品；
- ProxySQL：MySQL的高性能代理；
- TokuDB：用於MySQL和 MariaDB的存儲引擎；
- WebScaleSQL：運行MySQL時面臨類似挑戰的幾家公司，它們的工程師之間的合作。
PostgreSQL的分支和演化
- Yahoo Everest — multi-peta-byte database / MPP derived by PostgreSQL.
- HadoopDB：MapReduce和DBMS的混合體；
- IBM Netezza：高性能資料倉庫設備；
- Postgres-XL：基於PostgreSQL，可擴展的開來源資料庫集群；
- RecDB：完全建立在PostgreSQL內部的開源推薦引擎；
- Stado：開源MPP資料庫系統，只針對資料倉庫和資料集市的應用程式；
- Yahoo Everest：PostgreSQL可以推導多位元組P比特資料庫/MPP。
Memcached的分支和演化
- Facebook McDipper：快閃記憶體的鍵/值緩存；
- Facebook Memcached：Memcache的分支；
- Twemproxy：Memcached和Redis的快速、輕型代理；
- Twitter Fatcache：快閃記憶體的鍵/值緩存；
- Twitter Twemcache：Memcache的分支。
内建式資料庫
- Actian PSQL：Pervasive Software公司開發的ACID相容的DBMS，在應用程式中嵌入了優化；
- BerkeleyDB：為鍵/值資料提供一個高性能的嵌入式資料庫的一個軟體庫；
- HanoiDB：Erlang LSM BTree存儲；
- LevelDB：google寫的一個快速鍵-值存儲庫，它提供了從字串鍵到字串值的有序映射；
- LMDB：Symas開發的超快、超緊湊的鍵-值嵌入的式資料存儲；
- RocksDB：基於性LevelDB，用於快速存儲的嵌入式持續性鍵-值存儲。
商業智慧
- BIME Analytics：商業智慧雲平臺；
- Chartio：精益業務智慧平臺，用於視覺化和探索資料；
- datapine：基於雲的自助服務商業智慧工具；
- Jaspersoft：功能強大的商業智慧套件；
- Jedox Palo：定制的商業智慧平臺；
- Microsoft：商業智慧軟體和平臺；
- Microstrategy：商業智慧、行動智慧和網路應用軟體平臺；
- Pentaho：商業智慧平臺；
- Qlik：商業智慧和分析平臺；
- FineBI：大數據BI商業智慧分析平臺；
- Saiku：開源的分析平臺；
- SpagoBI：開源商業智慧平臺；
- Tableau：商業智慧平臺；
- Zoomdata：大數據分析；
- Jethrodata：互動式大數據分析。
數據視覺化
- Airpal：用於PrestoDB的網頁UI；
- Arbor：利用網路工作者和jQuery的圖形視覺化庫；
- Banana：對存儲在Kibana中Solr. Port的日誌和時戳資料進行視覺化；
- Bokeh：一個功能強大的Python互動式視覺化庫，它針對要展示的現代web流覽器，旨在為D3.js風格的新奇的圖形提供優雅簡潔的設計，同時在大規模資料或流資料集中，通過高性能交互性來表達這種能力；
- C3：基於D3可重複使用的圖表庫；
- CartoDB：開源或免費增值的虛擬主機，用於帶有強大的前端編輯功能和API的地理空間資料庫；
- chartd：只帶Img標籤的反應靈敏、相容Retina的圖表；
- Chart.js：開源的HTML5圖表視覺化效果；
- Chartist.js：另一個開源HTML5圖表視覺化效果；
- Crossfilter：JavaScript庫，用於在流覽器中探索多元大資料集，用Dc.js和D3.js.效果很好；
- Cubism：用於時間序列視覺化的JavaScript庫；
- Cytoscape：用於視覺化複雜網路的JavaScript庫；
- DC.js：維度圖表，和Crossfilter一起使用，通過D3.js呈現出來，它比較擅長連接圖表/附加的中繼資料，從而徘徊在D3的事件附近；
- D3：操作檔的JavaScript庫；
- D3.compose：從可重複使用的圖表和元件構成複雜的、資料驅動的視覺化；
- D3Plus：一組相當強大的可重用的圖表，還有D3.js的樣式；
- Echarts：百度企業場景圖表；
- Envisionjs：動態HTML5視覺化；
- FnordMetric：寫SQL查詢，返回SVG圖表，而不是表；
- Freeboard：針對IOT和其他Web混搭的開源即時儀錶盤構建；
- Gephi：屢獲殊榮的開源平臺，視覺化和操縱大型圖形和網路連接，有點像Photoshop，但是針對於圖表，適用於Windows和Mac OS X；
- Google Charts：簡單的圖表API；
- Grafana：石墨儀錶板前端、編輯器和圖形組合器；
- Graphite：可擴展的即時圖表；
- Highcharts：簡單而靈活的圖表API；
- IPython：為互動式計算提供豐富的架構；
- Kibana：視覺化日誌和時間標記資料；
- Matplotlib：Python繪圖；
- Metricsgraphic.js：建立在D3之上的庫，針對時間序列資料進行最優化；
- NVD3：d3.js的圖表元件；
- Peity：漸進式SVG橫條圖，折線和圓形圖；
- Plot.ly：易於使用的Web服務，它允許快速創建從熱圖到長條圖等複雜的圖表，使用圖表Plotly的線上試算表上傳資料進行創建和設計；
- Plotly.js：支援plotly的開源JavaScript圖形庫；
- Recline：簡單但功能強大的庫，純粹利用JavaScript和HTML構建資料應用；
- Redash：查詢和資料視覺化視覺化的開源平臺；
- Shiny：針對R的Web應用程式框架；
- Sigma.js：JavaScript庫，專門用於圖形繪製；
- Vega：一個視覺化語法；
- Zeppelin：一個筆記本式的協作資料分析；
- Zing Charts：用於大數據的JavaScript圖表庫。
loT物聯網和感測器
- TempoIQ：基於雲的感測器分析；
- 2lemetry：物聯網平臺；
- Pubnub：資料流程網路；
- ThingWorx：ThingWorx 是讓企業快速創建和運行互聯應用程式平臺；
- IFTTT：IFTTT 是一個被稱為 “網路自動化神器” 的創新型互聯網服務，它的全稱是 If this then that，意思是“如果這樣，那麼就那樣”；
- Evrythng：Evrythng則是一款真正意義上的大眾物聯網平臺，使得身邊的很多產品變得智慧化。
文章推薦
- NoSQL Comparison（NoSQL 比較）- Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison；
- Big Data Benchmark（大資料基準）- Redshift, Hive, Shark, Impala and Stiger/Tez的基準；
- The big data successor of the spreadsheet（試算表的大資料繼承者） — 試算表的繼承者應該是大資料。
- 零基礎快速自學SQL，1天足矣！ -快速把握sql學習方向，內文有習題
論文
2015–2016
- 2015 — Facebook — One Trillion Edges: Graph Processing at Facebook-Scale.（一兆邊：Facebook規模的影像處理）
2013–2014
- 2014 — Stanford — Mining of Massive Datasets.（海量資料集挖掘）
- 2013 — AMPLab — Presto: Distributed Machine Learning and Graph Processing with Sparse Matrices. （Presto： 疏鬆陣列的分散式機器學習和影像處理）
- 2013 — AMPLab — MLbase: A Distributed Machine-learning System. （MLbase：分散式機器學習系統）
- 2013 — AMPLab — Shark: SQL and Rich Analytics at Scale. （Shark: 大規模的SQL 和豐富的分析）
- 2013 — AMPLab — GraphX: A Resilient Distributed Graph System on Spark. （GraphX:基於Spark的彈性分散式圖計算系統）
- 2013 — Google — HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm. （HyperLogLog實踐:一個藝術形態的基數估算演算法）
- 2013 — Microsoft — Scalable Progressive Analytics on Big Data in the Cloud.（雲端大資料的可擴展性漸進分析）
- 2013 — Metamarkets — Druid: A Real-time Analytical Data Store. （Druid：即時分析資料存儲）
- 2013 — Google — Online, Asynchronous Schema Change in F1.（F1中線上、非同步模式的轉變）
- 2013 — Google — F1: A Distributed SQL Database That Scales. （F1: 分散式SQL資料庫）
- 2013 — Google — MillWheel: Fault-Tolerant Stream Processing at Internet Scale.（MillWheel: 互聯網規模下的容錯流處理）
- 2013 — Facebook — Scuba: Diving into Data at Facebook. （Scuba: 深入Facebook的資料世界）
- 2013 — Facebook — Unicorn: A System for Searching the Social Graph. （Unicorn: 一種搜索社交圖的系統）
- 2013 -Facebook — Scaling Memcache at Facebook. （Facebook 對 Memcache 伸縮性的增強）
2011–2012
- 2012 — Twitter — The Unified Logging Infrastructure for Data Analytics at Twitter. （Twitter資料分析的統一日誌基礎結構）
- 2012 — AMPLab –Blink and It’s Done: Interactive Queries on Very Large Data. （Blink及其完成：超大規模資料的互動式查詢）
- 2012 — AMPLab –Fast and Interactive Analytics over Hadoop Data with Spark. （Spark上 Hadoop資料的快速互動式分析）
- 2012 — AMPLab –Shark: Fast Data Analysis Using Coarse-grained Distributed Memory. （Shark：使用粗細微性的分散式記憶體快速資料分析）
- 2012 — Microsoft –Paxos Replicated State Machines as the Basis of a High-Performance Data Store. （Paxos的複製狀態機 — — 高性能資料存儲的基礎）
- 2012 — Microsoft –Paxos Made Parallel. （Paxos演算法實現並行）
- 2012 — AMPLab — BlinkDB：BlinkDB: Queries with Bounded Errors and Bounded Response Times on Very Large Data.（超大規模資料中有限誤差與有界回應時間的查詢）
- 2012 — Google –Processing a trillion cells per mouse click.（每次點擊處理一兆個儲存格）
- 2012 — Google –Spanner: Google’s Globally-Distributed Database.（Spanner：google全球分散式資料庫）
- 2011 — AMPLab –Scarlett: Coping with Skewed Popularity Content in MapReduce Clusters.（Scarlett：應對MapReduce集群中的偏向性內容）
- 2011 — AMPLab –Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center.（Mesos：資料中心中細細微性資源分享的平臺）
- 2011 — Google –Megastore: Providing Scalable, Highly Available Storage for Interactive Services.（Megastore：為互動式服務提供可擴展，高度可用的存儲）
2001–2010
- 2010 — Facebook — Finding a needle in Haystack: Facebook’s photo storage.（探究Haystack中的細微之處： Facebook圖片存儲）
- 2010 — AMPLab — Spark: Cluster Computing with Working Sets.（Spark:工作組上的集群計算）
- 2010 — Google — Storage Architecture and Challenges.（存儲架構與挑戰）
- 2010 — Google — Pregel: A System for Large-Scale Graph Processing.（Pregel: 一種大型圖形處理系統）
- 2010 — Google — Large-scale Incremental Processing Using Distributed Transactions and Notifications base of Percolator and Caffeine.（使用基於Percolator 和 Caffeine平臺分散式事務和通知的大規模增量處理）
- 2010 — Google — Dremel: Interactive Analysis of Web-Scale Datasets.（Dremel: Web規模資料集的交互分析）
- 2010 — Yahoo — S4: Distributed Stream Computing Platform.（S4:分散式流計算平臺）
- 2009 — HadoopDB：An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads.（混合MapReduce和DBMS技術用於分析工作負載的的架構）
- 2008 — AMPLab — Chukwa: A large-scale monitoring system.（Chukwa: 大型監控系統）
- 2007 — Amazon — Dynamo: Amazon’s Highly Available Key-value Store.（Dynamo: 亞馬遜的高可用的關鍵價值存儲）
- 2006 — Google — The Chubby lock service for loosely-coupled distributed systems.（面向鬆散耦合的分散式系統的鎖服務）
- 2006 — Google — Bigtable: A Distributed Storage System for Structured Data.（Bigtable: 結構化資料的分散式存儲系統）
- 2004 — Google — MapReduce: Simplied Data Processing on Large Clusters.（MapReduce: 大型叢集上簡化資料處理）
- 2003 -Google- The Google File System.（google檔案系統）
資料視覺化
- Noah Iliinsky的資料視覺化設計
- Hans Rosling’s 200 Countries, 200 Years, 4 Minutes
- 冰桶挑戰的資料視覺化
很多朋友如果初入這個行業，可能會覺得[OMG!如天書一般!]
不用擔心》》這裏小編推薦軟妹的幾篇文章，內文包括了資料分析/科學工程師入門到進階的修煉方法和思維方式甚至是實戰，可以做個參考:
我是「數據分析那些事」。常年分享資料分析乾貨，不定期分享好用的職場技能工具。可以關注我的臉書，第一時間掌握我的動態~
我的系列文，瞭解一下？？
聽説可以給50個clap，你們也別太辛苦，49個就行^~^!感謝支持小編
