整合營(yíng)銷服務(wù)商
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
系數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS)
MySQL：世界最流行的開(kāi)源數(shù)據(jù)庫(kù);
PostgreSQL：世界最先進(jìn)的開(kāi)源數(shù)據(jù)庫(kù);
Oracle 數(shù)據(jù)庫(kù)：對(duì)象-關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)。
框架
Apache Hadoop：分布式處理架構(gòu)，結(jié)合了 MapReduce(并行處理)、YARN(作業(yè)調(diào)度)和HDFS(分布式文件系統(tǒng));
Tigon：高吞吐量實(shí)時(shí)流處理框架。
分布式編程
AddThis Hydra ：最初在AddThis上開(kāi)發(fā)的分布式數(shù)據(jù)處理和存儲(chǔ)系統(tǒng);
AMPLab SIMR：用在Hadoop MapReduce v1上運(yùn)行Spark;
Apache Beam：為統(tǒng)一的模型以及一套用于定義和執(zhí)行數(shù)據(jù)處理工作流的特定SDK語(yǔ)言;
Apache Crunch：一個(gè)簡(jiǎn)單的Java API，用于執(zhí)行在普通的MapReduce實(shí)現(xiàn)時(shí)比較單調(diào)的連接、數(shù)據(jù)聚合等任務(wù);
Apache DataFu：由LinkedIn開(kāi)發(fā)的針對(duì)Hadoop and 和Pig的用戶定義的函數(shù)集合;
Apache Flink：具有高性能的執(zhí)行時(shí)間和自動(dòng)程序優(yōu)化;
Apache Gora：內(nèi)存中的數(shù)據(jù)模型和持久性框架;
Apache Hama：BSP(整體同步并行)計(jì)算框架;
Apache MapReduce ：在集群上使用并行、分布式算法處理大數(shù)據(jù)集的編程模型;
Apache Pig ：Hadoop中，用于處理數(shù)據(jù)分析程序的高級(jí)查詢語(yǔ)言;
Apache REEF ：用來(lái)簡(jiǎn)化和統(tǒng)一低層大數(shù)據(jù)系統(tǒng)的保留性評(píng)估執(zhí)行框架;
Apache S4 ：S4中流處理與實(shí)現(xiàn)的框架;
Apache Spark ：內(nèi)存集群計(jì)算框架;
Apache Spark Streaming ：流處理框架，同時(shí)是Spark的一部分;
Apache Storm ：Twitter流處理框架，也可用于YARN;
Apache Samza ：基于Kafka和YARN的流處理框架;
Apache Tez ：基于YARN，用于執(zhí)行任務(wù)中的復(fù)雜DAG(有向無(wú)環(huán)圖);
Apache Twill ：基于YARN的抽象概念，用于減少開(kāi)發(fā)分布式應(yīng)用程序的復(fù)雜度;
Cascalog：數(shù)據(jù)處理和查詢庫(kù);
Cheetah ：在MapReduce之上的高性能、自定義數(shù)據(jù)倉(cāng)庫(kù);
Concurrent Cascading ：在Hadoop上的數(shù)據(jù)管理/分析框架;
Damballa Parkour ：用于Clojure的MapReduce庫(kù);
Datasalt Pangool ：可選擇的MapReduce范例;
DataTorrent StrAM ：為實(shí)時(shí)引擎，用于以盡可能暢通的方式、最小的開(kāi)支和對(duì)性能最小的影響，實(shí)現(xiàn)分布式、異步、實(shí)時(shí)的內(nèi)存大數(shù)據(jù)計(jì)算;
Facebook Corona ：為Hadoop做優(yōu)化處理，從而消除單點(diǎn)故障;
Facebook Peregrine ：MapReduce框架;
Facebook Scuba ：分布式內(nèi)存數(shù)據(jù)存儲(chǔ);
Google Dataflow ：創(chuàng)建數(shù)據(jù)管道，以幫助其分析框架;
Netflix PigPen ：為MapReduce，用于編譯成Apache Pig;
Nokia Disco ：由Nokia開(kāi)發(fā)的MapReduc獲取、轉(zhuǎn)換和分析數(shù)據(jù);
Google MapReduce ：MapReduce框架;
Google MillWheel ：容錯(cuò)流處理框架;
JAQL ：用于處理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)工作的聲明性編程語(yǔ)言;
Kite ：為一組庫(kù)、工具、實(shí)例和文檔集，用于使在Hadoop的生態(tài)系統(tǒng)上建立系統(tǒng)更加容易;
Metamarkets Druid ：用于大數(shù)據(jù)集的實(shí)時(shí)e框架;
Onyx ：分布式云計(jì)算;
Pinterest Pinlater ：異步任務(wù)執(zhí)行系統(tǒng);
Pydoop ：用于Hadoop的Python MapReduce和HDFS API;
Rackerlabs Blueflood ：多租戶分布式測(cè)度處理系統(tǒng);
Stratosphere ：通用集群計(jì)算框架;
Streamdrill ：用于計(jì)算基于不同時(shí)間窗口的事件流的活動(dòng)，并找到最活躍的一個(gè);
Tuktu ：易于使用的用于分批處理和流計(jì)算的平臺(tái)，通過(guò)Scala、 Akka和Play所建;
Twitter Scalding：基于Cascading，用于Map Reduce工作的Scala庫(kù);
Twitter Summingbird ：在Twitter上使用Scalding和Storm串流MapReduce;
Twitter TSAR ：Twitter上的時(shí)間序列聚合器。
分布式文件系統(tǒng)
Apache HDFS：在多臺(tái)機(jī)器上存儲(chǔ)大型文件的方式;
BeeGFS：以前是FhGFS，并行分布式文件系統(tǒng);
Ceph Filesystem：設(shè)計(jì)的軟件存儲(chǔ)平臺(tái);
Disco DDFS：分布式文件系統(tǒng);
Facebook Haystack：對(duì)象存儲(chǔ)系統(tǒng);
Google Colossus：分布式文件系統(tǒng)(GFS2);
Google GFS：分布式文件系統(tǒng);
Google Megastore：可擴(kuò)展的、高度可用的存儲(chǔ);
GridGain：兼容GGFS、Hadoop內(nèi)存的文件系統(tǒng);
Lustre file system：高性能分布式文件系統(tǒng);
Quantcast File System QFS：開(kāi)源分布式文件系統(tǒng);
Red Hat GlusterFS：向外擴(kuò)展的附網(wǎng)存儲(chǔ)(Network-attached Storage)文件系統(tǒng);
Seaweed-FS：簡(jiǎn)單的、高度可擴(kuò)展的分布式文件系統(tǒng);
Alluxio：以可靠的存儲(chǔ)速率在跨集群框架上文件共享;
Tahoe-LAFS：分布式云存儲(chǔ)系統(tǒng);
文件數(shù)據(jù)模型
Actian Versant：商用的面向?qū)ο髷?shù)據(jù)庫(kù)管理系統(tǒng);
Crate Data：是一個(gè)開(kāi)源的大規(guī)模可擴(kuò)展的數(shù)據(jù)存儲(chǔ)，需要零管理模式;
Facebook Apollo：Facebook的Paxos算法，類似于NoSQL數(shù)據(jù)庫(kù);
jumboDB：基于Hadoop的面向文檔的數(shù)據(jù)存儲(chǔ);
LinkedIn Espresso：可橫向擴(kuò)展的面向文檔的NoSQL數(shù)據(jù)存儲(chǔ);
MarkLogic：模式不可知的企業(yè)版NoSQL數(shù)據(jù)庫(kù)技術(shù);
MongoDB：面向文檔的數(shù)據(jù)庫(kù)系統(tǒng);
RavenDB：一個(gè)事務(wù)性的，開(kāi)源文檔數(shù)據(jù)庫(kù);
RethinkDB：支持連接查詢和群組依據(jù)等查詢的文檔型數(shù)據(jù)庫(kù)。
Key Map 數(shù)據(jù)模型
注意：業(yè)內(nèi)存在一些術(shù)語(yǔ)混亂，有兩個(gè)不同的東西都叫做“列式數(shù)據(jù)庫(kù)”。這里列出的有一些是圍繞“key-map”數(shù)據(jù)模型而建的分布式、持續(xù)型數(shù)據(jù)庫(kù)，其中所有的數(shù)據(jù)都有(可能綜合了)鍵，并與映射中的鍵-值對(duì)相關(guān)聯(lián)。在一些系統(tǒng)中，多個(gè)這樣的值映射可以與鍵相關(guān)聯(lián)，并且這些映射被稱為“列族”(具有映射值的鍵被稱為“列”)。
另一組也可稱為“列式數(shù)據(jù)庫(kù)”的技術(shù)因其存儲(chǔ)數(shù)據(jù)的方式而有別于前一組，它在磁盤(pán)上或在存儲(chǔ)器中——而不是以傳統(tǒng)方式，即所有既定鍵的鍵值都相鄰著、逐行存儲(chǔ)。這些系統(tǒng)也彼此相鄰來(lái)存儲(chǔ)所有列值，但是要得到給定列的所有值卻不需要以前那么繁復(fù)的工作。
前一組在這里被稱為“key map數(shù)據(jù)模型”，這兩者和Key-value 數(shù)據(jù)模型之間的界限是相當(dāng)模糊的。后者對(duì)數(shù)據(jù)模型有更多的存儲(chǔ)格式，可在列式數(shù)據(jù)庫(kù)中列出。若想了解更多關(guān)于這兩種模型的區(qū)分，可閱讀Daniel Abadi的博客：Distinguishing two major types of Column Stores。
Apache Accumulo：內(nèi)置在Hadoop上的分布式鍵/值存儲(chǔ);
Apache Cassandra：由BigTable授權(quán)，面向列的分布式數(shù)據(jù)存儲(chǔ);
Apache HBase：由BigTable授權(quán)，面向列的分布式數(shù)據(jù)存儲(chǔ);
Facebook HydraBase：Facebook所開(kāi)發(fā)的HBase的衍化品;
Google BigTable：面向列的分布式數(shù)據(jù)存儲(chǔ);
Google Cloud Datastore：為完全管理型的無(wú)模式數(shù)據(jù)庫(kù)，用于存儲(chǔ)在BigTable上非關(guān)系型數(shù)據(jù);
Hypertable：由BigTable授權(quán)，面向列的分布式數(shù)據(jù)存儲(chǔ);
InfiniDB：通過(guò)MySQL的接口訪問(wèn)，并使用大規(guī)模并行處理進(jìn)行并行查詢;
Tephra：用于HBase處理;
Twitter Manhattan：Twitter的實(shí)時(shí)、多租戶分布式數(shù)據(jù)庫(kù)
很多初學(xué)者，對(duì)大數(shù)據(jù)的概念都是模糊不清的，大數(shù)據(jù)是什么，能做什么，學(xué)的時(shí)候，該按照什么線路去學(xué)習(xí)，學(xué)完往哪方面發(fā)展，想深入了解加QQ群740041381，有大量干貨（零基礎(chǔ)以及進(jìn)階的經(jīng)典實(shí)戰(zhàn)）分享給大家，并且有清華大學(xué)畢業(yè)的資深大數(shù)據(jù)講師給大家免費(fèi)授課，給大家分享目前國(guó)內(nèi)最完整的大數(shù)據(jù)高端實(shí)戰(zhàn)實(shí)用學(xué)習(xí)流程體系
鍵-值數(shù)據(jù)模型
Aerospike：支持NoSQL的閃存優(yōu)化，數(shù)據(jù)存儲(chǔ)在內(nèi)存。開(kāi)源，“’C'(不是Java或Erlang)中的服務(wù)器代碼可精確地調(diào)整從而避免上下文切換和內(nèi)存拷貝”。
Amazon DynamoDB：分布式鍵/值存儲(chǔ)，Dynamo論文的實(shí)現(xiàn);
Edis：為替代Redis的協(xié)議兼容的服務(wù)器;
ElephantDB：專門(mén)研究Hadoop中數(shù)據(jù)導(dǎo)出的分布式數(shù)據(jù)庫(kù);
EventStore：分布式時(shí)間序列數(shù)據(jù)庫(kù);
GridDB：適用于存儲(chǔ)在時(shí)間序列中的傳感器數(shù)據(jù);
LinkedIn Krati：簡(jiǎn)單的持久性數(shù)據(jù)存儲(chǔ)，擁有低延遲和高吞吐量;
Linkedin Voldemort：分布式鍵/值存儲(chǔ)系統(tǒng);
Oracle NoSQL Database：Oracle公司開(kāi)發(fā)的分布式鍵值數(shù)據(jù)庫(kù);
Redis：內(nèi)存中的鍵值數(shù)據(jù)存儲(chǔ);
Riak：分散式數(shù)據(jù)存儲(chǔ);
Storehaus：Twitter開(kāi)發(fā)的異步鍵值存儲(chǔ)的庫(kù);
Tarantool：一個(gè)高效的NoSQL數(shù)據(jù)庫(kù)和Lua應(yīng)用服務(wù)器;
TiKV：由Google Spanner和HBase授權(quán)，Rust提供技術(shù)支持的分布式鍵值數(shù)據(jù)庫(kù);
TreodeDB：可復(fù)制、共享的鍵-值存儲(chǔ)，能提供多行原子寫(xiě)入。
圖形數(shù)據(jù)模型
Apache Giraph：基于Hadoop的Pregel實(shí)現(xiàn);
Apache Spark Bagel：可實(shí)現(xiàn)Pregel，為Spark的一部分;
ArangoDB：多層模型分布式數(shù)據(jù)庫(kù);
DGraph：一個(gè)可擴(kuò)展的、分布式、低時(shí)延、高吞吐量的圖形數(shù)據(jù)庫(kù)，旨在為Google生產(chǎn)水平規(guī)模和吞吐量提供足夠的低延遲，用于TB級(jí)的結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)用戶查詢;
Facebook TAO：TAO是facebook廣泛用來(lái)存儲(chǔ)和服務(wù)于社交圖形的分布式數(shù)據(jù)存儲(chǔ);
GCHQ Gaffer：GCHQ中的Gaffer是一個(gè)易于存儲(chǔ)大規(guī)模圖形的框架，其中節(jié)點(diǎn)和邊緣都有統(tǒng)計(jì)數(shù)據(jù);
Google Cayley：開(kāi)源圖形數(shù)據(jù)庫(kù);
Google Pregel ：圖形處理框架;
GraphLab PowerGraph：核心C ++ GraphLab API和建立在GraphLab API之上的高性能機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘工具包的集合;
GraphX：Spark中的彈性分布式圖形系統(tǒng);
Gremlin：圖形追蹤語(yǔ)言;
Infovore：以RDF為中心的Map / Reduce框架;
Intel GraphBuilder：在Hadoop上構(gòu)建大規(guī)模圖形的工具;
MapGraph：用于在GPU上大規(guī)模并行圖形處理;
Neo4j：完全用Java寫(xiě)入的圖形數(shù)據(jù)庫(kù);
OrientDB：文檔和圖形數(shù)據(jù)庫(kù);
Phoebus：大型圖形處理框架;
Titan：建于Cassandra的分布式圖形數(shù)據(jù)庫(kù);
Twitter FlockDB：分布式圖形數(shù)據(jù)庫(kù)。
NewSQL數(shù)據(jù)庫(kù)
Actian Ingres：由商業(yè)支持，開(kāi)源的SQL關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng);
Amazon RedShift：基于PostgreSQL的數(shù)據(jù)倉(cāng)庫(kù)服務(wù);
BayesDB：面向統(tǒng)計(jì)數(shù)值的SQL數(shù)據(jù)庫(kù);
CitusDB：通過(guò)分區(qū)和復(fù)制橫向擴(kuò)展PostgreSQL;
Cockroach：可擴(kuò)展、地址可復(fù)制、交易型的數(shù)據(jù)庫(kù);
Datomic：旨在產(chǎn)生可擴(kuò)展、靈活的智能應(yīng)用的分布式數(shù)據(jù)庫(kù);
FoundationDB：由F1授意的分布式數(shù)據(jù)庫(kù);
Google F1：建立在Spanner上的分布式SQL數(shù)據(jù)庫(kù);
Google Spanner：全球性的分布式半關(guān)系型數(shù)據(jù)庫(kù);
H-Store：是一個(gè)實(shí)驗(yàn)性主存并行數(shù)據(jù)庫(kù)管理系統(tǒng)，用于聯(lián)機(jī)事務(wù)處理(OLTP)應(yīng)用的優(yōu)化;
Haeinsa：基于Percolator，HBase的線性可擴(kuò)展多行多表交易庫(kù);
HandlerSocket：MySQL/MariaDB的NoSQL插件;
InfiniSQL：無(wú)限可擴(kuò)展的RDBMS;
MemSQL：內(nèi)存中的SQL數(shù)據(jù)庫(kù)，其中有優(yōu)化的閃存列存儲(chǔ);
NuoDB：SQL / ACID兼容的分布式數(shù)據(jù)庫(kù);
Oracle TimesTen in-Memory Database：內(nèi)存中具有持久性和可恢復(fù)性的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng);
Pivotal GemFire XD：內(nèi)存中低延時(shí)的分布式SQL數(shù)據(jù)存儲(chǔ)，可為內(nèi)存列表數(shù)據(jù)提供SQL接口，在HDFS中較持久化;
SAP HANA：是在內(nèi)存中面向列的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng);
SenseiDB：分布式實(shí)時(shí)半結(jié)構(gòu)化的數(shù)據(jù)庫(kù);
Sky：用于行為數(shù)據(jù)的靈活、高性能分析的數(shù)據(jù)庫(kù);
SymmetricDS：用于文件和數(shù)據(jù)庫(kù)同步的開(kāi)源軟件;
Map-D：為GPU內(nèi)存數(shù)據(jù)庫(kù)，也為大數(shù)據(jù)分析和可視化平臺(tái);
TiDB：TiDB是分布式SQL數(shù)據(jù)庫(kù)，基于谷歌F1的設(shè)計(jì)靈感;
VoltDB：自稱為最快的內(nèi)存數(shù)據(jù)庫(kù)。
列式數(shù)據(jù)庫(kù)
注意：請(qǐng)?jiān)阪I-值數(shù)據(jù)模型 閱讀相關(guān)注釋。
Columnar Storage：解釋什么是列存儲(chǔ)以及何時(shí)會(huì)需要用到它;
Actian Vector：面向列的分析型數(shù)據(jù)庫(kù);
C-Store：面向列的DBMS;
MonetDB：列存儲(chǔ)數(shù)據(jù)庫(kù);
Parquet：Hadoop的列存儲(chǔ)格式;
Pivotal Greenplum：專門(mén)設(shè)計(jì)的、專用的分析數(shù)據(jù)倉(cāng)庫(kù)，類似于傳統(tǒng)的基于行的工具，提供了一個(gè)列式工具;
Vertica：用來(lái)管理大規(guī)模、快速增長(zhǎng)的大量數(shù)據(jù)，當(dāng)用于數(shù)據(jù)倉(cāng)庫(kù)時(shí)，能夠提供非常快的查詢性能;
Google BigQuery ：谷歌的云產(chǎn)品，由其在Dremel的創(chuàng)始工作提供支持;
Amazon Redshift ：亞馬遜的云產(chǎn)品，它也是基于柱狀數(shù)據(jù)存儲(chǔ)后端。
時(shí)間序列數(shù)據(jù)庫(kù)
Cube：使用MongoDB來(lái)存儲(chǔ)時(shí)間序列數(shù)據(jù);
Axibase Time Series Database：在HBase之上的分布式時(shí)間序列數(shù)據(jù)庫(kù)，它包括內(nèi)置的Rule Engine、數(shù)據(jù)預(yù)測(cè)和可視化;
Heroic：基于Cassandra和Elasticsearch的可擴(kuò)展的時(shí)間序列數(shù)據(jù)庫(kù);
InfluxDB：分布式時(shí)間序列數(shù)據(jù)庫(kù);
Kairosdb：類似于OpenTSDB但會(huì)考慮到Cassandra;
OpenTSDB：在HBase上的分布式時(shí)間序列數(shù)據(jù)庫(kù);
Prometheus：一種時(shí)間序列數(shù)據(jù)庫(kù)和服務(wù)監(jiān)測(cè)系統(tǒng);
Newts：一種基于Apache Cassandra的時(shí)間序列數(shù)據(jù)庫(kù)。
類SQL處理
Actian SQL for Hadoop：高性能交互式的SQL，可訪問(wèn)所有的Hadoop數(shù)據(jù);
Apache Drill：由Dremel授意的交互式分析框架;
Apache HCatalog：Hadoop的表格和存儲(chǔ)管理層;
Apache Hive：Hadoop的類SQL數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng);
Apache Optiq：一種框架，可允許高效的查詢翻譯，其中包括異構(gòu)性及聯(lián)合性數(shù)據(jù)的查詢;
Apache Phoenix：Apache Phoenix 是 HBase 的 SQL 驅(qū)動(dòng);
Cloudera Impala：由Dremel授意的交互式分析框架;
Concurrent Lingual：Cascading中的類SQL查詢語(yǔ)言;
Datasalt Splout SQL：用于大數(shù)據(jù)集的完整的SQL查詢工具;
Facebook PrestoDB：分布式SQL查詢工具;
Google BigQuery：交互式分析框架，Dremel的實(shí)現(xiàn);
Pivotal HAWQ：Hadoop的類SQL的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng);
RainstorDB：用于存儲(chǔ)大規(guī)模PB級(jí)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫(kù);
Spark Catalyst：用于Spark和Shark的查詢優(yōu)化框架;
SparkSQL：使用Spark操作結(jié)構(gòu)化數(shù)據(jù);
Splice Machine：一個(gè)全功能的Hadoop上的SQL RDBMS，并帶有ACID事務(wù);
Stinger：用于Hive的交互式查詢;
Tajo：Hadoop的分布式數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng);
Trafodion：為企業(yè)級(jí)的SQL-on-HBase針對(duì)大數(shù)據(jù)的事務(wù)或業(yè)務(wù)工作負(fù)載的解決方案。
數(shù)據(jù)攝取
Amazon Kinesis：大規(guī)模數(shù)據(jù)流的實(shí)時(shí)處理;
Apache Chukwa：數(shù)據(jù)采集系統(tǒng);
Apache Flume：管理大量日志數(shù)據(jù)的服務(wù);
Apache Kafka：分布式發(fā)布-訂閱消息系統(tǒng);
Apache Sqoop：在Hadoop和結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)區(qū)之間傳送數(shù)據(jù)的工具;
Cloudera Morphlines：幫助 Solr、HBase和HDFS完成ETL的框架;
Facebook Scribe：流日志數(shù)據(jù)聚合器;
Fluentd：采集事件和日志的工具;
Google Photon：實(shí)時(shí)連接多個(gè)數(shù)據(jù)流的分布式計(jì)算機(jī)系統(tǒng)，具有高可擴(kuò)展性和低延遲性;
Heka：開(kāi)源流處理軟件系統(tǒng);
HIHO：用Hadoop連接不同數(shù)據(jù)源的框架;
Kestrel：分布式消息隊(duì)列系統(tǒng);
LinkedIn Databus：對(duì)數(shù)據(jù)庫(kù)更改捕獲的事件流;
LinkedIn Kamikaze：壓縮已分類整型數(shù)組的程序包;
LinkedIn White Elephant：日志聚合器和儀表板;
Logstash：用于管理事件和日志的工具;
Netflix Suro：像基于Chukwa 的Storm和Samza一樣的日志聚合器;
Pinterest Secor：是實(shí)現(xiàn)Kafka日志持久性的服務(wù);
Linkedin Gobblin：LinkedIn的通用數(shù)據(jù)攝取框架;
Skizze：是一種數(shù)據(jù)存儲(chǔ)略圖，使用概率性數(shù)據(jù)結(jié)構(gòu)來(lái)處理計(jì)數(shù)、略圖等相關(guān)的問(wèn)題;
StreamSets Data Collector：連續(xù)大數(shù)據(jù)采集的基礎(chǔ)設(shè)施，可簡(jiǎn)單地使用IDE。
服務(wù)編程
Akka Toolkit：JVM中分布性、容錯(cuò)事件驅(qū)動(dòng)應(yīng)用程序的運(yùn)行時(shí)間;
Apache Avro：數(shù)據(jù)序列化系統(tǒng);
Apache Curator：Apache ZooKeeper的Java庫(kù);
Apache Karaf：在任何OSGi框架之上運(yùn)行的OSGi運(yùn)行時(shí)間;
Apache Thrift：構(gòu)建二進(jìn)制協(xié)議的框架;
Apache Zookeeper：流程管理集中式服務(wù);
Google Chubby：一種松耦合分布式系統(tǒng)鎖服務(wù);
Linkedin Norbert：集群管理器;
OpenMPI：消息傳遞框架;
Serf：服務(wù)發(fā)現(xiàn)和協(xié)調(diào)的分散化解決方案;
Spotify Luigi：一種構(gòu)建批處理作業(yè)的復(fù)雜管道的Python包，它能夠處理依賴性解析、工作流管理、可視化、故障處理、命令行一體化等等問(wèn)題;
Spring XD：數(shù)據(jù)攝取、實(shí)時(shí)分析、批量處理和數(shù)據(jù)導(dǎo)出的分布式、可擴(kuò)展系統(tǒng);
Twitter Elephant Bird：LZO壓縮數(shù)據(jù)的工作庫(kù);
Twitter Finagle：JVM的異步網(wǎng)絡(luò)堆棧。
調(diào)度
Apache Aurora：在Apache Mesos之上運(yùn)行的服務(wù)調(diào)度程序;
Apache Falcon：數(shù)據(jù)管理框架;
Apache Oozie：工作流作業(yè)調(diào)度程序;
Chronos：分布式容錯(cuò)調(diào)度;
Linkedin Azkaban：批處理工作流作業(yè)調(diào)度;
Schedoscope：Hadoop作業(yè)敏捷調(diào)度的Scala DSL;
Sparrow：調(diào)度平臺(tái);
Airflow：一個(gè)以編程方式編寫(xiě)、調(diào)度和監(jiān)控工作流的平臺(tái)。
機(jī)器學(xué)習(xí)
Apache Mahout：Hadoop的機(jī)器學(xué)習(xí)庫(kù);
brain：JavaScript中的神經(jīng)網(wǎng)絡(luò);
Cloudera Oryx：實(shí)時(shí)大規(guī)模機(jī)器學(xué)習(xí);
Concurrent Pattern：Cascading的機(jī)器學(xué)習(xí)庫(kù);
convnetjs：Javascript中的機(jī)器學(xué)習(xí)，在瀏覽器中訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(或普通網(wǎng)絡(luò));
Decider：Ruby中靈活、可擴(kuò)展的機(jī)器學(xué)習(xí);
ENCOG：支持多種先進(jìn)算法的機(jī)器學(xué)習(xí)框架，同時(shí)支持類的標(biāo)準(zhǔn)化和處理數(shù)據(jù);
etcML：機(jī)器學(xué)習(xí)文本分類;
Etsy Conjecture：Scalding中可擴(kuò)展的機(jī)器學(xué)習(xí);
Google Sibyl：Google中的大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng);
GraphLab Create：Python的機(jī)器學(xué)習(xí)平臺(tái)，包括ML工具包、數(shù)據(jù)工程和部署工具的廣泛集合;
很多初學(xué)者，對(duì)大數(shù)據(jù)的概念都是模糊不清的，大數(shù)據(jù)是什么，能做什么，學(xué)的時(shí)候，該按照什么線路去學(xué)習(xí)，學(xué)完往哪方面發(fā)展，想深入了解加QQ群740041381，有大量干貨（零基礎(chǔ)以及進(jìn)階的經(jīng)典實(shí)戰(zhàn)）分享給大家，并且有清華大學(xué)畢業(yè)的資深大數(shù)據(jù)講師給大家免費(fèi)授課，給大家分享目前國(guó)內(nèi)最完整的大數(shù)據(jù)高端實(shí)戰(zhàn)實(shí)用學(xué)習(xí)流程體系
H2O：Hadoop統(tǒng)計(jì)性的機(jī)器學(xué)習(xí)和數(shù)學(xué)運(yùn)行時(shí)間;
MLbase：用于BDAS堆棧的分布式機(jī)器學(xué)習(xí)庫(kù);
MLPNeuralNet：針對(duì)iOS和Mac OS X的快速多層感知神經(jīng)網(wǎng)絡(luò)庫(kù);
MonkeyLearn：使文本挖掘更為容易，從文本中提取分類數(shù)據(jù);
nupic：智能計(jì)算的Numenta平臺(tái)，它是一個(gè)啟發(fā)大腦的機(jī)器智力平臺(tái)，基于皮質(zhì)學(xué)習(xí)算法的精準(zhǔn)的生物神經(jīng)網(wǎng)絡(luò);
PredictionIO：建于Hadoop、Mahout和Cascading上的機(jī)器學(xué)習(xí)服務(wù)器;
SAMOA：分布式流媒體機(jī)器學(xué)習(xí)框架;
scikit-learn：scikit-learn為Python中的機(jī)器學(xué)習(xí);
Spark MLlib：Spark中一些常用的機(jī)器學(xué)習(xí)(ML)功能的實(shí)現(xiàn);
Vowpal Wabbit：微軟和雅虎發(fā)起的學(xué)習(xí)系統(tǒng);
WEKA：機(jī)器學(xué)習(xí)軟件套件;
BidMach：CPU和加速GPU的機(jī)器學(xué)習(xí)庫(kù)。
基準(zhǔn)測(cè)試
Apache Hadoop Benchmarking：測(cè)試Hadoop性能的微基準(zhǔn);
Berkeley SWIM Benchmark：現(xiàn)實(shí)大數(shù)據(jù)工作負(fù)載基準(zhǔn)測(cè)試;
Intel HiBench：Hadoop基準(zhǔn)測(cè)試套件;
PUMA Benchmarking：MapReduce應(yīng)用的基準(zhǔn)測(cè)試套件;
Yahoo Gridmix3：雅虎工程師團(tuán)隊(duì)的Hadoop集群基準(zhǔn)測(cè)試。
安全性
Apache Knox Gateway：Hadoop集群安全訪問(wèn)的單點(diǎn);
Apache Sentry：存儲(chǔ)在Hadoop的數(shù)據(jù)安全模塊。
系統(tǒng)部署
Apache Ambari：Hadoop管理的運(yùn)作框架;
Apache Bigtop：Hadoop生態(tài)系統(tǒng)的部署框架;
Apache Helix：集群管理框架;
Apache Mesos：集群管理器;
Apache Slider：一種YARN應(yīng)用，用來(lái)部署YARN中現(xiàn)有的分布式應(yīng)用程序;
Apache Whirr：運(yùn)行云服務(wù)的庫(kù)集;
Apache YARN：集群管理器;
Brooklyn：用于簡(jiǎn)化應(yīng)用程序部署和管理的庫(kù);
Buildoop：基于Groovy語(yǔ)言，和Apache BigTop類似;
Cloudera HUE：和Hadoop進(jìn)行交互的Web應(yīng)用程序;
Facebook Prism：多數(shù)據(jù)中心復(fù)制系統(tǒng);
Google Borg：作業(yè)調(diào)度和監(jiān)控系統(tǒng);
Google Omega：作業(yè)調(diào)度和監(jiān)控系統(tǒng);
Hortonworks HOYA：可在YARN上部署HBase集群的應(yīng)用;
Marathon：用于長(zhǎng)期運(yùn)行服務(wù)的Mesos框架。
應(yīng)用程序
Adobe spindle：使用Scala、Spark和Parquet處理的下一代web分析;
Apache Kiji：基于HBase，實(shí)時(shí)采集和分析數(shù)據(jù)的框架;
Apache Nutch：開(kāi)源網(wǎng)絡(luò)爬蟲(chóng);
Apache OODT：用于NASA科學(xué)檔案中數(shù)據(jù)的捕獲、處理和共享;
Apache Tika：內(nèi)容分析工具包;
Argus：時(shí)間序列監(jiān)測(cè)和報(bào)警平臺(tái);
Countly：基于Node.js和MongoDB，開(kāi)源的手機(jī)和網(wǎng)絡(luò)分析平臺(tái);
Domino：運(yùn)行、規(guī)劃、共享和部署模型——沒(méi)有任何基礎(chǔ)設(shè)施;
Eclipse BIRT：基于Eclipse的報(bào)告系統(tǒng);
Eventhub：開(kāi)源的事件分析平臺(tái);
Hermes：建于Kafka上的異步消息代理;
HIPI Library：在Hadoop’s MapReduce上執(zhí)行圖像處理任務(wù)的API;
Hunk：Hadoop的Splunk分析;
Imhotep：大規(guī)模分析平臺(tái);
MADlib：RDBMS的用于數(shù)據(jù)分析的數(shù)據(jù)處理庫(kù);
Kylin：來(lái)自eBay的開(kāi)源分布式分析工具;
PivotalR：Pivotal HD / HAWQ和PostgreSQL中的R;
Qubole：為自動(dòng)縮放Hadoop集群，內(nèi)置的數(shù)據(jù)連接器;
Sense：用于數(shù)據(jù)科學(xué)和大數(shù)據(jù)分析的云平臺(tái);
SnappyData：用于實(shí)時(shí)運(yùn)營(yíng)分析的分布式內(nèi)存數(shù)據(jù)存儲(chǔ)，提供建立在Spark單一集成集群中的數(shù)據(jù)流分析、OLTP(聯(lián)機(jī)事務(wù)處理)和OLAP(聯(lián)機(jī)分析處理);
Snowplow：企業(yè)級(jí)網(wǎng)絡(luò)和事件分析，由Hadoop、Kinesis、Redshift 和Postgres提供技術(shù)支持;
SparkR：Spark的R前端;
Splunk：用于機(jī)器生成的數(shù)據(jù)的分析;
Sumo Logic：基于云的分析儀，用于分析機(jī)器生成的數(shù)據(jù);
Talend：用于YARN、Hadoop、HBASE、Hive、HCatalog和Pig的統(tǒng)一開(kāi)源環(huán)境;
Warp：利用大數(shù)據(jù)(OS X app)的實(shí)例查詢工具。
搜索引擎與框架
Apache Lucene：搜索引擎庫(kù);
Apache Solr：用于Apache Lucene的搜索平臺(tái);
ElasticSearch：基于Apache Lucene的搜索和分析引擎;
Enigma.io：為免費(fèi)增值的健壯性web應(yīng)用，用于探索、篩選、分析、搜索和導(dǎo)出來(lái)自網(wǎng)絡(luò)的大規(guī)模數(shù)據(jù)集;
Facebook Unicorn：社交圖形搜索平臺(tái);
Google Caffeine：連續(xù)索引系統(tǒng);
Google Percolator：連續(xù)索引系統(tǒng);
TeraGoogle：大型搜索索引;
HBase Coprocessor：為Percolator的實(shí)現(xiàn)，HBase的一部分;
Lily HBase Indexer：快速、輕松地搜索存儲(chǔ)在HBase的任何內(nèi)容;
LinkedIn Bobo：完全由Java編寫(xiě)的分面搜索的實(shí)現(xiàn)，為Apache Lucene的延伸;
LinkedIn Cleo：為一個(gè)一個(gè)靈活的軟件庫(kù)，使得局部、無(wú)序、實(shí)時(shí)預(yù)輸入的搜索實(shí)現(xiàn)了快速發(fā)展;
LinkedIn Galene：LinkedIn搜索架構(gòu);
LinkedIn Zoie：是用Java編寫(xiě)的實(shí)時(shí)搜索/索引系統(tǒng);
Sphinx Search Server：全文搜索引擎
MySQL的分支和演化
Amazon RDS：亞馬遜云的MySQL數(shù)據(jù)庫(kù);
Drizzle：MySQL的6.0的演化;
Google Cloud SQL：谷歌云的MySQL數(shù)據(jù)庫(kù);
MariaDB：MySQL的增強(qiáng)版嵌入式替代品;
MySQL Cluster：使用NDB集群存儲(chǔ)引擎的MySQL實(shí)現(xiàn);
Percona Server：MySQL的增強(qiáng)版嵌入式替代品;
ProxySQL：MySQL的高性能代理;
TokuDB：用于MySQL和 MariaDB的存儲(chǔ)引擎;
WebScaleSQL：運(yùn)行MySQL時(shí)面臨類似挑戰(zhàn)的幾家公司，它們的工程師之間的合作。
PostgreSQL的分支和演化
Yahoo Everest – multi-peta-byte database / MPP derived by PostgreSQL.
HadoopDB：MapReduce和DBMS的混合體;
IBM Netezza：高性能數(shù)據(jù)倉(cāng)庫(kù)設(shè)備;
Postgres-XL：基于PostgreSQL，可擴(kuò)展的開(kāi)源數(shù)據(jù)庫(kù)集群;
RecDB：完全建立在PostgreSQL內(nèi)部的開(kāi)源推薦引擎;
Stado：開(kāi)源MPP數(shù)據(jù)庫(kù)系統(tǒng)，只針對(duì)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的應(yīng)用程序;
Yahoo Everest：PostgreSQL可以推導(dǎo)多字節(jié)P比特?cái)?shù)據(jù)庫(kù)/MPP。
Memcached的分支和演化
Facebook McDipper：閃存的鍵/值緩存;
Facebook Memcached：Memcache的分支;
Twemproxy：Memcached和Redis的快速、輕型代理;
Twitter Fatcache：閃存的鍵/值緩存;
Twitter Twemcache：Memcache的分支。
嵌入式數(shù)據(jù)庫(kù)
Actian PSQL：Pervasive Software公司開(kāi)發(fā)的ACID兼容的DBMS，在應(yīng)用程序中嵌入了優(yōu)化;
BerkeleyDB：為鍵/值數(shù)據(jù)提供一個(gè)高性能的嵌入式數(shù)據(jù)庫(kù)的一個(gè)軟件庫(kù);
HanoiDB：Erlang LSM BTree存儲(chǔ);
LevelDB：谷歌寫(xiě)的一個(gè)快速鍵-值存儲(chǔ)庫(kù)，它提供了從字符串鍵到字符串值的有序映射;
LMDB：Symas開(kāi)發(fā)的超快、超緊湊的鍵-值嵌入的式數(shù)據(jù)存儲(chǔ);
RocksDB：基于性LevelDB，用于快速存儲(chǔ)的嵌入式持續(xù)性鍵-值存儲(chǔ)。
商業(yè)智能
BIME Analytics：商業(yè)智能云平臺(tái);
Chartio：精益業(yè)務(wù)智能平臺(tái)，用于可視化和探索數(shù)據(jù);
datapine：基于云的自助服務(wù)商業(yè)智能工具;
Jaspersoft：功能強(qiáng)大的商業(yè)智能套件;
Jedox Palo：定制的商業(yè)智能平臺(tái);
Microsoft：商業(yè)智能軟件和平臺(tái);
Microstrategy：商業(yè)智能、移動(dòng)智能和網(wǎng)絡(luò)應(yīng)用軟件平臺(tái);
Pentaho：商業(yè)智能平臺(tái);
Qlik：商業(yè)智能和分析平臺(tái);
Saiku：開(kāi)源的分析平臺(tái);
SpagoBI：開(kāi)源商業(yè)智能平臺(tái);
Tableau：商業(yè)智能平臺(tái);
Zoomdata：大數(shù)據(jù)分析;
Jethrodata：交互式大數(shù)據(jù)分析。
數(shù)據(jù)可視化
Airpal：用于PrestoDB的網(wǎng)頁(yè)UI;
Arbor：利用網(wǎng)絡(luò)工作者和jQuery的圖形可視化庫(kù);
Banana：對(duì)存儲(chǔ)在Kibana中Solr. Port的日志和時(shí)戳數(shù)據(jù)進(jìn)行可視化;
Bokeh：一個(gè)功能強(qiáng)大的Python交互式可視化庫(kù)，它針對(duì)要展示的現(xiàn)代web瀏覽器，旨在為D3.js風(fēng)格的新奇的圖形提供優(yōu)雅簡(jiǎn)潔的設(shè)計(jì)，同時(shí)在大規(guī)模數(shù)據(jù)或流數(shù)據(jù)集中，通過(guò)高性能交互性來(lái)表達(dá)這種能力;
C3：基于D3可重復(fù)使用的圖表庫(kù);
CartoDB：開(kāi)源或免費(fèi)增值的虛擬主機(jī)，用于帶有強(qiáng)大的前端編輯功能和API的地理空間數(shù)據(jù)庫(kù);
chartd：只帶Img標(biāo)簽的反應(yīng)靈敏、兼容Retina的圖表;
Chart.js：開(kāi)源的HTML5圖表可視化效果;
Chartist.js：另一個(gè)開(kāi)源HTML5圖表可視化效果;
Crossfilter：JavaScript庫(kù)，用于在瀏覽器中探索多元大數(shù)據(jù)集，用Dc.js和D3.js.效果很好;
Cubism：用于時(shí)間序列可視化的JavaScript庫(kù);
Cytoscape：用于可視化復(fù)雜網(wǎng)絡(luò)的JavaScript庫(kù);
DC.js：維度圖表，和Crossfilter一起使用，通過(guò)D3.js呈現(xiàn)出來(lái)，它比較擅長(zhǎng)連接圖表/附加的元數(shù)據(jù)，從而徘徊在D3的事件附近;
D3：操作文件的JavaScript庫(kù);
D3.compose：從可重復(fù)使用的圖表和組件構(gòu)成復(fù)雜的、數(shù)據(jù)驅(qū)動(dòng)的可視化;
D3Plus：一組相當(dāng)強(qiáng)大的可重用的圖表，還有D3.js的樣式;
Echarts：百度企業(yè)場(chǎng)景圖表;
Envisionjs：動(dòng)態(tài)HTML5可視化;
FnordMetric：寫(xiě)SQL查詢，返回SVG圖表，而不是表;
Freeboard：針對(duì)IOT和其他Web混搭的開(kāi)源實(shí)時(shí)儀表盤(pán)構(gòu)建;
Gephi：屢獲殊榮的開(kāi)源平臺(tái)，可視化和操縱大型圖形和網(wǎng)絡(luò)連接，有點(diǎn)像Photoshop，但是針對(duì)于圖表，適用于Windows和Mac OS X;
Google Charts：簡(jiǎn)單的圖表API;
Grafana：石墨儀表板前端、編輯器和圖形組合器;
Graphite：可擴(kuò)展的實(shí)時(shí)圖表;
Highcharts：簡(jiǎn)單而靈活的圖表API;
IPython：為交互式計(jì)算提供豐富的架構(gòu);
Kibana：可視化日志和時(shí)間標(biāo)記數(shù)據(jù);
Matplotlib：Python繪圖;
Metricsgraphic.js：建立在D3之上的庫(kù)，針對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行最優(yōu)化;
NVD3：d3.js的圖表組件;
Peity：漸進(jìn)式SVG條形圖，折線和餅圖;
Plot.ly：易于使用的Web服務(wù)，它允許快速創(chuàng)建從熱圖到直方圖等復(fù)雜的圖表，使用圖表Plotly的在線電子表格上傳數(shù)據(jù)進(jìn)行創(chuàng)建和設(shè)計(jì);
Plotly.js：支持plotly的開(kāi)源JavaScript圖形庫(kù);
Recline：簡(jiǎn)單但功能強(qiáng)大的庫(kù)，純粹利用JavaScript和HTML構(gòu)建數(shù)據(jù)應(yīng)用;
Redash：查詢和可視化數(shù)據(jù)的開(kāi)源平臺(tái);
Shiny：針對(duì)R的Web應(yīng)用程序框架;
Sigma.js：JavaScript庫(kù)，專門(mén)用于圖形繪制;
Vega：一個(gè)可視化語(yǔ)法;
Zeppelin：一個(gè)筆記本式的協(xié)作數(shù)據(jù)分析;
Zing Charts：用于大數(shù)據(jù)的JavaScript圖表庫(kù)。
物聯(lián)網(wǎng)和傳感器
TempoIQ：基于云的傳感器分析;
2lemetry：物聯(lián)網(wǎng)平臺(tái);
Pubnub：數(shù)據(jù)流網(wǎng)絡(luò);
ThingWorx：ThingWorx 是讓企業(yè)快速創(chuàng)建和運(yùn)行互聯(lián)應(yīng)用程序平臺(tái);
IFTTT：IFTTT 是一個(gè)被稱為 “網(wǎng)絡(luò)自動(dòng)化神器” 的創(chuàng)新型互聯(lián)網(wǎng)服務(wù)，它的全稱是 If this then that，意思是“如果這樣，那么就那樣”;
Evrythng：Evrythng則是一款真正意義上的大眾物聯(lián)網(wǎng)平臺(tái)，使得身邊的很多產(chǎn)品變得智能化。
文章推薦
NoSQL Comparison(NoSQL 比較)- Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison;
Big Data Benchmark(大數(shù)據(jù)基準(zhǔn))- Redshift, Hive, Shark, Impala and Stiger/Tez的基準(zhǔn);
The big data successor of the spreadsheet(電子表格的大數(shù)據(jù)繼承者) – 電子表格的繼承者應(yīng)該是大數(shù)據(jù)。
論文
2015 – 2016
2015 – Facebook – One Trillion Edges: Graph Processing at Facebook-Scale.(一兆邊：Facebook規(guī)模的圖像處理)
2013 – 2014
2014 – Stanford – Mining of Massive Datasets.(海量數(shù)據(jù)集挖掘)
2013 – AMPLab – Presto: Distributed Machine Learning and Graph Processing with Sparse Matrices. (Presto：稀疏矩陣的分布式機(jī)器學(xué)習(xí)和圖像處理)
2013 – AMPLab – MLbase: A Distributed Machine-learning System. (MLbase：分布式機(jī)器學(xué)習(xí)系統(tǒng))
2013 – AMPLab – Shark: SQL and Rich Analytics at Scale. (Shark: 大規(guī)模的SQL 和豐富的分析)
2013 – AMPLab – GraphX: A Resilient Distributed Graph System on Spark. (GraphX:基于Spark的彈性分布式圖計(jì)算系統(tǒng))
2013 – Google – HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm. (HyperLogLog實(shí)踐:一個(gè)藝術(shù)形態(tài)的基數(shù)估算算法)
2013 – Microsoft – Scalable Progressive Analytics on Big Data in the Cloud.(云端大數(shù)據(jù)的可擴(kuò)展性漸進(jìn)分析)
2013 – Metamarkets – Druid: A Real-time Analytical Data Store. (Druid：實(shí)時(shí)分析數(shù)據(jù)存儲(chǔ))
2013 – Google – Online, Asynchronous Schema Change in F1.(F1中在線、異步模式的轉(zhuǎn)變)
2013 – Google – F1: A Distributed SQL Database That Scales. (F1: 分布式SQL數(shù)據(jù)庫(kù))
2013 – Google – MillWheel: Fault-Tolerant Stream Processing at Internet Scale.(MillWheel: 互聯(lián)網(wǎng)規(guī)模下的容錯(cuò)流處理)
2013 – Facebook – Scuba: Diving into Data at Facebook. (Scuba: 深入Facebook的數(shù)據(jù)世界)
2013 – Facebook – Unicorn: A System for Searching the Social Graph. (Unicorn: 一種搜索社交圖的系統(tǒng))
2013 – Facebook – Scaling Memcache at Facebook. (Facebook 對(duì) Memcache 伸縮性的增強(qiáng))
2011 – 2012
2012 – Twitter – The Unified Logging Infrastructure for Data Analytics at Twitter. (Twitter數(shù)據(jù)分析的統(tǒng)一日志基礎(chǔ)結(jié)構(gòu))
2012 – AMPLab –Blink and It’s Done: Interactive Queries on Very Large Data. (Blink及其完成：超大規(guī)模數(shù)據(jù)的交互式查詢)
2012 – AMPLab –Fast and Interactive Analytics over Hadoop Data with Spark. (Spark上 Hadoop數(shù)據(jù)的快速交互式分析)
2012 – AMPLab –Shark: Fast Data Analysis Using Coarse-grained Distributed Memory. (Shark：使用粗粒度的分布式內(nèi)存快速數(shù)據(jù)分析)
2012 – Microsoft –Paxos Replicated State Machines as the Basis of a High-Performance Data Store. (Paxos的復(fù)制狀態(tài)機(jī)——高性能數(shù)據(jù)存儲(chǔ)的基礎(chǔ))
2012 – Microsoft –Paxos Made Parallel. (Paxos算法實(shí)現(xiàn)并行)
2012 – AMPLab – BlinkDB：BlinkDB: Queries with Bounded Errors and Bounded Response Times on Very Large Data.(超大規(guī)模數(shù)據(jù)中有限誤差與有界響應(yīng)時(shí)間的查詢)
2012 – Google –Processing a trillion cells per mouse click.(每次點(diǎn)擊處理一兆個(gè)單元格)
2012 – Google –Spanner: Google’s Globally-Distributed Database.(Spanner：谷歌的全球分布式數(shù)據(jù)庫(kù))
2011 – AMPLab –Scarlett: Coping with Skewed Popularity Content in MapReduce Clusters.(Scarlett：應(yīng)對(duì)MapReduce集群中的偏向性內(nèi)容)
2011 – AMPLab –Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center.(Mesos：數(shù)據(jù)中心中細(xì)粒度資源共享的平臺(tái))
2011 – Google –Megastore: Providing Scalable, Highly Available Storage for Interactive Services.(Megastore：為交互式服務(wù)提供可擴(kuò)展，高度可用的存儲(chǔ))
2001 – 2010
2010 – Facebook – Finding a needle in Haystack: Facebook’s photo storage.(探究Haystack中的細(xì)微之處：Facebook圖片存儲(chǔ))
2010 – AMPLab – Spark: Cluster Computing with Working Sets.(Spark:工作組上的集群計(jì)算)
2010 – Google – Storage Architecture and Challenges.(存儲(chǔ)架構(gòu)與挑戰(zhàn))
2010 – Google – Pregel: A System for Large-Scale Graph Processing.(Pregel: 一種大型圖形處理系統(tǒng))
2010 – Google – Large-scale Incremental Processing Using Distributed Transactions and Noti?cations base of Percolator and Caffeine.(使用基于Percolator 和 Caffeine平臺(tái)分布式事務(wù)和通知的大規(guī)模增量處理)
2010 – Google – Dremel: Interactive Analysis of Web-Scale Datasets.(Dremel: Web規(guī)模數(shù)據(jù)集的交互分析)
2010 – Yahoo – S4: Distributed Stream Computing Platform.(S4:分布式流計(jì)算平臺(tái))
2009 – HadoopDB：An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads.(混合MapReduce和DBMS技術(shù)用于分析工作負(fù)載的的架構(gòu))
2008 – AMPLab – Chukwa: A large-scale monitoring system.(Chukwa: 大型監(jiān)控系統(tǒng))
2007 – Amazon – Dynamo: Amazon’s Highly Available Key-value Store.(Dynamo: 亞馬遜的高可用的關(guān)鍵價(jià)值存儲(chǔ))
2006 – Google – The Chubby lock service for loosely-coupled distributed systems.(面向松散耦合的分布式系統(tǒng)的鎖服務(wù))
2006 – Google – Bigtable: A Distributed Storage System for Structured Data.(Bigtable: 結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng))
2004 – Google – MapReduce: Simplied Data Processing on Large Clusters.(MapReduce: 大型集群上簡(jiǎn)化數(shù)據(jù)處理)
2003 – Google – The Google File System.(谷歌文件系統(tǒng))
視頻
數(shù)據(jù)可視化
數(shù)據(jù)可視化之美
Noah Iliinsky的數(shù)據(jù)可視化設(shè)計(jì)
Hans Rosling’s 200 Countries, 200 Years, 4 Minutes
文重點(diǎn)關(guān)注如何充分利用HTML5和CSS讓web app運(yùn)行更加流暢。
Tip 1: 使用web storage代替cookie
cookie最大的缺陷是在每一次HTTP請(qǐng)求中都會(huì)攜帶所有符合規(guī)則的cookie數(shù)據(jù).這會(huì)增加請(qǐng)求響應(yīng)時(shí)間,特別是XHR請(qǐng)求. 在HTML5中使用sessionStorage和localStorage代替cookie是更好的做法.
這另種方法可以將數(shù)據(jù)永久或者以session時(shí)間存儲(chǔ)在用戶本地.數(shù)據(jù)不會(huì)隨著HTTP請(qǐng)求傳遞.所以我們優(yōu)先使用web storage,僅僅使用cookie作為替代方案.
// if localStorage is present, use that if (('localStorage' in window) && window.localStorage !==null) { // easy object property API localStorage.wishlist='["unicorn", "Narwhal", "deathbear"]'; } else { // without sessionStorage we'll have to use a far-future cookie // with document.cookie's awkward API var date=new Date; date.setTime(date.getTime + (365 * 24 * 60 * 60 * 1000)); var expires=date.toGMTString; var cookiestr='wishlist=["unicorn", "Narwhal", "deathbear"];' + ' expires=' + expires + '; path=/'; document.cookie=cookiestr; }Tip 2: 使用CSS Transition代替JavaScript動(dòng)畫(huà)
CSS Transition能帶來(lái)更高的性能,更少的代碼,更容易維護(hù)和理解.
Tip 3: 使用客戶端數(shù)據(jù)庫(kù)代替服務(wù)器請(qǐng)求
Web SQL Database和IndexedDB讓瀏覽器有了數(shù)據(jù)庫(kù)存儲(chǔ)能力.很多應(yīng)用場(chǎng)景可以遷移到客戶端數(shù)據(jù)庫(kù)以減少服務(wù)器的請(qǐng)求次數(shù).
localStorage和sessionStorage在簡(jiǎn)單數(shù)據(jù)存儲(chǔ)時(shí)比客戶端數(shù)據(jù)庫(kù)更快,可以用來(lái)實(shí)現(xiàn)一些簡(jiǎn)單的狀態(tài),進(jìn)度保存.
當(dāng)一個(gè)組件需要管理上百條數(shù)據(jù)(如好友列表),同時(shí)支持用戶搜索, 過(guò)濾, 排序時(shí), 客戶端數(shù)據(jù)庫(kù)存儲(chǔ)一份數(shù)據(jù)可以有效減少HTTP請(qǐng)求次數(shù). 查看Web SQL Database tutorial獲取詳細(xì)指導(dǎo).
Tip 4: 使用JavaScript原生API
隨著更高版本JavaScript的普及, 像Array prototype新增了很多API都可以在大多數(shù)瀏覽器中直接使用.例如:
// give me a new array of all values multiplied by 10 [5, 6, 7, 8, 900].map(function (value) { return value * 10; }); // [50, 60, 70, 80, 9000] // create links to specs and drop them into #links. var linksList=document.querySelector('#links'); var links=; ['html5', 'css3', 'webgl'].forEach(function (value) { links.push(value.link('http://google.com/search?btnI=1&q=' + value + ' spec')); }); linksList.innerHTML=links.join(''); // return a new array of all mathematical constants under 2 [3.14, 2.718, 1.618].filter(function (number) { return number < 2; }); // you can also use these extras on other collections link nodeLists .forEach.call(document.querySelectorAll('section[data-bucket]'), function (elem, i) { localStorage['bucket' + i]=elem.getAttribute('data-bucket'); });通常情況下這些原生方法比手動(dòng)編寫(xiě)循環(huán)要快:
- for (var i=0, len=arr.length; i < len; ++i) {}
使用原生JSON.parse比json2.js更加高效,安全.
原生的String.prototype.trim也是一個(gè)很好的例子, 這些功能不是HTML5中的,也應(yīng)該得到廣泛的應(yīng)用.
Tip 5: 不僅僅為離線app使用cache manifest,在線網(wǎng)站網(wǎng)站也可以適當(dāng)使用
后臺(tái)管理系統(tǒng)這樣的站點(diǎn)使用緩存可以極大提高性能.
cache manifest比設(shè)置Expires有一些優(yōu)勢(shì):明確地聲明需要緩存的文件,瀏覽器可以進(jìn)行優(yōu)化,可能在你使用之前就已經(jīng)提前下載到本地了.
可以將頁(yè)面基本結(jié)構(gòu)看做模板, 顯示的內(nèi)容隨著數(shù)據(jù)變化, 將可模板化的HTML結(jié)構(gòu)通過(guò)cache.manifest進(jìn)行緩存, 從服務(wù)器端獲取JSON數(shù)據(jù)之后更新內(nèi)容.
Tip 6: enable硬件加速來(lái)增強(qiáng)視覺(jué)體驗(yàn)
某些瀏覽器可能使用GPU加速讓高速動(dòng)畫(huà)更加平滑.Firefox Minefield, IE9, Safari已經(jīng)宣稱實(shí)現(xiàn)了硬件加速. Chromium也增加了window平臺(tái)的3D transform加速.各個(gè)瀏覽器對(duì)硬件加速的支持肯定會(huì)越來(lái)越好.
在支持并啟動(dòng)了硬件加速的情況下, 動(dòng)畫(huà), rotation, scaling, opacity肯定會(huì)更加平滑. 所有實(shí)際操作都發(fā)生在GPU而不需要內(nèi)容的重繪. 然而需要注意的是,任何影響頁(yè)面布局的操作都會(huì)降低速度.
Tip 7: 使用web worker執(zhí)行需要大量CPU資源的操作
web worker有兩個(gè)好處:
1) 快速；
2) 不阻塞瀏覽器響應(yīng)。
幾年來(lái)，電視行業(yè)有著翻天覆地的變化，技術(shù)井噴式的發(fā)展帶來(lái)了電視外觀、畫(huà)質(zhì)、功能等方面均的突破，但是對(duì)消費(fèi)者來(lái)說(shuō)，不管你的外觀多漂亮，畫(huà)質(zhì)多清晰，體驗(yàn)才是最重要的，沒(méi)有好的體驗(yàn)怎么能帶來(lái)樂(lè)趣呢？
今年年初，三星電子推出的三星曲面SUHD傲世超高清系列電視除了出眾的外觀設(shè)計(jì)、超高清的畫(huà)質(zhì)，在體驗(yàn)上同樣有著不可比擬的優(yōu)勢(shì)，他到底有哪些出眾的地方，現(xiàn)在，編輯就為你解讀。
三星曲面SUHD傲世超高清系列電視出色體驗(yàn)離不開(kāi)其采用全新獨(dú)有的Tizen系統(tǒng)，該系統(tǒng)是三星搭建傳統(tǒng)家電和互聯(lián)網(wǎng)生態(tài)體系基礎(chǔ)，其開(kāi)放性的系統(tǒng)平臺(tái)不僅在UI上表現(xiàn)的更為直觀、易用，還支持開(kāi)發(fā)電視APP的web標(biāo)準(zhǔn)，并且可以和三星的生活家電乃至移動(dòng)設(shè)備間橫跨，優(yōu)化了SMART TV 界面，將手機(jī)、PAD內(nèi)容推送到電視機(jī)上的過(guò)程也簡(jiǎn)單化、自動(dòng)化，一鍵便可輕松實(shí)現(xiàn)，更多人性化的功能設(shè)置以及簡(jiǎn)單的操作，非常方便。
而Tizen 系統(tǒng)和安卓一樣屬于基于 Linux 的開(kāi)源系統(tǒng)，可以靈活使用，允許多種應(yīng)用開(kāi)發(fā)，支持應(yīng)用運(yùn)行 HTML5 以及類似的網(wǎng)頁(yè)技術(shù)，允許應(yīng)用跨多設(shè)備類別使用，但相對(duì)安卓系統(tǒng)電視來(lái)說(shuō)，三星曲面SUHD傲世超高清系列的Tizen 系統(tǒng)界面更簡(jiǎn)潔、安全性更高，用戶體驗(yàn)更好。
三星獨(dú)有的Tizen 系統(tǒng)經(jīng)過(guò)技術(shù)革新，和上一代的Smart Hub相比，操作更為簡(jiǎn)單，UI界面更清晰，極致精簡(jiǎn)的全新三星Tizen 系統(tǒng)用戶界面只有一級(jí)界面，在屏幕下方會(huì)顯示用戶最近使用的程序，并通過(guò)定制化內(nèi)容建議為用戶提供更多娛樂(lè)選擇。
而系統(tǒng)中的同步開(kāi)機(jī)早報(bào)功能，讓我們的早晨起床變得更簡(jiǎn)單，通過(guò)三星電視個(gè)性化的同步開(kāi)機(jī)早報(bào)就能輕松查看時(shí)間、日期，新聞和天氣，還可以與智能手機(jī)設(shè)置同步工作，并會(huì)自動(dòng)開(kāi)機(jī)顯示一天的日程。
電視能否得到市場(chǎng)的認(rèn)可，成為消費(fèi)者親睞的產(chǎn)品，離不開(kāi)它的體驗(yàn)，三星曲面SUHD傲世超高清系列電視在這方面表現(xiàn)卓越，全新的Tizen 系統(tǒng)讓電視成為時(shí)尚新鮮的生活元素，時(shí)刻吸引著人去探索、發(fā)現(xiàn)。
了解更多，登陸三星官網(wǎng)：
http://www.samsung.com/cn/consumer/tv-audio-video/televisions/filter/
歡迎在新浪微博上關(guān)注我們
掃一掃!獎(jiǎng)品周周抽
評(píng)論
* 網(wǎng)友發(fā)言均非本站立場(chǎng)，本站不在評(píng)論欄推薦任何網(wǎng)店、經(jīng)銷商，謹(jǐn)防上當(dāng)受騙！
*請(qǐng)認(rèn)真填寫(xiě)需求信息，我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。
