前沿拓展:
大數(shù)據(jù)領(lǐng)域按照計算引擎和存儲引擎,可以做如圖所示的分類。
(1) Clickhouse
Clickhouse是一個很牛的工具,追求毫秒級響應(yīng),這也和Yandex(**最大的搜索公司,CK的開源者)的應(yīng)用場景有關(guān)。
當(dāng)然,CK的問題就是受限于單機(jī)的物理內(nèi)存,一旦query的mem消耗過大,將被kill。
編程語言:C++
(2) Palo (Doris)
該項(xiàng)目已經(jīng)由百度Palo團(tuán)隊貢獻(xiàn)給Apache,更名為Doris。
隨著開源,Doris已經(jīng)在京東、美團(tuán)、搜狐、小米等公司的生產(chǎn)環(huán)境中正式使用,也有越來越多的Contributor加入到Doris大家庭中。
編程語言:C++(存儲引擎Mesa) & Java(計算引擎Impala)
(3) Greenplum
Greenplum是與早期Hadoop生態(tài)圈爭鋒的翹楚,也是MPP架構(gòu)的早期踐行者。
GP是老牌的大數(shù)據(jù)工具,誕生于1996年。數(shù)倉特性豐富且成熟穩(wěn)定,傳統(tǒng)企業(yè)中使用非常廣泛。同時GPDB這2年來正在向一個數(shù)據(jù)平臺轉(zhuǎn)化,社區(qū)和生態(tài)也非常強(qiáng)大,各方面比較均衡。缺點(diǎn)是技術(shù)架構(gòu)上相對陳舊,TP性能不佳。
編程語言:C++
(4) Druid
Druid是一個分布式的列式數(shù)據(jù)存儲,能夠提供高效的數(shù)據(jù)查詢。Druid主要解決的是對于大量的基于時序的數(shù)據(jù)進(jìn)行聚合查詢,它結(jié)合了OLAP、時序數(shù)據(jù)庫、搜索系統(tǒng)等多方面的特性。
Druid在國外的應(yīng)用比較多,特別是在大型流量分析的場景。Druid的快也基于自己部分預(yù)聚合的能力。
編程語言:Java
拓展知識:
olap
1、適用人員不同:OLTP主要供基層人員使用,進(jìn)行一線業(yè)務(wù)**作。OLAP則是探索并挖掘數(shù)據(jù)價值,作為企業(yè)高層進(jìn)行決策的參考。
2、面向內(nèi)容不同:OLTP面向應(yīng)用,OLAP面向主題;
4、數(shù)據(jù)特點(diǎn)不同:OLTP的數(shù)據(jù)特點(diǎn)是當(dāng)前的、最新的、細(xì)節(jié)的, 二維的、分立的;而OLTP則是歷史的, 聚集的, **的,集成的, 統(tǒng)一的;
5、存取能力不同:OLTP可以讀/寫數(shù)十條記錄,而OLAP則可以讀上百萬條記錄;
6、工作**的復(fù)雜度不同:OLTP執(zhí)行的是簡單的事務(wù),而OLAP執(zhí)行的是復(fù)雜任務(wù);
7、可承載用戶數(shù)量不同:OLTP的可承載用戶數(shù)量為上千個,而OLAP則是上百萬個;
8、DB大小不同:OLTP的DB 大小為100GB,而OLAP則可以達(dá)到100TB;
9、執(zhí)行時間要求不同:OLTP具有實(shí)時性,OLAP對時間的要求不嚴(yán)格。
OLTP-百度百科 OLAP-百度百科
本回答被網(wǎng)友采納
olap
OLTP即聯(lián)機(jī)事務(wù)處理,就是我們經(jīng)常說的關(guān)系數(shù)據(jù)庫,意即記錄即時的增、刪、改、查,就是我們經(jīng)常應(yīng)用的東西,這是數(shù)據(jù)庫的基礎(chǔ);
OLAP即聯(lián)機(jī)分析處理,是數(shù)據(jù)倉庫的核心部心,所謂數(shù)據(jù)倉庫是對于大量已經(jīng)由OLTP形成的數(shù)據(jù)的一種分析型的數(shù)據(jù)庫,用于處理商業(yè)智能、決策支持等重要的決策信息;數(shù)據(jù)倉庫是在數(shù)據(jù)庫應(yīng)用到一定程序之后而對歷史數(shù)據(jù)的加工與分析;是處理兩種不同用途的工具而已。
本人從事通信行業(yè)數(shù)據(jù)庫與數(shù)據(jù)倉庫的開發(fā)多年,如有需要可與我多多溝通。
本回答被提問者采納
原創(chuàng)文章,作者:九賢生活小編,如若轉(zhuǎn)載,請注明出處:http://xiesong.cn/13648.html