100億文檔),總共10個(gè)數(shù)據(jù)節(jié)點(diǎn)和2個(gè)元數(shù)據(jù)節(jié)點(diǎn)(48GB內(nèi)存,8核心CPU,ES使用內(nèi)存達(dá)到70%),每天的文檔增量大概是3000W條(速度
創(chuàng)新互聯(lián)是專業(yè)的公安網(wǎng)站建設(shè)公司,公安接單;提供成都網(wǎng)站建設(shè)、成都網(wǎng)站制作,網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行公安網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!
持續(xù)增加中)。目前來看,單個(gè)文檔的查詢效率基本處于實(shí)時(shí)狀態(tài);對于1到2周的數(shù)據(jù)的聚合統(tǒng)計(jì)操作也可以在10秒之內(nèi)返回結(jié)果。
但是,還有提升的空間:
1. 對于查詢單條數(shù)據(jù)的應(yīng)用場景來說,我們可以使用ES的路由機(jī)制,將同一索引內(nèi)的具有相同特征(比如具有相同的userid)的文檔全部存儲于一個(gè)節(jié)點(diǎn)上,這樣我們之后的查詢都可以直接定位到這個(gè)節(jié)點(diǎn)上,而不用將查詢廣播道所有的節(jié)點(diǎn)上;
2. 隨著數(shù)據(jù)節(jié)點(diǎn)的增加,適當(dāng)增加分片數(shù)量,提升系統(tǒng)的分布水平,也可以通過分而治之的方式優(yōu)化查詢性能;
個(gè)人以為Elasticsearch作為內(nèi)部存儲來說還是不錯(cuò)的,效率也基本能夠滿足,在某些方面替代傳統(tǒng)DB也是可以的,前提是你的業(yè)務(wù)不對操作的事
性務(wù)有特殊要求;而權(quán)限管理也不用那么細(xì),因?yàn)镋S的權(quán)限這塊還不完善。由于我們對ES的應(yīng)用場景僅僅是在于對某段時(shí)間內(nèi)的數(shù)據(jù)聚合操作,沒有大量的單文
檔請求(比如通過userid來找到一個(gè)用戶的文檔,類似于NoSQL的應(yīng)用場景),所以能否替代NoSQL還需要各位自己的測試。如果讓我選擇的話,我
會嘗試使用ES來替代傳統(tǒng)的NoSQL,因?yàn)樗臋M向擴(kuò)展機(jī)制太方便了。
什么是NoSQL數(shù)據(jù)庫?從名稱“非SQL”或“非關(guān)系型”衍生而來,這些數(shù)據(jù)庫不使用類似SQL的查詢語言,通常稱為結(jié)構(gòu)化存儲。這些數(shù)據(jù)庫自1960年就已經(jīng)存在,但是直到現(xiàn)在一些大公司(例如Google和Facebook)開始使用它們時(shí),這些數(shù)據(jù)庫才流行起來。該數(shù)據(jù)庫最明顯的優(yōu)勢是擺脫了一組固定的列、連接和類似SQL的查詢語言的限制。有時(shí),NoSQL這個(gè)名稱也可能表示“不僅僅SQL”,來確保它們可能支持SQL。 NoSQL數(shù)據(jù)庫使用諸如鍵值、寬列、圖形或文檔之類的數(shù)據(jù)結(jié)構(gòu),并且可以如JSON之類的不同格式存儲。
elasticsearch可以代替NoSQL嗎
優(yōu)點(diǎn):
1.高并發(fā)。實(shí)測es單機(jī)分配10g內(nèi)存單實(shí)例,寫入能力1200qps,60g內(nèi)存、12核CPU起3個(gè)實(shí)例預(yù)計(jì)可達(dá)到6000qps。
2.同機(jī)房單條數(shù)據(jù)寫入平均3ms(比mysql慢,mg不清楚)
3.容錯(cuò)能力比mg強(qiáng)。比如1主多從,主片掛了從片會自動(dòng)頂上
我們使用Elasticsearch存儲的文檔數(shù)量接近50億(算上1份復(fù)制,接近
100億文檔),總共10個(gè)數(shù)據(jù)節(jié)點(diǎn)和2個(gè)元數(shù)據(jù)節(jié)點(diǎn)(48GB內(nèi)存,8核心CPU,ES使用內(nèi)存達(dá)到70%),每天的文檔增量大概是3000W條(速度
持續(xù)增加中)。目前來看,單個(gè)文檔的查詢效率基本處于實(shí)時(shí)狀態(tài);對于1到2周的數(shù)據(jù)的聚合統(tǒng)計(jì)操作也可以在10秒之內(nèi)返回結(jié)果。
但是,還有提升的空間:
1. 對于查詢單條數(shù)據(jù)的應(yīng)用場景來說,我們可以使用ES的路由機(jī)制,將同一索引內(nèi)的具有相同特征(比如具有相同的userid)的文檔全部存儲于一個(gè)節(jié)點(diǎn)上,這樣我們之后的查詢都可以直接定位到這個(gè)節(jié)點(diǎn)上,而不用將查詢廣播道所有的節(jié)點(diǎn)上;
2. 隨著數(shù)據(jù)節(jié)點(diǎn)的增加,適當(dāng)增加分片數(shù)量,提升系統(tǒng)的分布水平,也可以通過分而治之的方式優(yōu)化查詢性能;
個(gè)人以為Elasticsearch作為內(nèi)部存儲來說還是不錯(cuò)的,效率也基本能夠滿足,在某些方面替代傳統(tǒng)DB也是可以的,前提是你的業(yè)務(wù)不對操作的事
性務(wù)有特殊要求;而權(quán)限管理也不用那么細(xì),因?yàn)镋S的權(quán)限這塊還不完善。由于我們對ES的應(yīng)用場景僅僅是在于對某段時(shí)間內(nèi)的數(shù)據(jù)聚合操作,沒有大量的單文
檔請求(比如通過userid來找到一個(gè)用戶的文檔,類似于NoSQL的應(yīng)用場景),所以能否替代NoSQL還需要各位自己的測試。如果讓我選擇的話,我
會嘗試使用ES來替代傳統(tǒng)的NoSQL,因?yàn)樗臋M向擴(kuò)展機(jī)制太方便了。
文章題目:es是nosql嗎,什么是NoSQL
瀏覽路徑:http://sd-ha.com/article12/hcosdc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供手機(jī)網(wǎng)站建設(shè)、服務(wù)器托管、網(wǎng)站策劃、微信公眾號、關(guān)鍵詞優(yōu)化、ChatGPT
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)