久久久精品一区ed2k-女人被男人叉到高潮的视频-中文字幕乱码一区久久麻豆樱花-俄罗斯熟妇真实视频

關(guān)于nosqlschema的信息

什么是NoSQL

與會人員來自Voldemort,Cassandra, Dynomite, HBase, Hypertable, CouchDB, VPork, 以及MongoDB的公司。這個詞迅速的被人們注意到,有人認為只有出席了這次會議的幾個數(shù)據(jù)庫公司的產(chǎn)品才是NoSQL。事實上,就是對NoSQL這個名字本身的理解也是有分歧的:很多NoSQL的倡導者認為它不僅僅指的是”No” to SQL,應該把它理解成Not Noly SQL才對。對于此,我認為,應該從目前的數(shù)據(jù)庫生態(tài)環(huán)境中分離出一個獨立的數(shù)據(jù)庫類型,這樣對NoSQL的未來更有好處。當我們說“x 是一個NoSQL數(shù)據(jù)庫”時,我認為把NoSQL解釋成“Not Only”是愚蠢的,因為這會讓這個術(shù)語變得沒有價值。(因為這樣一來你實際上可以認為SQL Server也是一個NoSQL數(shù)據(jù)庫)。我們應該把NoSQL的“not only”做另外一種理解——盡管這個時候我更愿意使用PolyglotPersistence這個詞。雖然有這么多的討論,定義如何才是一個NoSQL數(shù)據(jù)庫仍然不那么容易。難道所有不使用SQL的數(shù)據(jù)庫都有資格叫這個名字嗎?那如何看待那些更老的數(shù)據(jù)庫如IMS?0?2或?0?2MUMPS呢?如何看待那些沒有SQL的關(guān)系型數(shù)據(jù)庫系統(tǒng)(例如早期的Ingres)?如果有人試圖在這最初的八種數(shù)據(jù)庫上外掛一個SQL接口呢?所以,對于我們這本書來說,我們采取的觀點是,NoSQL是目前的數(shù)據(jù)庫家族的外來者。它們有些通用的特征,但沒有一個是被明確定義的。不使用關(guān)系數(shù)據(jù)庫模型(或SQL語言)開源針對大型集群而設(shè)計基于21世紀互聯(lián)網(wǎng)特征的需求沒有schema,可以在任何時候向一條記錄添加新字段雖然在軟件產(chǎn)業(yè)里我們已經(jīng)習慣了這種模糊的邊界定義,但我承認當看到又多了這樣一個定義后,心里還是有些不爽。但重要的是,在我們以后數(shù)十年的開發(fā)工作中,這些數(shù)據(jù)庫提供了我們重要的補充。在未來普遍使用的過程中,這些不清晰的定義頂多就像一個蚊子的叮咬。標簽:定義, 數(shù)據(jù)庫

成都創(chuàng)新互聯(lián)擁有十余年成都網(wǎng)站建設(shè)工作經(jīng)驗,為各大企業(yè)提供成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計服務,對于網(wǎng)頁設(shè)計、PC網(wǎng)站建設(shè)(電腦版網(wǎng)站建設(shè))、成都App定制開發(fā)、wap網(wǎng)站建設(shè)(手機版網(wǎng)站建設(shè))、程序開發(fā)、網(wǎng)站優(yōu)化(SEO優(yōu)化)、微網(wǎng)站、申請域名等,憑借多年來在互聯(lián)網(wǎng)的打拼,我們在互聯(lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了很多網(wǎng)站制作、網(wǎng)站設(shè)計、網(wǎng)絡(luò)營銷經(jīng)驗,集策劃、開發(fā)、設(shè)計、營銷、管理等網(wǎng)站化運作于一體,具備承接各種規(guī)模類型的網(wǎng)站建設(shè)項目的能力。

高性能 NoSQL

關(guān)系數(shù)據(jù)庫經(jīng)過幾十年的發(fā)展,已經(jīng)非常成熟,但同時也存在不足:

表結(jié)構(gòu)是強約束的,業(yè)務變更時擴充很麻煩。

如果對大數(shù)據(jù)量的表進行統(tǒng)計運算,I/O會很高,因為即使只針對某列進行運算,也需要將整行數(shù)據(jù)讀入內(nèi)存。

全文搜索只能使用 Like 進行整表掃描,性能非常低。

針對這些不足,產(chǎn)生了不同的 NoSQL 解決方案,在某些場景下比關(guān)系數(shù)據(jù)庫更有優(yōu)勢,但同時也犧牲了某些特性,所以不能片面的迷信某種方案,應將其作為 SQL 的有利補充。

NoSQL != No SQL,而是:

NoSQL = Not Only SQL

典型的 NoSQL 方案分為4類:

Redis 是典型,其 value 是具體的數(shù)據(jù)結(jié)構(gòu),包括 string, hash, list, set, sorted set, bitmap, hyperloglog,常被稱為數(shù)據(jù)結(jié)構(gòu)服務器。

以 list 為例:

LPOP key 是移除并返回隊列左邊的第一個元素。

如果用關(guān)系數(shù)據(jù)庫就比較麻煩了,需要操作:

Redis 的缺點主要體現(xiàn)在不支持完成的ACID事務,只能保證隔離性和一致性,無法保證原子性和持久性。

最大的特點是 no-schema,無需在使用前定義字段,讀取一個不存在的字段也不會導致語法錯誤。

特點:

以電商為例,不同商品的屬性差異很大,如冰箱和電腦,這種差異性在關(guān)系數(shù)據(jù)庫中會有很大的麻煩,而使用文檔數(shù)據(jù)庫則非常方便。

文檔數(shù)據(jù)庫的主要缺點:

關(guān)系數(shù)據(jù)庫是按行來存儲的,列式數(shù)據(jù)庫是按照列來存儲數(shù)據(jù)。

按行存儲的優(yōu)勢:

在某些場景下,這些優(yōu)勢就成為劣勢了,例如,計算超重人員的數(shù)據(jù),只需要讀取體重這一列進行統(tǒng)計即可,但行式存儲會將整行數(shù)據(jù)讀取到內(nèi)存中,很浪費。

而列式存儲中,只需要讀取體重這列的數(shù)據(jù)即可,I/O 將大大減少。

除了節(jié)省I/O,列式存儲還有更高的壓縮比,可以節(jié)省存儲空間。普通行式數(shù)據(jù)庫的壓縮比在 3:1 到 5:1 左右,列式數(shù)據(jù)庫在 8:1 到 30:1,因為單個列的數(shù)據(jù)相似度更高。

列式存儲的隨機寫效率遠低于行式存儲,因為行式存儲時同一行多個列都存儲在連續(xù)空間中,而列式存儲將不同列存儲在不連續(xù)的空間。

一般將列式存儲應用在離線大數(shù)據(jù)分析統(tǒng)計場景,因為這時主要針對部分列進行操作,而且數(shù)據(jù)寫入后無須更新。

關(guān)系數(shù)據(jù)庫通過索引進行快速查詢,但在全文搜索的情景下,索引就不夠了,因為:

假設(shè)有一個交友網(wǎng)站,信息表如下:

需要匹配性別、地點、語言列。

需要匹配性別、地點、愛好列。

實際搜索中,各種排列組合非常多,關(guān)系數(shù)據(jù)庫很難支持。

全文搜索引擎是使用 倒排索引 技術(shù),建立單詞到文檔的索引,例如上面的表信息建立倒排索引:

所以特別適合根據(jù)關(guān)鍵詞來查詢文檔內(nèi)容。

上面介紹了幾種典型的NoSQL方案,及各自的適用場景和特點,您可以根據(jù)實際需求進行選擇。

nosql數(shù)據(jù)庫是什么 具有代表性以key-value的形式存儲的

什么是NoSQL

大家有沒有聽說過“NoSQL”呢?近年,這個詞極受關(guān)注??吹健癗oSQL”這個詞,大家可能會誤以為是“No!SQL”的縮寫,并深感憤怒:“SQL怎么會沒有必要了呢?”但實際上,它是“Not Only SQL”的縮寫。它的意義是:適用關(guān)系型數(shù)據(jù)庫的時候就使用關(guān)系型數(shù)據(jù)庫,不適用的時候也沒有必要非使用關(guān)系型數(shù)據(jù)庫不可,可以考慮使用更加合適的數(shù)據(jù)存儲。

為彌補關(guān)系型數(shù)據(jù)庫的不足,各種各樣的NoSQL數(shù)據(jù)庫應運而生。

為了更好地了解本書所介紹的NoSQL數(shù)據(jù)庫,對關(guān)系型數(shù)據(jù)庫的理解是必不可少的。那么,就讓我們先來看一看關(guān)系型數(shù)據(jù)庫的歷史、分類和特征吧。

關(guān)系型數(shù)據(jù)庫簡史

1969年,埃德加?6?1弗蘭克?6?1科德(Edgar Frank Codd)發(fā)表了劃時代的論文,首次提出了關(guān)系數(shù)據(jù)模型的概念。但可惜的是,刊登論文的《IBM Research Report》只是IBM公司的內(nèi)部刊物,因此論文反響平平。1970年,他再次在刊物《Communication of the ACM》上發(fā)表了題為“A Relational Model of Data for Large Shared Data banks”(大型共享數(shù)據(jù)庫的關(guān)系模型)的論文,終于引起了大家的關(guān)注。

科德所提出的關(guān)系數(shù)據(jù)模型的概念成為了現(xiàn)今關(guān)系型數(shù)據(jù)庫的基礎(chǔ)。當時的關(guān)系型數(shù)據(jù)庫由于硬件性能低劣、處理速度過慢而遲遲沒有得到實際應用。但之后隨著硬件性能的提升,加之使用簡單、性能優(yōu)越等優(yōu)點,關(guān)系型數(shù)據(jù)庫得到了廣泛的應用。

通用性及高性能

雖然本書是講解NoSQL數(shù)據(jù)庫的,但有一個重要的大前提,請大家一定不要誤解。這個大前提就是“關(guān)系型數(shù)據(jù)庫的性能絕對不低,它具有非常好的通用性和非常高的性能”。毫無疑問,對于絕大多數(shù)的應用來說它都是最有效的解決方案。

突出的優(yōu)勢

關(guān)系型數(shù)據(jù)庫作為應用廣泛的通用型數(shù)據(jù)庫,它的突出優(yōu)勢主要有以下幾點:

保持數(shù)據(jù)的一致性(事務處理)

由于以標準化為前提,數(shù)據(jù)更新的開銷很小(相同的字段基本上都只有一處)

可以進行JOIN等復雜查詢

存在很多實際成果和專業(yè)技術(shù)信息(成熟的技術(shù))

這其中,能夠保持數(shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫的最大優(yōu)勢。在需要嚴格保證數(shù)據(jù)一致性和處理完整性的情況下,用關(guān)系型數(shù)據(jù)庫是肯定沒有錯的。但是有些情況不需要JOIN,對上述關(guān)系型數(shù)據(jù)庫的優(yōu)點也沒有什么特別需要,這時似乎也就沒有必要拘泥于關(guān)系型數(shù)據(jù)庫了。

關(guān)系型數(shù)據(jù)庫的不足

不擅長的處理

就像之前提到的那樣,關(guān)系型數(shù)據(jù)庫的性能非常高。但是它畢竟是一個通用型的數(shù)據(jù)庫,并不能完全適應所有的用途。具體來說它并不擅長以下處理:

大量數(shù)據(jù)的寫入處理

為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)(schema)變更

字段不固定時應用

對簡單查詢需要快速返回結(jié)果的處理

。。。。。。

NoSQL數(shù)據(jù)庫

為了彌補關(guān)系型數(shù)據(jù)庫的不足(特別是最近幾年),NoSQL數(shù)據(jù)庫出現(xiàn)了。關(guān)系型數(shù)據(jù)庫應用廣泛,能進行事務處理和JOIN等復雜處理。相對地,NoSQL數(shù)據(jù)庫只應用在特定領(lǐng)域,基本上不進行復雜的處理,但它恰恰彌補了之前所列舉的關(guān)系型數(shù)據(jù)庫的不足之處。

易于數(shù)據(jù)的分散

如前所述,關(guān)系型數(shù)據(jù)庫并不擅長大量數(shù)據(jù)的寫入處理。原本關(guān)系型數(shù)據(jù)庫就是以JOIN為前提的,就是說,各個數(shù)據(jù)之間存在關(guān)聯(lián)是關(guān)系型數(shù)據(jù)庫得名的主要原因。為了進行JOIN處理,關(guān)系型數(shù)據(jù)庫不得不把數(shù)據(jù)存儲在同一個服務器內(nèi),這不利于數(shù)據(jù)的分散。相反,NoSQL數(shù)據(jù)庫原本就不支持JOIN處理,各個數(shù)據(jù)都是獨立設(shè)計的,很容易把數(shù)據(jù)分散到多個服務器上。由于數(shù)據(jù)被分散到了多個服務器上,減少了每個服務器上的數(shù)據(jù)量,即使要進行大量數(shù)據(jù)的寫入操作,處理起來也更加容易。同理,數(shù)據(jù)的讀入操作當然也同樣容易。

提升性能和增大規(guī)模

下面說一點題外話,如果想要使服務器能夠輕松地處理更大量的數(shù)據(jù),那么只有兩個選擇:一是提升性能,二是增大規(guī)模。下面我們來整理一下這兩者的不同。

首先,提升性能指的就是通過提升現(xiàn)行服務器自身的性能來提高處理能力。這是非常簡單的方法,程序方面也不需要進行變更,但需要一些費用。若要購買性能翻倍的服務器,需要花費的資金往往不只是原來的2倍,可能需要多達5到10倍。這種方法雖然簡單,但是成本較高。

另一方面,增大規(guī)模指的是使用多臺廉價的服務器來提高處理能力。它需要對程序進行變更,但由于使用廉價的服務器,可以控制成本。另外,以后只要依葫蘆畫瓢增加廉價服務器的數(shù)量就可以了。

不對大量數(shù)據(jù)進行處理的話就沒有使用的必要嗎?

NoSQL數(shù)據(jù)庫基本上來說為了“使大量數(shù)據(jù)的寫入處理更加容易(讓增加服務器數(shù)量更容易)”而設(shè)計的。但如果不是對大量數(shù)據(jù)進行操作的話,NoSQL數(shù)據(jù)庫的應用就沒有意義嗎?

答案是否定的。的確,它在處理大量數(shù)據(jù)方面很有優(yōu)勢。但實際上NoSQL數(shù)據(jù)庫還有各種各樣的特點,如果能夠恰當?shù)乩眠@些特點將會是非常有幫助。具體的例子將會在第2章和第3章進行介紹,這些用途將會讓你感受到利用NoSQL的好處。

希望順暢地對數(shù)據(jù)進行緩存(Cache)處理

希望對數(shù)組類型的數(shù)據(jù)進行高速處理

希望進行全部保存

多樣的NoSQL數(shù)據(jù)庫

NoSQL數(shù)據(jù)庫存在著“key-value存儲”、“文檔型數(shù)據(jù)庫”、“列存儲數(shù)據(jù)庫”等各種各樣的種類,每種數(shù)據(jù)庫又包含各自的特點。下一節(jié)讓我們一起來了解一下NoSQL數(shù)據(jù)庫的種類和特點。

NoSQL數(shù)據(jù)庫是什么

NoSQL說起來簡單,但實際上到底有多少種呢?我在提筆的時候,到NoSQL的官方網(wǎng)站上確認了一下,竟然已經(jīng)有122種了。另外官方網(wǎng)站上也介紹了本書沒有涉及到的圖形數(shù)據(jù)庫和對象數(shù)據(jù)庫等各個類別。不知不覺間,原來已經(jīng)出現(xiàn)了這么多的NoSQL數(shù)據(jù)庫啊。

本節(jié)將為大家介紹具有代表性的NoSQL數(shù)據(jù)庫。

key-value存儲

這是最常見的NoSQL數(shù)據(jù)庫,它的數(shù)據(jù)是以key-value的形式存儲的。雖然它的處理速度非???,但是基本上只能通過key的完全一致查詢獲取數(shù)據(jù)。根據(jù)數(shù)據(jù)的保存方式可以分為臨時性、永久性和兩者兼具三種。

臨時性

memcached屬于這種類型。所謂臨時性就是 “數(shù)據(jù)有可能丟失”的意思。memcached把所有數(shù)據(jù)都保存在內(nèi)存中,這樣保存和讀取的速度非???,但是當memcached停止的時候,數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內(nèi)存中,所以無法操作超出內(nèi)存容量的數(shù)據(jù)(舊數(shù)據(jù)會丟失)。

在內(nèi)存中保存數(shù)據(jù)

可以進行非??焖俚谋4婧妥x取處理

數(shù)據(jù)有可能丟失

永久性

Tokyo Tyrant、Flare、ROMA等屬于這種類型。和臨時性相反,所謂永久性就是“數(shù)據(jù)不會丟失”的意思。這里的key-value存儲不像memcached那樣在內(nèi)存中保存數(shù)據(jù),而是把數(shù)據(jù)保存在硬盤上。與memcached在內(nèi)存中處理數(shù)據(jù)比起來,由于必然要發(fā)生對硬盤的IO操作,所以性能上還是有差距的。但數(shù)據(jù)不會丟失是它最大的優(yōu)勢。

在硬盤上保存數(shù)據(jù)

可以進行非??焖俚谋4婧妥x取處理(但無法與memcached相比)

數(shù)據(jù)不會丟失

兩者兼具

Redis屬于這種類型。Redis有些特殊,臨時性和永久性兼具,且集合了臨時性key-value存儲和永久性key-value存儲的優(yōu)點。Redis首先把數(shù)據(jù)保存到內(nèi)存中,在滿足特定條件(默認是15分鐘一次以上,5分鐘內(nèi)10個以上,1分鐘內(nèi)10000個以上的key發(fā)生變更)的時候?qū)?shù)據(jù)寫入到硬盤中。這樣既確保了內(nèi)存中數(shù)據(jù)的處理速度,又可以通過寫入硬盤來保證數(shù)據(jù)的永久性。這種類型的數(shù)據(jù)庫特別適合于處理數(shù)組類型的數(shù)據(jù)。

同時在內(nèi)存和硬盤上保存數(shù)據(jù)

可以進行非常快速的保存和讀取處理

保存在硬盤上的數(shù)據(jù)不會消失(可以恢復)

適合于處理數(shù)組類型的數(shù)據(jù)

面向文檔的數(shù)據(jù)庫

MongoDB、CouchDB屬于這種類型。它們屬于NoSQL數(shù)據(jù)庫,但與key-value存儲相異。

不定義表結(jié)構(gòu)

面向文檔的數(shù)據(jù)庫具有以下特征:即使不定義表結(jié)構(gòu),也可以像定義了表結(jié)構(gòu)一樣使用。關(guān)系型數(shù)據(jù)庫在變更表結(jié)構(gòu)時比較費事,而且為了保持一致性還需修改程序。然而NoSQL數(shù)據(jù)庫則可省去這些麻煩(通常程序都是正確的),確實是方便快捷。

可以使用復雜的查詢條件

跟key-value存儲不同的是,面向文檔的數(shù)據(jù)庫可以通過復雜的查詢條件來獲取數(shù)據(jù)。雖然不具備事務處理和JOIN這些關(guān)系型數(shù)據(jù)庫所具有的處理能力,但除此以外的其他處理基本上都能實現(xiàn)。這是非常容易使用的NoSQL數(shù)據(jù)庫。

不需要定義表結(jié)構(gòu)

可以利用復雜的查詢條件

面向列的數(shù)據(jù)庫

Cassandra、Hbase、HyperTable屬于這種類型。由于近年來數(shù)據(jù)量出現(xiàn)爆發(fā)性增長,這種類型的NoSQL數(shù)據(jù)庫尤其引人注目。

面向行的數(shù)據(jù)庫和面向列的數(shù)據(jù)庫

普通的關(guān)系型數(shù)據(jù)庫都是以行為單位來存儲數(shù)據(jù)的,擅長進行以行為單位的讀入處理,比如特定條件數(shù)據(jù)的獲取。因此,關(guān)系型數(shù)據(jù)庫也被稱為面向行的數(shù)據(jù)庫。相反,面向列的數(shù)據(jù)庫是以列為單位來存儲數(shù)據(jù)的,擅長以列為單位讀入數(shù)據(jù)。

高擴展性

面向列的數(shù)據(jù)庫具有高擴展性,即使數(shù)據(jù)增加也不會降低相應的處理速度(特別是寫入速度),所以它主要應用于需要處理大量數(shù)據(jù)的情況。另外,利用面向列的數(shù)據(jù)庫的優(yōu)勢,把它作為批處理程序的存儲器來對大量數(shù)據(jù)進行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫跟現(xiàn)行數(shù)據(jù)庫存儲的思維方式有很大不同,應用起來十分困難。

高擴展性(特別是寫入處理)

應用十分困難

最近,像Twitter和Facebook這樣需要對大量數(shù)據(jù)進行更新和查詢的網(wǎng)絡(luò)服務不斷增加,面向列的數(shù)據(jù)庫的優(yōu)勢對其中一些服務是非常有用的,但是由于這與本書所要介紹的內(nèi)容關(guān)系不大,就不進行詳細介紹了。

總結(jié):

NoSQL并不是No-SQL,而是指Not Only SQL。

NoSQL的出現(xiàn)是為了彌補SQL數(shù)據(jù)庫因為事務等機制帶來的對海量數(shù)據(jù)、高并發(fā)請求的處理的性能上的欠缺。

NoSQL不是為了替代SQL而出現(xiàn)的,它是一種替補方案,而不是解決方案的首選。

絕大多數(shù)的NoSQL產(chǎn)品都是基于大內(nèi)存和高性能隨機讀寫的(比如具有更高性能的固態(tài)硬盤陣列),一般的小型企業(yè)在選擇NoSQL時一定要慎重!不要為了NoSQL而NoSQL,可能會導致花了冤枉錢又耽擱了項目進程。

NoSQL不是萬能的,但在大型項目中,你往往需要它!

為什么海量數(shù)據(jù)場景中NoSQL越來越重要

本質(zhì)是因為:隨著互聯(lián)網(wǎng)的進一步發(fā)展與各行業(yè)信息化建設(shè)進程加快、參與者的增多,人們對軟件有了更多更新的要求,需要軟件不僅能實現(xiàn)功能,而且要求保證許多人可以共同參與使用,因而軟件所需承載的數(shù)據(jù)量和吞吐量必須達到相應的需求。而目前的關(guān)系型數(shù)據(jù)庫在某些方面有一些缺點,導致不能滿足需要。

具體則需要對比關(guān)系型數(shù)據(jù)庫與Nosql之間的區(qū)別可以得出

關(guān)系型數(shù)據(jù)庫

關(guān)系型數(shù)據(jù)庫把所有的數(shù)據(jù)都通過行和列的二元表現(xiàn)形式表示出來。

關(guān)系型數(shù)據(jù)庫的優(yōu)勢:

1.?保持數(shù)據(jù)的一致性(事務處理)

2.由于以標準化為前提,數(shù)據(jù)更新的開銷很小(相同的字段基本上都只有一處)

3.?可以進行Join等復雜查詢

其中能夠保持數(shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫的最大優(yōu)勢。

關(guān)系型數(shù)據(jù)庫的不足:

不擅長的處理

1.?大量數(shù)據(jù)的寫入處理(這點尤為重要)

2.?為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)(schema)變更

3.?字段不固定時應用

4.?對簡單查詢需要快速返回結(jié)果的處理

--大量數(shù)據(jù)的寫入處理

讀寫集中在一個數(shù)據(jù)庫上讓數(shù)據(jù)庫不堪重負,大部分網(wǎng)站已使用主從復制技術(shù)實現(xiàn)讀寫分離,以提高讀寫性能和讀庫的可擴展性。

所以在進行大量數(shù)據(jù)操作時,會使用數(shù)據(jù)庫主從模式。數(shù)據(jù)的寫入由主數(shù)據(jù)庫負責,數(shù)據(jù)的讀入由從數(shù)據(jù)庫負責,可以比較簡單地通過增加從數(shù)據(jù)庫來實現(xiàn)規(guī)?;菙?shù)據(jù)的寫入?yún)s完全沒有簡單的方法來解決規(guī)?;瘑栴}。

第一,要想將數(shù)據(jù)的寫入規(guī)模化,可以考慮把主數(shù)據(jù)庫從一臺增加到兩臺,作為互相關(guān)聯(lián)復制的二元主數(shù)據(jù)庫使用,確實這樣可以把每臺主數(shù)據(jù)庫的負荷減少一半,但是更新處理會發(fā)生沖突,可能會造成數(shù)據(jù)的不一致,為了避免這樣的問題,需要把對每個表的請求分別分配給合適的主數(shù)據(jù)庫來處理。

第二,可以考慮把數(shù)據(jù)庫分割開來,分別放在不同的數(shù)據(jù)庫服務器上,比如將不同的表放在不同的數(shù)據(jù)庫服務器上,數(shù)據(jù)庫分割可以減少每臺數(shù)據(jù)庫服務器上的數(shù)據(jù)量,以便減少硬盤IO的輸入、輸出處理,實現(xiàn)內(nèi)存上的高速處理。但是由于分別存儲字不同服務器上的表之間無法進行Join處理,數(shù)據(jù)庫分割的時候就需要預先考慮這些問題,數(shù)據(jù)庫分割之后,如果一定要進行Join處理,就必須要在程序中進行關(guān)聯(lián),這是非常困難的。

--為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)變更

在使用關(guān)系型數(shù)據(jù)庫時,為了加快查詢速度需要創(chuàng)建索引,為了增加必要的字段就一定要改變表結(jié)構(gòu),為了進行這些處理,需要對表進行共享鎖定,這期間數(shù)據(jù)變更、更新、插入、刪除等都是無法進行的。如果需要進行一些耗時操作,例如為數(shù)據(jù)量比較大的表創(chuàng)建索引或是變更其表結(jié)構(gòu),就需要特別注意,長時間內(nèi)數(shù)據(jù)可能無法進行更新。

--字段不固定時的應用

如果字段不固定,利用關(guān)系型數(shù)據(jù)庫也是比較困難的,有人會說,需要的時候加個字段就可以了,這樣的方法也不是不可以,但在實際運用中每次都進行反復的表結(jié)構(gòu)變更是非常痛苦的。你也可以預先設(shè)定大量的預備字段,但這樣的話,時間一長很容易弄不清除字段和數(shù)據(jù)的對應狀態(tài),即哪個字段保存有哪些數(shù)據(jù)。

--對簡單查詢需要快速返回結(jié)果的處理? (這里的“簡單”指的是沒有復雜的查詢條件)

這一點稱不上是缺點,但不管怎樣,關(guān)系型數(shù)據(jù)庫并不擅長對簡單的查詢快速返回結(jié)果,因為關(guān)系型數(shù)據(jù)庫是使用專門的sql語言進行數(shù)據(jù)讀取的,它需要對sql與越南進行解析,同時還有對表的鎖定和解鎖等這樣的額外開銷,這里并不是說關(guān)系型數(shù)據(jù)庫的速度太慢,而只是想告訴大家若希望對簡單查詢進行高速處理,則沒有必要非使用關(guān)系型數(shù)據(jù)庫不可。

NoSQL數(shù)據(jù)庫

關(guān)系型數(shù)據(jù)庫應用廣泛,能進行事務處理和表連接等復雜查詢。相對地,NoSQL數(shù)據(jù)庫只應用在特定領(lǐng)域,基本上不進行復雜的處理,但它恰恰彌補了之前所列舉的關(guān)系型數(shù)據(jù)庫的不足之處。

優(yōu)點:

易于數(shù)據(jù)的分散

各個數(shù)據(jù)之間存在關(guān)聯(lián)是關(guān)系型數(shù)據(jù)庫得名的主要原因,為了進行join處理,關(guān)系型數(shù)據(jù)庫不得不把數(shù)據(jù)存儲在同一個服務器內(nèi),這不利于數(shù)據(jù)的分散,這也是關(guān)系型數(shù)據(jù)庫并不擅長大數(shù)據(jù)量的寫入處理的原因。相反NoSQL數(shù)據(jù)庫原本就不支持Join處理,各個數(shù)據(jù)都是獨立設(shè)計的,很容易把數(shù)據(jù)分散在多個服務器上,故減少了每個服務器上的數(shù)據(jù)量,即使要處理大量數(shù)據(jù)的寫入,也變得更加容易,數(shù)據(jù)的讀入操作當然也同樣容易。

典型的NoSQL數(shù)據(jù)庫

臨時性鍵值存儲(memcached、Redis)、永久性鍵值存儲(ROMA、Redis)、面向文檔的數(shù)據(jù)庫(MongoDB、CouchDB)、面向列的數(shù)據(jù)庫(Cassandra、HBase)

一、 鍵值存儲

它的數(shù)據(jù)是以鍵值的形式存儲的,雖然它的速度非??欤旧现荒芡ㄟ^鍵的完全一致查詢獲取數(shù)據(jù),根據(jù)數(shù)據(jù)的保存方式可以分為臨時性、永久性和兩者兼具 三種。

(1)臨時性

所謂臨時性就是數(shù)據(jù)有可能丟失,memcached把所有數(shù)據(jù)都保存在內(nèi)存中,這樣保存和讀取的速度非???,但是當memcached停止時,數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內(nèi)存中,所以無法操作超出內(nèi)存容量的數(shù)據(jù),舊數(shù)據(jù)會丟失??偨Y(jié)來說:

。在內(nèi)存中保存數(shù)據(jù)

??梢赃M行非??焖俚谋4婧妥x取處理

。數(shù)據(jù)有可能丟失

(2)永久性

所謂永久性就是數(shù)據(jù)不會丟失,這里的鍵值存儲是把數(shù)據(jù)保存在硬盤上,與臨時性比起來,由于必然要發(fā)生對硬盤的IO操作,所以性能上還是有差距的,但數(shù)據(jù)不會丟失是它最大的優(yōu)勢。總結(jié)來說:

。在硬盤上保存數(shù)據(jù)

??梢赃M行非常快速的保存和讀取處理(但無法與memcached相比)

。數(shù)據(jù)不會丟失

(3) 兩者兼?zhèn)?/p>

Redis屬于這種類型。Redis有些特殊,臨時性和永久性兼具。Redis首先把數(shù)據(jù)保存在內(nèi)存中,在滿足特定條件(默認是?15分鐘一次以上,5分鐘內(nèi)10個以上,1分鐘內(nèi)10000個以上的鍵發(fā)生變更)的時候?qū)?shù)據(jù)寫入到硬盤中,這樣既確保了內(nèi)存中數(shù)據(jù)的處理速度,又可以通過寫入硬盤來保證數(shù)據(jù)的永久性,這種類型的數(shù)據(jù)庫特別適合處理數(shù)組類型的數(shù)據(jù)??偨Y(jié)來說:

。同時在內(nèi)存和硬盤上保存數(shù)據(jù)

??梢赃M行非常快速的保存和讀取處理

。保存在硬盤上的數(shù)據(jù)不會消失(可以恢復)

。適合于處理數(shù)組類型的數(shù)據(jù)

二、面向文檔的數(shù)據(jù)庫

MongoDB、CouchDB屬于這種類型,它們屬于NoSQL數(shù)據(jù)庫,但與鍵值存儲相異。

(1)不定義表結(jié)構(gòu)

即使不定義表結(jié)構(gòu),也可以像定義了表結(jié)構(gòu)一樣使用,還省去了變更表結(jié)構(gòu)的麻煩。

(2)可以使用復雜的查詢條件

跟鍵值存儲不同的是,面向文檔的數(shù)據(jù)庫可以通過復雜的查詢條件來獲取數(shù)據(jù),雖然不具備事務處理和Join這些關(guān)系型數(shù)據(jù)庫所具有的處理能力,但初次以外的其他處理基本上都能實現(xiàn)。

三、?面向列的數(shù)據(jù)庫

Cassandra、HBae、HyperTable屬于這種類型,由于近年來數(shù)據(jù)量出現(xiàn)爆發(fā)性增長,這種類型的NoSQL數(shù)據(jù)庫尤其引入注目。

普通的關(guān)系型數(shù)據(jù)庫都是以行為單位來存儲數(shù)據(jù)的,擅長以行為單位的讀入處理,比如特定條件數(shù)據(jù)的獲取。因此,關(guān)系型數(shù)據(jù)庫也被成為面向行的數(shù)據(jù)庫。相反,面向列的數(shù)據(jù)庫是以列為單位來存儲數(shù)據(jù)的,擅長以列為單位讀入數(shù)據(jù)。

面向列的數(shù)據(jù)庫具有搞擴展性,即使數(shù)據(jù)增加也不會降低相應的處理速度(特別是寫入速度),所以它主要應用于需要處理大量數(shù)據(jù)的情況。另外,把它作為批處理程序的存儲器來對大量數(shù)據(jù)進行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫跟現(xiàn)行數(shù)據(jù)庫存儲的思維方式有很大不同,故應用起來十分困難。

總結(jié):關(guān)系型數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫并非對立而是互補的關(guān)系,即通常情況下使用關(guān)系型數(shù)據(jù)庫,在適合使用NoSQL的時候使用NoSQL數(shù)據(jù)庫,讓NoSQL數(shù)據(jù)庫對關(guān)系型數(shù)據(jù)庫的不足進行彌補。

衡量數(shù)據(jù)庫性能的重要指標

具體來說,本文包括以下內(nèi)容:

事務

查詢性能

用戶和查詢沖突

容量

配置

NoSQL 數(shù)據(jù)庫

事務

事務可以觀察真實用戶的行為:能夠在應用交互時捕獲實時性能。眾所周知,測量事務的性能包括獲取整個事務的響應時間和組成事務的各個部分的響應時間。通常我們可以用這些響應時間與滿足事務需求的基線對比,來確定當前事務是否處于正常狀態(tài)。

如果你只想衡量應用的某個方面,那么可以評估事務的行為。所以,盡管容器指標能夠提供更豐富的信息,并且?guī)椭銢Q定何時對當前環(huán)境進行自動測量,但你的事務就足以確定應用性能。無需向應用程序服務器獲取 CPU 的使用情況,你更應該關(guān)心用戶是否完成了事務,以及該事務是否得到了優(yōu)化。

補充一個小知識點,事務是由入口點決定的,通過該入口點可以啟動事務與應用進行交互。

一旦定義了事務,會在整個應用生態(tài)系統(tǒng)中對其性能進行測量,并將每個事務與基線進行比對。例如,我們可能會決定當事務的響應時間與基線相比,一旦慢于平均響應時間的兩個標準差是否就應該判定為異常,如圖1所示。

圖1-基于基線評估當前事務響應時間

用于評估事務的基線與正在進行的事務活動在時間上是一致的,但事務會由每個事務執(zhí)行來完善。例如,當你選定一個基線,在當前事務結(jié)束之后,將事務與平均響應時間按每天的小時數(shù)和每周的天數(shù)進行對比,所有在那段時間內(nèi)執(zhí)行的事務都將會被納入下周的基線中。通過這種機制,應用程序可以隨時間而變化,而無需每次都重建原始基線;你可以將其看作是一個隨時間移動的窗口。

總之,事務最能反映用戶體驗的測量方法,所以也是衡量性能狀況最重要的指標。

查詢性能?

最容易檢測到查詢性能是否正常的指標就是查詢本身。由查詢引起的問題可能會導致時間太長而無法識別所需數(shù)據(jù)或返回數(shù)據(jù)。所以不妨在查詢中排查以下問題。

1. 選擇過多冗余數(shù)據(jù)

編寫查詢語句來返回適當?shù)臄?shù)據(jù)是遠遠不夠的,很可能你的查詢語句會返回太多列,從而導致選擇行和檢索數(shù)據(jù)變得異常緩慢。所以,最好是列出所需的列,而不是直接用 SELECT*。當需要在特定字段中查詢時,該計劃可能會確定一個覆蓋索引從而加快結(jié)果返回。覆蓋索引通常會包含查詢中使用的所有字段。這意味著數(shù)據(jù)庫可以僅從索引中產(chǎn)生結(jié)果,而不需要通過底層表來構(gòu)建。

另外,列出結(jié)果中所需的列不僅可以減少傳輸?shù)臄?shù)據(jù),還能進一步提高性能。

2. 表之間的低效聯(lián)接

聯(lián)接會導致數(shù)據(jù)庫將多組數(shù)據(jù)帶到內(nèi)存中進行比較,這會產(chǎn)生多個數(shù)據(jù)庫讀取和大量 CPU。根據(jù)表的索引,聯(lián)接還可能需要掃描兩個表的所有行。如果寫不好兩個大型表之間的聯(lián)接,就需要對每個表進行完整掃描,這樣的計算量將會非常大。其他會拖慢聯(lián)接的因素包括聯(lián)接列之間存在不同的數(shù)據(jù)類型、需要轉(zhuǎn)換或加入包含 LIKE 的條件,這樣就會阻止使用索引。另外,還需注意避免使用全外聯(lián)接;在恰當?shù)臅r候使用內(nèi)部聯(lián)接只返回所需數(shù)據(jù)。

3. 索引過多或過少

如果查詢優(yōu)化沒有可用的索引時,數(shù)據(jù)庫會重新掃描表來產(chǎn)生查詢結(jié)果,這個過程會生成大量的磁盤輸入/輸出(I/O)。適當?shù)乃饕梢詼p少排序結(jié)果的需要。雖然非唯一值的索引在生成結(jié)果時,不能像唯一索引那樣方便。如果鍵越大,索引也會變大,并通過它們創(chuàng)建更多的磁盤 I/O。大多數(shù)索引是為了提高數(shù)據(jù)檢索的性能,但也需要明白索引本身也會影響數(shù)據(jù)的插入和更新,因為所有相關(guān)聯(lián)的指標都必須更新。

4. 太多的SQL導致爭用解析資源

任何 SQL 查詢在執(zhí)行之前都必須被解析,在生成執(zhí)行計劃之前需要對語法和權(quán)限進行檢查。由于解析非常耗時,數(shù)據(jù)庫會保存已解析的 SQL 來重復利用,從而減少解析的耗時。因為 WHERE 語句不同,所以使用文本值的查詢語句不能被共享。這將導致每個查詢都會被解析并添加到共享池中,由于池的空間有限,一些已保存的查詢會被舍棄。當這些查詢再次出現(xiàn)時,則需要重新解析。

用戶和查詢沖突?

數(shù)據(jù)庫支持多用戶,但多用戶活動也可能造成沖突。

1. 由慢查詢導致的頁/行鎖定

為了確保查詢產(chǎn)生精確的結(jié)果,數(shù)據(jù)庫必須鎖定表以防止在運行讀取查詢時再發(fā)生其他的插入和更新行為。如果報告或查詢相當緩慢,需要修改值的用戶可能需要等待至更新完成。鎖提示能幫助數(shù)據(jù)庫使用最小破壞性的鎖。從事務數(shù)據(jù)庫中分離報表也是一種可靠的解決方法。

2. 事務鎖和死鎖

當兩個事務被阻塞時會出現(xiàn)死鎖,因為每一個都需要使用被另一個占用的資源。當出現(xiàn)一個普通鎖時,事務會被阻塞直到資源被釋放。但卻沒有解決死鎖的方案。數(shù)據(jù)庫會監(jiān)控死鎖并選擇終止其中一個事務,釋放資源并允許該事務繼續(xù)進行,而另一個事務則回滾。

3. 批處理操作造成資源爭奪

批處理過程通常會執(zhí)行批量操作,如大量的數(shù)據(jù)加載或生成復雜的分析報告。這些操作是資源密集型的,但可能影響在線用戶的訪問應用的性能。針對此問題最好的解決辦法是確保批處理在系統(tǒng)使用率較低時運行,比如晚上,或用單獨的數(shù)據(jù)庫進行事務處理和分析報告。

容量?

并不是所有的數(shù)據(jù)庫性能問題都是數(shù)據(jù)庫問題。有些問題也是硬件不合適造成的。

1. CPU 不足或 CPU 速度太慢

更多 CPU 可以分擔服務器負載,進一步提高性能。數(shù)據(jù)庫的性能不僅是數(shù)據(jù)庫的原因,還受到服務器上運行其他進程的影響。因此,對數(shù)據(jù)庫負載及使用進行審查也是必不可少的。由于 CPU 的利用率時時在變,在低使用率、平均使用率和峰值使用率的時間段分別檢查該指標可以更好地評估增加額外的 CPU 資源是否有益。

2. IOPS 不足的慢磁盤

磁盤性能通常以每秒輸入/輸出操作(IOPS)來計。結(jié)合 I/O 大小,該指標可以衡量每秒的磁盤吞吐量是多少兆。同時,吞吐量也受磁盤的延遲影響,比如需要多久才能完成請求,這些指標主要是針對磁盤存儲技術(shù)而言。傳統(tǒng)的硬盤驅(qū)動器(HDD)有一個旋轉(zhuǎn)磁盤,通常比固態(tài)硬盤(SSD)或閃存更慢。直到近期,SSD 雖然仍比 HDD 貴,但成本已經(jīng)降了下來,所以在市場上也更具競爭力。

3. 全部或錯誤配置的磁盤

眾所周知,數(shù)據(jù)庫會被大量磁盤訪問,所以不正確配置的磁盤可能帶來嚴重的性能缺陷。磁盤應該適當分區(qū),將系統(tǒng)數(shù)據(jù)目錄和用戶數(shù)據(jù)日志分開。高度活躍的表應該區(qū)分以避免爭用,通過在不同磁盤上存放數(shù)據(jù)庫和索引增加并行放置,但不要將操作系統(tǒng)和數(shù)據(jù)庫交換空間放置在同一磁盤上。

4. 內(nèi)存不足

有限或不恰當?shù)奈锢韮?nèi)存分配會影響數(shù)據(jù)庫性能。通常我們認為可用的內(nèi)存更多,性能就越好。監(jiān)控分頁和交換,在多個非繁忙磁盤中建立多頁面空間,進一步確保分頁空間分配足夠滿足數(shù)據(jù)庫要求;每個數(shù)據(jù)庫供應商也可以在這個問題上提供指導。

5. 網(wǎng)速慢

網(wǎng)絡(luò)速度會影響到如何快速檢索數(shù)據(jù)并返回給終端用戶或調(diào)用過程。使用寬帶連接到遠程數(shù)據(jù)庫。在某些情況下,選擇 TCP/IP 協(xié)議而不是命名管道可顯著提高數(shù)據(jù)庫性能。

配置

每個數(shù)據(jù)庫都需設(shè)置大量的配置項。通常情況下,默認值可能不足以滿足數(shù)據(jù)庫所需的性能。所以,檢查所有的參數(shù)設(shè)置,包括以下問題。

1. 緩沖區(qū)緩存太小

通過將數(shù)據(jù)存儲在內(nèi)核內(nèi)存,緩沖區(qū)緩存可以進一步提高性能同時減少磁盤 I/O。當緩存太小時,緩存中的數(shù)據(jù)會更頻繁地刷新。如果它再次被請求,就必須從磁盤重讀。除了磁盤讀取緩慢之外,還給 I/O 設(shè)備增添了負擔從而成為瓶頸。除了給緩沖區(qū)緩存分配足夠的空間,調(diào)優(yōu) SQL 查詢可以幫助其更有效地利用緩沖區(qū)緩存。

2. 沒有查詢緩存

查詢緩存會存儲數(shù)據(jù)庫查詢和結(jié)果集。當執(zhí)行相同的查詢時,數(shù)據(jù)會在緩存中被迅速檢索,而不需要再次執(zhí)行查詢。數(shù)據(jù)會更新失效結(jié)果,所以查詢緩存是唯一有效的靜態(tài)數(shù)據(jù)。但在某些情況下,查詢緩存卻可能成為性能瓶頸。比如當鎖定為更新時,巨大的緩存可能導致爭用沖突。

3. 磁盤上臨時表創(chuàng)建導致的 I/O 爭用

在執(zhí)行特定的查詢操作時,數(shù)據(jù)庫需要創(chuàng)建臨時表,如執(zhí)行一個 GROUP BY 子句。如果可能,在內(nèi)存中創(chuàng)建臨時表。但是,在某些情況下,在內(nèi)存中創(chuàng)建臨時表并不可行,比如當數(shù)據(jù)包含 BLOB 或 TEXT 對象時。在這些情況下,會在磁盤上創(chuàng)建臨時表。大量的磁盤 I / O 都需要創(chuàng)建臨時表、填充記錄、從表中選擇所需數(shù)據(jù)并在查詢完成后舍棄。為了避免影響性能,臨時數(shù)據(jù)庫應該從主數(shù)據(jù)庫中分離出來。重寫查詢還可以通過創(chuàng)建派生表來減少對臨時表的需求。使用派生表直接從另一個 SELECT 語句的結(jié)果中選擇,允許將數(shù)據(jù)加到內(nèi)存中而不是當前磁盤上。

NoSQL 數(shù)據(jù)庫

NoSQL 的優(yōu)勢在于它處理大數(shù)據(jù)的能力非常迅速。但是在實際使用中,也應該綜合參考 NoSQL 的缺點,從而決定是否適合你的用例場景。這就是為什么NoSQL通常被理解為 「不僅僅是 SQL」,說明了 NoSQL 并不總是正確的解決方案,也沒必要完全取代 SQL,以下分別列舉出五大主要原因。

1. 挑剔事務

難以保持 NoSQL 條目的一致性。當訪問結(jié)構(gòu)化數(shù)據(jù)時,它并不能完全確保同一時間對不同表的更改都生效。如果某個過程發(fā)生崩潰,表可能會不一致。一致事務的典型代表是復式記賬法。相應的信貸必須平衡每個借方,反之亦然。如果雙方數(shù)據(jù)不一致則不能輸入。NoSQL 則可能無法保證「收支平衡」。

2. 復雜數(shù)據(jù)庫

NoSQL 的支持者往往以高效代碼、簡單性和 NoSQL 的速度為傲。當數(shù)據(jù)庫任務很簡單時,所有這些因素都是優(yōu)勢。但當數(shù)據(jù)庫變得復雜,NoSQL 會開始分解。此時,SQL 則比 NoSQL 更好地處理復雜需求,因為 SQL 已經(jīng)成熟,有符合行業(yè)標準的接口。而每個 NoSQL 設(shè)置都有一個唯一的接口。

3. 一致聯(lián)接

當執(zhí)行 SQL 的聯(lián)接時,由于系統(tǒng)必須從不同的表中提取數(shù)據(jù)進行鍵對齊,所以有一個巨大的開銷。而 NoSQL 似乎是一個空想,因為缺乏聯(lián)接功能。所有的數(shù)據(jù)都在同一個表的一個地方。當檢索數(shù)據(jù)時,它會同時提取所有的鍵值對。問題在于這會創(chuàng)建同一數(shù)據(jù)的多個副本。這些副本也必須更新,而這種情況下,NoSQL 沒有功能來確保更新。

4. Schema設(shè)計的靈活性

由于 NoSQL 不需要 schema,所以在某些情況下也是獨一無二的。在以前的數(shù)據(jù)庫模型中,程序員必須考慮所有需要的列能夠擴展,能夠適應每行的數(shù)據(jù)條目。在 NoSQL 下,條目可以有多種字符串或者完全沒有。這種靈活性允許程序員迅速增加數(shù)據(jù)。但是,也可能存在問題,比如當有多個團體在同一項目上工作時,或者新的開發(fā)團隊接手一個項目時。開發(fā)人員能夠自由地修改數(shù)據(jù)庫,也可能會不斷實現(xiàn)各種各樣的密鑰對。

5. 資源密集型

NoSQL 數(shù)據(jù)庫通常比關(guān)系數(shù)據(jù)庫更加資源密集。他們需要更多的 CPU 儲備和 RAM 分配。出于這個原因,大多數(shù)共享主機公司都不提供 NoSQL。你必須注冊一個 VPS 或運行自己的專用服務器。另一方面,SQL 主要是在服務器上運行。初期的工作都很順利,但隨著數(shù)據(jù)庫需求的增加,硬件必須擴大。單個大型服務器比多個小型服務器昂貴得多,價格呈指數(shù)增長。所以在這種企業(yè)計算場景下,使用 NoSQL 更為劃算,例如那些由谷歌和 Facebook 使用的服務器。

nosql數(shù)據(jù)庫有哪些

Membase

Membase 是 NoSQL 家族的一個新的重量級的成員。Membase是開源項目,源代碼采用了Apache2.0的使用許可。該項目托管在GitHub.Source tarballs上,可以下載beta版本的Linux二進制包。該產(chǎn)品主要是由North Scale的memcached核心團隊成員開發(fā)完成,其中還包括Zynga和NHN這兩個主要貢獻者的工程師,這兩個組織都是很大的在線游戲和社區(qū)網(wǎng)絡(luò)空間的供應商。

Membase容易安裝、操作,可以從單節(jié)點方便的擴展到集群,而且為memcached(有線協(xié)議的兼容性)實現(xiàn)了即插即用功能,在應用方面為開發(fā)者和經(jīng)營者提供了一個比較低的門檻。做為緩存解決方案,Memcached已經(jīng)在不同類型的領(lǐng)域(特別是大容量的Web應用)有了廣泛的使用,其中 Memcached的部分基礎(chǔ)代碼被直接應用到了Membase服務器的前端。

通過兼容多種編程語言和框架,Membase具備了很好的復用性。在安裝和配置方面,Membase提供了有效的圖形化界面和編程接口,包括可配置 的告警信息。

Membase的目標是提供對外的線性擴展能力,包括為了增加集群容量,可以針對統(tǒng)一的節(jié)點進行復制。 另外,對存儲的數(shù)據(jù)進行再分配仍然是必要的。

這方面的一個有趣的特性是NoSQL解決方案所承諾的可預測的性能,類準確性的延遲和吞吐量。通過如下方式可以獲得上面提到的特性:

◆ 自動將在線數(shù)據(jù)遷移到低延遲的存儲介質(zhì)的技術(shù)(內(nèi)存,固態(tài)硬盤,磁盤)

◆ 可選的寫操作一一異步,同步(基于復制,持久化)

◆ 反向通道再平衡[未來考慮支持]

◆ 多線程低鎖爭用

◆ 盡可能使用異步處理

◆ 自動實現(xiàn)重復數(shù)據(jù)刪除

◆ 動態(tài)再平衡現(xiàn)有集群

◆ 通過把數(shù)據(jù)復制到多個集群單元和支持快速失敗轉(zhuǎn)移來提供系統(tǒng)的高可用性。

MongoDB

MongoDB是一個介于關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間的產(chǎn)品,是非關(guān)系數(shù)據(jù)庫當中功能最豐富,最像關(guān)系數(shù)據(jù)庫的。他支持的數(shù)據(jù)結(jié)構(gòu)非常松散,是類似json的bjson格式,因此可以存儲比較復雜的數(shù)據(jù)類型。Mongo最大的特點是他支持的查詢語言非常強大,其語法有點類似于面向?qū)ο蟮牟樵冋Z言,幾乎可以實現(xiàn)類似關(guān)系數(shù)據(jù)庫單表查詢的絕大部分功能,而且還支持對數(shù)據(jù)建立索引。它的特點是高性能、易部署、易使用,存儲數(shù)據(jù)非常方便。

主要功能特性:

◆ 面向集合存儲,易存儲對象類型的數(shù)據(jù)

“面向集合”(Collenction-Oriented),意思是數(shù)據(jù)被分組存儲在數(shù)據(jù)集中,被稱為一個集合(Collenction)。每個 集合在數(shù)據(jù)庫中都有一個唯一的標識名,并且可以包含無限數(shù)目的文檔。集合的概念類似關(guān)系型數(shù)據(jù)庫(RDBMS)里的表(table),不同的是它不需要定 義任何模式(schema)。

◆ 模式自由

模式自由(schema-free),意味著對于存儲在mongodb數(shù)據(jù)庫中的文件,我們不需要知道它的任何結(jié)構(gòu)定義。如果需要的話,你完全可以把不同結(jié)構(gòu)的文件存儲在同一個數(shù)據(jù)庫里。

◆支持動態(tài)查詢

◆支持完全索引,包含內(nèi)部對象

◆支持查詢

◆支持復制和故障恢復

◆使用高效的二進制數(shù)據(jù)存儲,包括大型對象(如視頻等)

◆自動處理碎片,以支持云計算層次的擴展性

◆支持RUBY,PYTHON,JAVA,C++,PHP等多種語言

◆文件存儲格式為BSON(一種JSON的擴展)

BSON(Binary Serialized document Format)存儲形式是指:存儲在集合中的文檔,被存儲為鍵-值對的形式。鍵用于唯一標識一個文檔,為字符串類型,而值則可以是各種復雜的文件類型。

◆可通過網(wǎng)絡(luò)訪問

MongoDB服務端可運行在Linux、Windows或OS X平臺,支持32位和64位應用,默認端口為27017。推薦運行在64位平臺,因為MongoDB在32位模式運行時支持的最大文件尺寸為2GB。

MongoDB把數(shù)據(jù)存儲在文件中(默認路徑為:/data/db),為提高效率使用內(nèi)存映射文件進行管理。

Hypertable

Hypertable是一個開源、高性能、可伸縮的數(shù)據(jù)庫,它采用與Google的Bigtable相似的模型。在過去數(shù)年中,Google為在PC集群 上運行的可伸縮計算基礎(chǔ)設(shè)施設(shè)計建造了三個關(guān)鍵部分。第一個關(guān)鍵的基礎(chǔ)設(shè)施是Google File System(GFS),這是一個高可用的文件系統(tǒng),提供了一個全局的命名空間。它通過跨機器(和跨機架)的文件數(shù)據(jù)復制來達到高可用性,并因此免受傳統(tǒng) 文件存儲系統(tǒng)無法避免的許多失敗的影響,比如電源、內(nèi)存和網(wǎng)絡(luò)端口等失敗。第二個基礎(chǔ)設(shè)施是名為Map-Reduce的計算框架,它與GFS緊密協(xié)作,幫 助處理收集到的海量數(shù)據(jù)。第三個基礎(chǔ)設(shè)施是Bigtable,它是傳統(tǒng)數(shù)據(jù)庫的替代。Bigtable讓你可以通過一些主鍵來組織海量數(shù)據(jù),并實現(xiàn)高效的 查詢。Hypertable是Bigtable的一個開源實現(xiàn),并且根據(jù)我們的想法進行了一些改進。

Apache Cassandra

Apache Cassandra是一套開源分布式Key-Value存儲系統(tǒng)。它最初由Facebook開發(fā),用于儲存特別大的數(shù)據(jù)。Facebook在使用此系統(tǒng)。

主要特性:

◆ 分布式

◆ 基于column的結(jié)構(gòu)化

◆ 高伸展性

Cassandra的主要特點就是它不是一個數(shù)據(jù)庫,而是由一堆數(shù)據(jù)庫節(jié)點共同構(gòu)成的一個分布式網(wǎng)絡(luò)服務,對Cassandra 的一個寫操作,會被復制到其他節(jié)點上去,對Cassandra的讀操作,也會被路由到某個節(jié)點上面去讀取。對于一個Cassandra群集來說,擴展性能 是比較簡單的事情,只管在群集里面添加節(jié)點就可以了。

Cassandra是一個混合型的非關(guān)系的數(shù)據(jù)庫,類似于Google的BigTable。其主要功能比 Dynomite(分布式的Key-Value存 儲系統(tǒng))更豐富,但支持度卻不如文檔存儲MongoDB(介于關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間的開源產(chǎn)品,是非關(guān)系數(shù)據(jù)庫當中功能最豐富,最像關(guān)系數(shù)據(jù)庫 的。Cassandra最初由Facebook開發(fā),后轉(zhuǎn)變成了開源項目。它是一個網(wǎng)絡(luò)社交云計算方面理想的數(shù)據(jù)庫。以Amazon專有的完全分布式的Dynamo為基礎(chǔ),結(jié)合了Google BigTable基于列族(Column Family)的數(shù)據(jù)模型。P2P去中心化的存儲。很多方面都可以稱之為Dynamo 2.0。

CouchDB

所用語言: Erlang

特點:DB一致性,易于使用

使用許可: Apache

協(xié)議: HTTP/REST

雙向數(shù)據(jù)復制,持續(xù)進行或臨時處理,處理時帶沖突檢查,因此,采用的是master-master復制

MVCC – 寫操作不阻塞讀操作

可保存文件之前的版本

Crash-only(可靠的)設(shè)計

需要不時地進行數(shù)據(jù)壓縮

視圖:嵌入式 映射/減少

格式化視圖:列表顯示

支持進行服務器端文檔驗證

支持認證

根據(jù)變化實時更新

支持附件處理

因此, CouchApps(獨立的 js應用程序)

需要 jQuery程序庫

最佳應用場景:適用于數(shù)據(jù)變化較少,執(zhí)行預定義查詢,進行數(shù)據(jù)統(tǒng)計的應用程序。適用于需要提供數(shù)據(jù)版本支持的應用程序。

例如:CRM、CMS系統(tǒng)。 master-master復制對于多站點部署是非常有用的。

和其他數(shù)據(jù)庫比較,其突出特點是:

◆ 模式靈活 :使用Cassandra,像文檔存儲,你不必提前解決記錄中的字段。你可以在系統(tǒng)運行時隨意的添加或移除字段。這是一個驚人的效率提升,特別是在大型部 署上。

◆ 真正的可擴展性 :Cassandra是純粹意義上的水平擴展。為給集群添加更多容量,可以指向另一臺電腦。你不必重啟任何進程,改變應用查詢,或手動遷移任何數(shù)據(jù)。

◆ 多數(shù)據(jù)中心識別 :你可以調(diào)整你的節(jié)點布局來避免某一個數(shù)據(jù)中心起火,一個備用的數(shù)據(jù)中心將至少有每條記錄的完全復制。

◆ 范圍查詢 :如果你不喜歡全部的鍵值查詢,則可以設(shè)置鍵的范圍來查詢。

◆ 列表數(shù)據(jù)結(jié)構(gòu) :在混合模式可以將超級列添加到5維。對于每個用戶的索引,這是非常方便的。

◆ 分布式寫操作 :有可以在任何地方任何時間集中讀或?qū)懭魏螖?shù)據(jù)。并且不會有任何單點失敗。

問度娘,啥都有。

文章名稱:關(guān)于nosqlschema的信息
轉(zhuǎn)載來于:http://sd-ha.com/article28/hcogcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供Google定制開發(fā)、自適應網(wǎng)站、網(wǎng)站制作面包屑導航、

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

h5響應式網(wǎng)站建設(shè)