NoSQL,未來資料庫的趨勢

NoSQL

   NoSQL家族新成員MemBase

NoSQL，指的是非關系型的資料庫。随着網際網路web2.0網站的興起，傳統的關系資料庫在應付web2.0網站，特别是超大規模和高并發的SNS類型的web2.0純動态網站已經顯得力不從心，暴露了很多難以克服的問題，而非關系型的資料庫則由于其本身的特點得到了非常迅速的發展。

簡介

　　NoSQL(NoSQL = Not Only SQL )，意即反SQL運動，是一項全新的資料庫革命性運動，早期就有人提出，發展至2009年趨勢越發高漲。NoSQL的擁護者們提倡運用非關系型的資料存儲，相對于目前鋪天蓋地的 關系型資料庫運用，這一概念無疑是一種全新的思維的注入。

現今狀況

　　現今的 計算機體系結構在資料存儲方面要求具備龐大的水準擴充性①，而NoSQL緻力于改變這一現狀。目前Google的 BigTable 和Amazon 的Dynamo使用的就是NoSQL型資料庫。　　NoSQL項目的名字上看不出什麼相同之處，但是，它們通常在某些方面相同：它們可以處理超大量的資料。　　這場革命目前仍然需要等待。的确，NoSQL對大型企業來說還不是主流，但是，一兩年之後很可能就會變個樣子。在NoSQL運動的最新一次聚會中，來自世界各地的150人擠滿了CBS Interactive的一間會議室。分享他們如何推翻緩慢而昂貴的關系資料庫的暴政，怎樣使用更有效和更便宜的方法來管理資料。 　　“關系型資料庫給你強加了太多東西。它們要你強行修改對象資料，以滿足RDBMS （relational database management system， 關系型資料庫管理系統）的需要，”在NoSQL擁護者們看來，基于NoSQL的替代方案“隻是給你所需要的”。 　　1.水準擴充性(horizontal scalability)指能夠連接配接多個軟硬體的特性,這樣可以将多個伺服器從邏輯上看成一個實體。

我們為什麼要使用NOSQL非關系資料庫?

　　随着網際網路 web2.0網站的興起，非關系型的資料庫現在成了一個極其熱門的新領域，非關系資料庫産品的發展非常迅速。而傳統的關系資料庫在應付web2.0網站，特别是超大規模和高并發的SNS類型的web2.0純動态網站已經顯得力不從心，暴露了很多難以克服的問題，例如：　　1、High performance - 對資料庫高并發讀寫的需求　　web2.0網站要根據使用者個性化資訊來實時生成動态頁面和提供動态資訊，是以基本上無法使用 動态頁面靜态化技術，是以資料庫并發負載非常高，往往要達到每秒上萬次讀寫請求。關系資料庫應付上萬次SQL查詢還勉強頂得住，但是應付上萬次SQL寫資料請求，硬碟IO就已經無法承受了。其實對于普通的BBS網站，往往也存在對高并發寫請求的需求。　　2、Huge Storage - 對海量資料的高效率存儲和通路的需求　　對于大型的SNS網站，每天使用者産生海量的使用者動态，以國外的Friendfeed為例，一個月就達到了2.5億條使用者動态，對于關系資料庫來說，在一張2.5億條記錄的表裡面進行SQL查詢，效率是極其低下乃至不可忍受的。再例如大型web網站的使用者登入系統，例如騰訊，盛大，動辄數以億計的帳号，關系資料庫也很難應付。　　3、High Scalability && High Availability- 對資料庫的高可擴充性和高可用性的需求　　在基于web的架構當中，資料庫是最難進行橫向擴充的，當一個應用系統的使用者量和通路量與日俱增的時候，你的資料庫卻沒有辦法像web server和app server那樣簡單的通過添加更多的硬體和服務節點來擴充性能和負載能力。對于很多需要提供24小時不間斷服務的網站來說，對 資料庫系統進行更新和擴充是非常痛苦的事情，往往需要停機維護和資料遷移，為什麼資料庫不能通過不斷的添加伺服器節點來實作擴充呢？　　在上面提到的“三高”需求面前，關系資料庫遇到了難以克服的障礙，而對于web2.0網站來說，關系資料庫的很多主要特性卻往往無用武之地，例如：　　1、資料庫事務一緻性需求　　很多web 實時系統并不要求嚴格的資料庫事務，對讀一緻性的要求很低，有些場合對寫一緻性要求也不高。是以資料庫事務管理成了資料庫高負載下一個沉重的負擔。　　2、資料庫的寫實時性和讀實時性需求　　對關系資料庫來說，插入一條資料之後立刻查詢，是肯定可以讀出來這條資料的，但是對于很多web應用來說，并不要求這麼高的實時性。　　3、對複雜的SQL查詢，特别是多表關聯查詢的需求　　任何大資料量的web系統，都非常忌諱多個大表的關聯查詢，以及複雜的資料分析類型的複雜SQL報表查詢，特别是SNS類型的網站，從需求以及産品設計角度，就避免了這種情況的産生。往往更多的隻是單表的主鍵查詢，以及單表的簡單條件 分頁查詢，SQL的功能被極大的弱化了。　　是以，關系資料庫在這些越來越多的應用場景下顯得不那麼合适了，為了解決這類問題的非關系資料庫應運而生。　　NoSQL 是非關系型資料存儲的廣義定義。它打破了長久以來關系型資料庫與ACID理論 大一統的局面。NoSQL 資料存儲不需要固定的表結構，通常也不存在連接配接操作。在大資料存取上具備關系型資料庫無法比拟的性能優勢。該術語在 2009 年初得到了廣泛認同。　　當今的應用體系結構需要資料存儲在橫向伸縮性上能夠滿足需求。而 NoSQL 存儲就是為了實作這個需求。Google 的BigTable與Amazon的Dynamo是非常成功的商業 NoSQL 實作。一些開源的 NoSQL 體系，如Facebook 的Cassandra， Apache 的HBase，也得到了廣泛認同。從這些NoSQL項目的名字上看不出什麼相同之處：Hadoop、Voldemort、Dynomite，還有其它很多。

NoSQL與關系型資料庫設計理念比較

　　關系型資料庫中的表都是存儲一些格式化的資料結構，每個元組字段的組成都一樣，即使不是每個元組都需要所有的字段，但資料庫會為每個元組配置設定所有的字段，這樣的結構可以便于表與表之間進行連接配接等操作，但從另一個角度來說它也是關系型資料庫性能瓶頸的一個因素。而非關系型資料庫以鍵值對存儲，它的結構不固定，每一個元組可以有不一樣的字段，每個元組可以根據需要增加一些自己的鍵值對，這樣就不會局限于固定的結構，可以減少一些時間和空間的開銷。

特點

　　 它們可以處理超大量的資料。　　 它們運作在便宜的PC伺服器叢集上。　　PC叢集擴充起來非常友善并且成本很低，避免了“sharding”操作的複雜性和成本。　　 它們擊碎了性能瓶頸。　　NoSQL的支援者稱，通過NoSQL架構可以省去将Web或Java應用和資料轉換成SQL友好格式的時間，執行速度變得更快。　　“SQL并非适用于所有的程式代碼，” 對于那些繁重的重複操作的資料，SQL值得花錢。但是當資料庫結構非常簡單時，SQL可能沒有太大用處。　　 沒有過多的操作。　　雖然NoSQL的支援者也承認關系資料庫提供了無可比拟的功能集合，而且在資料完整性上也發揮絕對穩定，他們同時也表示，企業的具體需求可能沒有那麼多。　　 Bootstrap支援　　因為NoSQL項目都是開源的，是以它們缺乏供應商提供的正式支援。這一點它們與大多數開源項目一樣，不得不從社群中尋求支援。

缺點

　　但是一些人承認，沒有正式的官方支援，萬一出了差錯會是可怕的，至少很多管理人員是這樣看。　　“我們确實需要做一些說服工作，但基本在他們看到我們的第一個原型運作良好之後，我們就能夠說服他們，這是條正确的道路。”　　此外，nosql并未形成一定标準，各種産品層出不窮，内部混亂，各種項目還需時間來檢驗

NoSQL資料庫開源軟體

Membase

　　Membase 是 NoSQL 家族的一個新的重量級的成員。Membase是開源項目，源代碼采用了Apache2.0的使用許可。該項目托管在GitHub.Source tarballs上，目前可以 下載下傳beta版本的Linux二進制包。該産品主要是由North Scale的memcached核心團隊成員開發完成，其中還包括Zynga和NHN這兩個主要貢獻者的工程師，這兩個組織都是很大的線上遊戲和社群網絡空間的供應商。　　Membase容易安裝、操作，可以從單節點友善的擴充到叢集，而且為memcached（有線協定的相容性）實作了即插即用功能，在應用方面為開 發者和經營者提供了一個比較低的門檻。做為緩存解決方案，Memcached已經在不同類型的領域（特别是大容量的Web應用）有了廣泛的使用，其中 Memcached的部分基礎代碼被直接應用到了Membase伺服器的前端。　　通過相容多種程式設計語言和架構，Membase具備了很好的複用性。在安裝和配置方面，Membase提供了有效的圖形化界面和程式設計接口，包括可配置 的告警資訊。　　Membase的目标是提供對外的線性擴充能力，包括為了增加叢集容量，可以針對統一的節點進行複制。 另外，對存儲的資料進行再配置設定仍然是必要的。　　這方面的一個有趣的特性是NoSQL解決方案所承諾的可預測的性能，類準确性的延遲和吞吐量。通過如下方式可以獲得上面提到的特性：　　◆ 自動将線上資料遷移到低延遲的存儲媒體的技術（記憶體，固态硬碟，磁盤） 　　◆ 可選的寫操作一一異步，同步（基于複制，持久化） 　　◆ 反向通道再平衡[未來考慮支援] 　　◆ 多線程低鎖争用 　　◆ 盡可能使用異步處理 　　◆ 自動實作重複資料删除 　　◆ 動态再平衡現有叢集 　　◆ 通過把資料複制到多個叢集單元和支援快速失敗轉移來提供系統的高可用性。

MongoDB

　　MongoDB是一個介于關系資料庫和非關系資料庫之間的産品，是非關系資料庫當中功能最豐富，最像關系資料庫的。他支援的資料結構非常松散，是類似json的bjson格式，是以可以存儲比較複雜的資料類型。Mongo最大的特點是他支援的查詢語言非常強大，其文法有點類似于面向對象的查詢語言，幾乎可以實作類似關系資料庫單表查詢的絕大部分功能，而且還支援對資料建立索引。它的特點是高性能、易部署、易使用，存儲資料非常友善。　　 主要功能特性：　　◆ 面向集合存儲，易存儲對象類型的資料　　“面向集合”（Collenction-Orented），意思是資料被分組存儲在資料集中，被稱為一個集合（Collenction)。每個 集合在資料庫中都有一個唯一的辨別名，并且可以包含無限數目的文檔。集合的概念類似關系型資料庫（RDBMS）裡的表（table），不同的是它不需要定 義任何模式（schema)。　　◆ 模式自由　　模式自由（schema-free)，意味着對于存儲在mongodb資料庫中的檔案，我們不需要知道它的任何結構定義。如果需要的話，你完全可以把不同結構的檔案存儲在同一個資料庫裡。　　◆支援動态查詢 　　◆支援完全索引，包含内部對象 　　◆支援查詢 　　◆支援複制和故障恢複　　◆使用高效的二進制資料存儲，包括大型對象（如視訊等）　　◆自動處理碎片，以支援雲計算層次的擴充性　　◆支援RUBY，PYTHON，JAVA，C++，PHP等多種語言　　◆檔案存儲格式為BSON（一種JSON的擴充）　　BSON（Binary Serialized dOcument Format）存儲形式是指：存儲在集合中的文檔，被存儲為鍵-值對的形式。鍵用于唯一辨別一個文檔，為字元串類型，而值則可以是各中複雜的檔案類型。 　　◆可通過網絡通路　　MongoDB服務端可運作在Linux、Windows或OS X平台，支援32位和64位應用，預設端口為27017。推薦運作在64位平台，因為MongoDB在32位模式運作時支援的最大檔案尺寸為2GB。　　MongoDB把資料存儲在檔案中（預設路徑為：/data/db），為提高效率使用記憶體映射檔案進行管理。

Hypertable

　　Hypertable是一個開源、高性能、可伸縮的資料庫，它采用與Google的Bigtable相似的模型。在過去數年中，Google為在PC叢集 上運作的可伸縮計算基礎設施設計建造了三個關鍵部分。第一個關鍵的基礎設施是Google File System（GFS），這是一個高可用的檔案系統，提供了一個全局的命名空間。它通過跨機器（和跨機架）的檔案資料複制來達到高可用性，并是以免受傳統 檔案存儲系統無法避免的許多失敗的影響，比如電源、記憶體和網絡端口等失敗。第二個基礎設施是名為Map-Reduce的計算架構，它與GFS緊密協作，幫 助處理收集到的海量資料。第三個基礎設施是Bigtable，它是傳統資料庫的替代。Bigtable讓你可以通過一些主鍵來組織海量資料，并實作高效的 查詢。Hypertable是Bigtable的一個開源實作，并且根據我們的想法進行了一些改進。

Apache Cassandra

　　Apache Cassandra是一套開源分布式Key-Value存儲系統。它最初由Facebook開發，用于儲存特别大的資料。Facebook目前在使用此系統。　　 主要特性：　　◆ 分布式　　◆ 基于column的結構化　　◆ 高伸展性　　Cassandra的主要特點就是它不是一個資料庫，而是由一堆資料庫節點共同構成的一個分布式網絡服務，對Cassandra 的一個寫操作，會被複制到其他節點上去，對Cassandra的讀操作，也會被路由到某個節點上面去讀取。對于一個Cassandra群集來說，擴充性能 是比較簡單的事情，隻管在群集裡面添加節點就可以了。　　Cassandra是一個混合型的非關系的資料庫，類似于Google的BigTable。其主要功能比 Dynomite（分布式的Key-Value存 儲系統）更豐富，但支援度卻不如文檔存儲MongoDB（介于關系資料庫和非關系資料庫之間的開源産品，是非關系資料庫當中功能最豐富，最像關系資料庫 的。支援的資料結構非常松散，是類似json的bjson格式，是以可以存儲比較複雜的資料類型。）Cassandra最初由Facebook開發，後轉變成了開源項目。它是一個網絡社交雲計算方面理想的資料庫。以Amazon專有的完全分布式的Dynamo為基礎，結合了Google BigTable基于列族（Column Family）的資料模型。P2P去中心化的存儲。很多方面都可以稱之為Dynamo 2.0。　　 和其他資料庫比較，其突出特點是：　　◆ 模式靈活 ：使用Cassandra，像文檔存儲，你不必提前解決記錄中的字段。你可以在系統運作時随意的添加或移除字段。這是一個驚人的效率提升，特别是在大型部 署上。 　　◆ 真正的可擴充性 ：Cassandra是純粹意義上的水準擴充。為給叢集添加更多容量，可以指向另一台電腦。你不必重新開機任何程序，改變應用查詢，或手動遷移任何資料。 　　◆ 多資料中心識别 ：你可以調整你的節點布局來避免某一個資料中心起火，一個備用的資料中心将至少有每條記錄的完全複制。　　◆ 範圍查詢 ：如果你不喜歡全部的鍵值查詢，則可以設定鍵的範圍來查詢。 　　◆ 清單資料結構 ：在混合模式可以将超級列添加到5維。對于每個使用者的索引，這是非常友善的。 　　◆ 分布式寫操作 ：有可以在任何地方任何時間集中讀或寫任何資料。并且不會有任何單點失敗。

擴充閱讀

• http://blog.csdn.net/DL88250/archive/2010/01/14/5191092.aspx