天天看點

小白學資料:一文看懂NoSQL資料庫◆ ◆ ◆◆ ◆ ◆

小白學資料:一文看懂NoSQL資料庫◆ ◆ ◆◆ ◆ ◆

如果你關注大資料科技動向,可能聽說過一個叫nosql資料庫的名詞,這可能讓人有些雲裡霧裡。其實我們處在一個激動人心的技術更疊時代,以甲骨文為代表的sql資料庫已經稱霸了企業市場30年,而近年來的nosql則是強有力的更新換代的競争者。這篇文章就通過問答的方式來給小白解釋nosql資料庫系統是什麼,無論你的技術背景如何都能看得懂。對于資料分析從業人員來說,了解資料庫的趨勢可以讓你的職業生涯如虎添翼;而對于工程師來說,了解新的基礎系統更是必不可少的行業知識。

小白學資料:一文看懂NoSQL資料庫◆ ◆ ◆◆ ◆ ◆

幾個基本問題

小白問:資料庫是什麼東西,可以吃嗎?

答:......不可以。資料庫呢,就是存儲資料的地方,就像冰箱是存儲食物的地方一樣。

小白問:诶?我的資料就存儲在自己電腦裡面的excel表裡裡,還要資料庫幹嘛?

答:自己的資料的确很友善,但是對于企業來說就不一樣了。一個公司裡面可能有成千上萬的excel表格,還在不同的電腦上,而他們的員工和客戶需要實時看到企業給他們提供的所有資料,這種檔案管理的方法就很麻煩,總不能每分鐘都把一個新的巨大無比的excel檔案發給所有客戶呀!而且資料庫更有用的是進行查詢,企業會給内部或者客戶開發不同的應用,而這些應用需要資料的時候可以直接實用資料庫的查詢語句快速得到結果。

小白問:哦,那是說所有的人都直接在這個系統上查資料和改資料嗎?

答:是的,資料庫也會幫助你處理“并發”,也就是如果多個人同時在改資料的情況。比如你在支付寶給小灰轉賬,而小灰這個時候又偏偏剛好在給你轉賬,這時候資料庫系統就要保證你們兩個人最後餘額都是正确的,并且在你們進行交易的時候别人如果同時查詢你們倆人的餘額都會得到精确的結果。在一個企業系統中,一秒鐘可能有成千上萬個這樣的查詢和改動發生呢。

小白問:那sql又是什麼鬼?

答:sql是一種可以查詢關系型資料庫的語言,關系型資料庫也叫sql資料庫。

所謂關系型資料庫就是資料是以表格的形式進行存儲的,就和你電腦上的excel表一樣,資料是一行一列整整齊齊的躺着的。表格之間有着這樣或那樣的關系,可以通過某資訊連接配接在一起 。想查這些表格裡的任何資料的程式員們就可以把他們想要的資料形式轉化成sql語句然後發給資料庫,得到資料結果。比如你可以有一個食物管理的資料庫,裡面有兩個表(食物表和主人表),長成下面的這個樣子:

食物編号食物名稱數量 喜愛程度主人編号

1             猕猴桃      4      53

2    菠菜         10      2  2

3巧克力      99    1001

主人編号主人姓名      主人性别 

1小白                 女 

2小黑                 男 

3小灰                 男 

我們可以寫一句簡單的sql語句直接調出所有男主人擁有的食品及數量。

select 主人姓名,食物名稱,數量

from 食物表,主人表

where  食物表.主人編号=主人表.主人編号 and 主人性别=‘男’

=>

主人姓名食物名稱數量

小黑菠菜10

小灰猕猴桃 4

小白學資料:一文看懂NoSQL資料庫◆ ◆ ◆◆ ◆ ◆

深入聊聊

小白問:哦,那nosql到底有什麼過人之處呢?

答:因為近年來企業要處理的資料越來越多,越來越複雜,就出現了兩個之前關系型資料庫解決不了的問題:快速增長的資料規模和日漸複雜的資料模型。

第一個問題就是資料越來越多,公司以前買的裝關系型資料庫的那台電腦放不下了,那這個時候就有兩種選擇:

一種就是直接去買一台更大空間的計算機取代現有的機器。這個方法是有限制的,因為這種機器的價格一般非常昂貴,而且這個空間總是有一個上限的。

另外一種選擇就是再買一台機器,然後把新的資料放到新機器裡的另外一個sql資料庫裡面,這個過程也叫“分片”(sharding)。 這個時候程式員要開始杯具的加班了。因為這個轉換的過程非常容易出問題,而且會給使用資料庫的應用增加很多的複雜度。比如我們之前的例子,在查詢食品和數量的語句的時候我們要将同樣的語句同時發給兩個伺服器,然後把最後的結果綜合起來,給應用的開發增加了很多不必要的負擔。分片還有很多别的缺點我就不一一贅述了。

而nosql資料庫的伺服器本身就支援很多個機器存儲資料進行分布式查詢,這樣當空間不夠用的時候就直接去扛一台新的機器回來連接配接到已有的計算機叢集上裝好資料庫即可,程式員可以回家睡個好覺啦。

小白問:明白了,那另外一個關系型資料庫沒有解決的問題呢?

答:另外的一個問題就是把資料放到sql資料之前要進行資料模組化,也就是要考慮好每一個表裡面每一列都代表什麼,不同的表格之間要怎樣互相關聯起來。這對很多公司來說是一件非常耗費時間和精力的事情,因為他們的資料源的種類太多了。而且在資料進入資料庫之後,如果在表中增加新的一列(比如想把食物的種類加進第一個表中)或者是要改變某一列的特性的話,對于系統來說是非常困難的,因為表中的資料已經一行行的存好了。

而nosql資料庫就減輕了資料模組化的負擔,比如上面的表裡面的一行可以變成下面json文檔的樣子:

{

食物名稱:猕猴桃,

數量:4,

喜愛程度:5,

主人:{

    姓名:小灰,

    性别:男

 }

}

小白學資料:一文看懂NoSQL資料庫◆ ◆ ◆◆ ◆ ◆

這樣很友善的可以修改資料模型的樣子,而且從源資料不需要怎麼改就可以放入資料庫。目前用有一個行業叫做etl,就是專門做資料形狀轉化的:他們将不同的源資料打磨到想要的表格的模子裡,然後放入關系型資料庫。這個行業價值好幾十億美元呢,很瘋狂吧?用了nosql,公司可以節省好多時間和人民币呢。

小白:那是說nosql就是用文檔,而sql就是用表格嗎?

答:nosql其實有很多不同的種類的,适用在不同的情況中并且分别有不同的存儲方法。json是文檔類nosql的典型格式,我們平時使用的word和pdf檔案都可以很容易放入文檔型資料庫進行查詢。而其他種類的nosql也可能是用圖或者哈希表的模型來存儲資料。如果你的資料存儲的是一個社交網絡類型的應用,那麼對你來說用一個基于圖的資料庫可能更加合适,因為你關心的社交網絡場景中的問題都可以得到比較快速的回答。

小白問:既然叫nosql,那和sql肯定是水火不容咯?

答:哪有,nosql其實是not only sql,就是不僅僅是sql,有一些nosql資料庫還支援直接用sql來做查詢呢。兩者的差別主要是我上面提到的兩點: 1.對資料模組化的要求不同:nosql的模組化程式比較簡單靈活;2.對資料增加的處理方式不同:使用nosql可以直接進行分布式處理。在資料規模增長需要增加新的機器的時候,不需要程式員對使用資料庫的應用進行代碼進行改動,直接在資料庫叢集中增加一台新的計算機就可以啦。

---------------------------------- 

預告:這篇文章是nosql的入門介紹。如果你對資料庫已經有所了解,請期待我們的下一篇文章,将介紹不同種類的nosql資料庫、如何在不同的應用場景中選取适合的資料庫系統以及未來技術展望,敬請期待。

原文釋出時間為:2016-04-16

本文來自雲栖社群合作夥伴“大資料文摘”,了解相關資訊可以關注“bigdatadigest”微信公衆号