天天看點

DKhadoop大資料平台基礎架構的簡單介紹

DKhadoop大資料平台基礎架構的簡單介紹

大資料作為當下最為熱門的事件之一,其實已經不算是很新鮮的事情了。如果是三五年前在讨論大資料,那可能會給人一種很新鮮的感覺。大資料作為當下最為重要的一項戰略資源,已經是越來越得到國家和企業的高度重視,我們從大資料被上升到國家戰略層面就可窺見一二!

現在關于大資料的知識分享可以說已經是鋪天蓋地了,作為新手入門想查詢的資訊基本都可以通過網絡查詢到一些。我對的大資料的了解其實也不是特别豐富,畢竟學習的時間也不是特别長。僅以我熟悉的DKhadoop為例給大家分享一些小知識,往對初學者有點小幫助就可以了。

大資料平台基礎架構是很多初學者必然要掌握的内容,大資料太過抽象,有時候寫分享的時候難免感覺寫的很多困難。還是通過具體的案例來寫會比較好了解。關于大資料平台基礎架構我還是用自己熟悉的DKhadoop為例。

在此之前還是對DKhadoop做一個簡單的說明:DKhadoop大快大資料平台,由大快搜尋開發的為了打通大資料生态系統與傳統非大資料公司之間的通道而設計的一站式搜尋引擎級大資料通用計算平台(寫的這麼專業,肯定是我從大快宣傳冊上搬運過來的啦)。對于有大量資料需要處理的傳統型企業而言,通過DKhadoop這樣的大資料處理平台可以很輕松的跨越大資料技術鴻溝,實作搜尋引擎級的大資料平台性能。既然有如此大的優勢,那麼樣的大資料平台的基礎架構又是如何的呢?

我們先來看一張圖檔:這張圖是DKH标準平台技術架構圖

DKhadoop大資料平台基礎架構的簡單介紹

DKhadoop大資料平台基礎架構設計方案概述:

1、如果你對原生hadoop較為熟悉的,你就會發現dkhadoop是內建了整個hadoop生态系統的全部組建,當然不僅僅是內建這麼簡單,而是做了深度的優化,重新編寫成的一個完整的更高性能的大資料通過計算平台。這一點跟其他國産發行本大資料平台還是有着非常的差別的,DKH是做的原生态開發,其他的國産發行版僅僅是簡單的二次開發。

2、DKhadoop通過中間件技術,将複雜的大資料叢集配置簡化至三種節點(主節點、管理節點、計算節點),很大程度上簡化了叢集的管理運維,增強了叢集的高可用性、高可維護性、高穩定性。(資料中間件是大快DKH資料交換層的核心)

3、DKH在原生态的基礎上開發,并且保持了開源系統的全部優點,與開源系統100%相容。這樣,那些基于開源平台開發的大資料應用就不要經過任何改動,就可以在DKH上高效運作了。

繼續閱讀