Hadoop生态系統中的容器和微服務 玩出哪些新花樣？

最近大多數大資料應用都部署在裸裝置上，這意味着hadoop大多數部署在非虛拟化伺服器上。随着容器和微服務對應用開發圈産生影響，這種情況在發生改變。

容器和微服務都把整個應用程式的代碼細分成更小粒度的片段。這樣不僅簡化了開發，而且更容易測試，這也是設計更靈活應用程式部署方案和代碼複用的關鍵。

早期的時候，這種技術就應用于大資料領域，但是現在看起來在資料流處理、微服務這類領域應用也很有前途。歐洲某頂級電子商務公司的一位技術經理認為，微服務方法簡化了開發工作，增強了代碼複用能力。

otto gmbh公司是一家多管道零售商（産品包括進階鑄件以及熔鑄裝置和半成品工業裝置），總部位于德國漢堡。rupert steffner是該公司商業智能系統首席平台架構師，他說：“使用微服務方法是非常經濟的做法。對于有些類型的應用，忽略微服務的方式是不明智的。你會一遍又一遍地開發相同的功能。”

steffner談到的這種類型應用是許多人工智能機器人在公司線上零售網站上運作着各種實時分析任務。otto使用了微服務整合docker容器和流處理技術來增強這些ai機器人的功能。

容器和微服務

雲計算是推動hadoop、spark和其它大資料技術走向虛拟化的主要力量。不過仍然有很多基礎設施在雲之外建構，各公司都在努力用技術緩解這種演變。

tom phelan是bludata軟體公司聯合創始人和首席架構師，該公司設計的平台可以自動配置hadoop或spark叢集。他說：“hadoop大多數運作在裸裝置上，不過它也可以運作在虛拟機上。例如，amazon雲和azure雲都使用了openstack。現在hadoop要轉向容器了。”

他說：“以前認為hadoop叢集部署在裸裝置上性能更優，但現在看來不一定了。”容器需要變得更成熟，而且hadoop本身設計并不是針對微服務風格的架構。bluedata公司最近更新軟體提升了對容器的支援，推出了自動kerberos配置hadoop叢集和linux特權通路管理工具。

hadoop發行版供應商mapr技術公司一位經理表示，靈活性和流處理也是微服務獲益的驅動力。jack norris是mapr公司資料和應用進階副總裁，他說客戶建構機器人需要有快速适應資料的能力并具備機器學習模型。

他表示，在“事件驅動”架構的應用程式中這一點尤為明顯。這種架構越來越多的包含了資料流處理元件。

norris說，hadoop和spark應用流變得越來越複雜，他們變得更難更新了。但是，他認為微服務隻是關注資料管道中的事件，這會給這種開發帶來更多靈活性。這是與原始hadoop開發風格相比最根本的變化。

norris說：“我們看到了開放更寬泛應用程式集的需求。”與此同時，他承諾mapr公司将繼續支援現有整塊應用程式的風格。

上個月，mapr公司對于大資料應用微服務做了深入實踐，為應用程式版本控制提供微服務專用卷，為機器學習模型ab測試設計專用微服務。另外，norris表示，他們設計了新的參考架構用來指導開發人員利用微服務聚合流資料和實時分析應用。

ai機器人監視“隻逛不買”的購物車

随着大資料處理任務變得更複雜，加上相關元件都支援精确的資料流，微系統方法的應用越來越廣泛了。otto公司的steffner認為，微系統提供了典型的“各個擊破”手段來滿足架構需求。

上個月在紐約舉辦的strata+hadoop 2016年世界大會上，steffner表示，otto公司資料架構中的每個ai機器人都處理特定任務。例如，一個ai機器人查找欺詐交易；另一個針對實時廣告位分析模組化；還有一個檢查空的線上購物車，并對未購買任何商品就打算離開的客戶推送最後一輪促銷産品。

該公司通過基于docker的微系統架構實作以上功能，該架構是2015年四月上線的，那時候該公司已經部署傳統大資料平台兩年了，不過并沒有滿足全部需求。

docker容器也非常适合機器人軟體。otto公司在背景安裝了混合開源流處理引擎，包括storm、spark流處理、flink和ignite。不過steffner說，ignite是記憶體資料組織技術，最初是由gridgain系統公司開發的，用來處理目前環境中的批量實時處理工作。

本文轉自d1net（轉載）