延雲行業搜尋資料庫 在大資料生态中位置和重要性

延雲行業搜尋資料庫

在大資料生态中位置和重要性

大資料的挑戰

随着大資料在各行業的應用，網際網路及物聯網技術的迅猛發展，資料正在大量産生、被存儲并被快速的利用，很多行業的每天的資料增量就達到了千億級，總量則超過了數萬億。比如，在公共安全行業，海量的上網行為被記錄，電子圍欄系統時刻采集海量移動裝置資訊；在交通行業，一個中等城市的卡口系統，每天采集的過車記錄到達數百萬條到千萬條不等；在電信行業，每天時刻記錄着數億人的通話及資訊記錄；在金融行業，每天産生數以億計的交易記錄和支付資訊等等。而各行業所面臨的一個關鍵問題就是，如此大規模的資料如何被快速地有效地利用，讓資料産生足夠大的價值。

大資料技術的現狀

目前在大資料生态中，有三種方式來解決以上問題，分别是：批處理（Batch），即席查詢與分析（Ad-hoc），流計算（Stream）。(1)批處理是大資料生态中成熟的技術，其優勢是又穩又準，但時效性極差，無法滿足互動式應用的要求。(2)流計算技術也比較成熟，在資料流入的時候即把相應的計算操作完成，有極高的時效性，但隻能計算設定好的模型，靈活度方面有極大限制。(3)而目前大資料業内呼聲最高應用前景最為廣泛的即是即席查詢與分析，既具有良好的時效性，又兼顧了很好靈活性。簡單來說，就是在海量資料在産生後的1~2分鐘内，就可以對海量資料集進行任意次元的查詢和分析，真正地實作大資料的互動式查詢與分析，想查什麼就查什麼，想算什麼就算什麼，進而實作高效地挖掘大資料背後的潛在價值。

公安、軍隊、交通交警等監管機構需要在海量資料中做大量的搜尋與資料碰撞工作。(1)傳統ORACLE資料庫在搜尋上已經滿足不了性能要求，而開源的搜尋引擎在功能上較弱,隻能進行一些簡單的像百度那樣的全文搜尋,無法支撐複雜的查詢邏輯.(2)目前的監管需求邏輯均比較複雜,為了建構一個這樣的系統,往往需要4~5種不同系統共同完成一個産品,除了整體部署硬體成本很高外,每個系統的接口類型與風格也完不同, 非SQL統一接口,開發人員需要學習每個系統的使用,安裝,配置與調優,而這些往往需要在行業積累多年的技術專家才能做到.

 延雲行業搜尋資料庫

延雲行業搜尋資料庫簡稱延雲YDB是由延雲獨立研發，自主可控的實時、多元、大資料即席查詢與分析引擎.(1)延雲獨特的搜尋與分詞技術,在搜尋性能與搜尋準确定上比傳統的開源搜尋引擎更高。(2)延雲YDB能同時滿足高性能的搜尋與資料碰撞,又能進行複雜的業務邏輯計算,隻需要一個産品即可滿足現有的監管産品大部分需求.(3)對外統一的SQL接口,對開發人員來說學習成本很低,懂大資料的開發人員很少,但是可以說幾乎每個開發人員都懂SQL。

延雲是大資料即席查詢與分析領域的先行者，也是上司者，從2016年7月，延雲搜尋資料庫産品YDB穩定版本釋出以來，受到了大資料業界的廣泛關注，并在公安，交通，軍隊，營運商，網際網路等行業的數十個生産系統中上線運作，并取得良好的應用效果。目前有數十個項目正在進行深度體驗和測試，延雲的發展正在進入快車道。

延雲在大資料領域有深厚的積澱和技術儲備，延雲創始人母延年曾就職于阿裡巴巴，騰訊及新浪等網際網路公司，曾任多個大資料項目的技術負責人, 在千億級大資料搜尋與即系分析方面積累的豐富的實戰經驗，是開源項目Mdrill（千億資料即席分析），JStorm（分布式實時計算引擎）的Committer，也是騰訊Hermes（即席查詢多元分析平台）的原作者。延雲在大資料即席分析與查詢領域保持着業内絕對領先。業内同領域其他産品，比如華為的CarbonData，Hermes等産品，目前均處于項目的孵化期或者僅限于公司内部使用，距離産品的真正商用還有相當大的距離，而延雲的産品已經得到數個關鍵行業的認可，已經進入了商業拓張期，在此階段延雲需要資本力量的助推，在大資料生态中占據重要位置，并在大資料時代成就輝煌。