【雲栖号案例 | 網際網路】佰騰科技上雲 專利大資料的雲上裂變之路

雲栖号案例庫： 【點選檢視更多上雲案例】 不知道怎麼上雲？看雲栖号案例庫，了解不同行業不同發展階段的上雲方案，助力你上雲決策！

公司簡介

我們江蘇佰騰科技有限公司是一家從事專利資訊應用、專利咨詢服務的企業，是國内知名的知識産權服務公司，以佰騰網和專利巴巴為網絡平台，面向國内外使用者提供知識産權、科技創新整體解決方案。2014年起，我們公司積極推進網際網路轉型，實施“網際網路+專利”計劃，開發了國内首家專利電商平台—專利巴巴，通過專利巴巴項目的實施，使公司轉型為知識産權領域内的網際網路公司，并采用B2B、O2O線上線下相結合的模式為客戶提供全方位的、全流程的知識産權一體化服務。

業務痛點

• 急需大資料的處理能力。

1.上百項資料次元的高效存儲和高效處理是我們公司目前急需解決的問題。提升了大資料的處理能力，才能加快專利資訊應用的步伐、滿足客戶更多的需求。

2.現在的資料次元比較多，處理環節非常多，需要實作資料處理流程的自動化編排。

• 資料平台的可擴充問題。

  我們公司的專利巴巴産品架構中幾十個元件都要維護，每有一個客戶需求都需要做元件，需要解決資料平台的擴充性，以便快速支撐各種需求的應用。

解決方案

圖 1. 專利巴巴業務架構

• 資料處理能力：

1.使用MaxCompute平台代替資料庫。我們上雲之前的原始資料處理和資料次元分析都使用了資料庫叢集，現在将這兩部分放入了MaxCompute，大幅提升整個資料存儲和處理的效率。

2.通過使用MaxCompute的任務平台，來編排處理任務。資料都存在MaxCompute表裡，是以可以定義MaxCompute函數，通路表裡的内容，并進行相應處理。Shell任務對原始資料進行資料包拆解，拆包後把資料放到MaxCompute，然後通過SQL任務對資料次元進行拆解和分析，這時會用到定義的MaxCompute函數，最後還可以調用一個Shell任務，對資料次元索引，供上層應用使用。

• 資料應用需求：

1.平台架構分層化設計。按照專利大資料的處理流程和職責明确做了設計，核心是資料次元資料庫。

1）資料擷取層：負責從資料源拉取資料，檢驗資料的完整性。

2）資料處理層：對原始資料進行資料次元的挖掘。

3）資料應用層：對資料次元進行各類索引以便應用。

4）資料服務層：負責對外提供統一的資料服務接口，保障服務品質。

5）資料管控層：負責對整個資料平台進行運作監控。

2.資料次元規範化處理。

我們對于資料次元做了大量的規範性要求：

1）為每個資料次元明确其應用目标。

2）明确資料次元的資料樣式規範。

3）明确資料次元的品質标準。

3.資料次元規範化應用。

1）引擎元件：各類引擎元件用不同的方式對資料次元進行編碼索引，并提供各種特性的資料應用功能。

2）模型系統：對引擎元件的能力進行編排，實作可重用的資料分析能力，提高資料分析應用的複雜度。

上雲價值

• 資料的測算之前基于RDS的資料存儲，一個次元的資料處理需要2-3天，現在處理時間縮短到3-6個小時，整個性能提升非常之大；而且，在大量資料處理時，很多時候是處理到80%的時候才會發現資料處理有問題，若處理時間過長，當發現問題時會一切重新開始，浪費的時間非常長。是以在這個場景下，MaxCompute的性能非常可靠。
• 上雲之後的大資料處理流程比之前的流程簡單很多。所有資料處理流程都實作了自動化編排，一鍵式處理就可以完全編排，非常高效。

相關産品

• 大資料計算服務 · MaxCompute

MaxCompute（原ODPS）是一項大資料計算服務，它能提供快速、完全托管的PB級資料倉庫解決方案，使您可以經濟并高效的分析處理海量資料。

更多關于阿裡雲MaxCompute的介紹，

參見MaxCompute産品詳情頁

。

• 雲伺服器ECS

雲伺服器（Elastic Compute Service，簡稱ECS）是阿裡雲提供的性能卓越、穩定可靠、彈性擴充的IaaS（Infrastructure as a Service）級别雲計算服務。雲伺服器ECS免去了您采購IT硬體的前期準備，讓您像使用水、電、天然氣等公共資源一樣便捷、高效地使用伺服器，實作計算資源的即開即用和彈性伸縮。阿裡雲ECS持續提供創新型伺服器，解決多種業務需求，助力您的業務發展。

更多關于雲伺服器ECS的介紹，

參見雲伺服器ECS 産品詳情頁

• 雲資料庫RDS MySQL版

MySQL 是全球最受歡迎的開源資料庫之一，作為開源軟體組合 LAMP（Linux + Apache + MySQL + Perl/PHP/Python）中的重要一環，廣泛應用于各類應用場景。

更多關于雲資料庫RDS MySQL版的介紹，

參見雲資料庫RDS MySQL版産品詳情頁

• 資料傳輸服務DTS

資料傳輸服務（Data Transmission Service） DTS支援關系型資料庫、NoSQL、大資料（OLAP）等資料源間的資料傳輸。它是一種集資料遷移、資料訂閱及資料實時同步于一體的資料傳輸服務。

更多關于資料傳輸服務DTS的介紹，

參見資料傳輸服務DTS産品詳情頁

• 對象存儲OSS

阿裡雲對象存儲服務（Object Storage Service，簡稱 OSS），是阿裡雲提供的海量、安全、低成本、高可靠的雲存儲服務。其資料設計持久性不低于 99.9999999999%（12 個 9），服務設計可用性（或業務連續性）不低于 99.995%。

更多關于對象存儲OSS的介紹，

參見對象存儲OSS産品詳情頁

【雲栖号線上課堂】每天都有産品技術專家分享！

線上課堂位址：

https://yqh.aliyun.com/zhibo

立即加入社群，與專家面對面，及時了解課程最新動态！

【雲栖号線上課堂 社群】

https://c.tb.cn/F3.Z8gvnK