阿裡雲表格存儲于近期功能再更新,更新後的表格存儲支援對DataHub采集的資料進行持久化存儲,其Python SDK新增支援Python 3.x,以及最新釋出的TimelineLib能夠幫助使用者輕松建構千萬級IM和Feed流系統。
<b>功能一:支援對</b><b>DataHub采集的資料進行持久化存儲</b>
阿裡雲表格存儲支援對DataHub采集的資料進行持久化存儲。使用者可以通過DataHub服務對各種移動裝置、應用軟體、網站服務、傳感器等産生的大量流式資料進行持續不斷的采集,并實時寫入到表格存儲中進行持久化存儲,基于表格存儲提供低成本、彈性與高性能的資料線上服務。
據了解,該新功能适合使用DataHub進行資料采集并對資料有持久化存儲與線上服務需求的使用者。
持久化存儲功能的實作依賴DataHub
DataConnector功能将DataHub服務中的流式資料同步到其他雲産品中,目前支援将Topic中的資料實時/準實時同步到MaxCompute(ODPS)、OSS、Elasticsearch、RDS
Mysql、ADS、TableStore中。使用者隻需要向DataHub中寫入一次資料,并在DataHub服務中配置好同步功能,便可以在各個雲産品中使用這份資料。資料同步支援at least once語義,在網絡服務異常等小機率場景下可能會導緻目的端的資料産生重複。
<b>前置條件</b>
建立TableStore DataConnector主要需要如下前置條件:
· TableStore相關資訊,包括TableStore服務的Endpoint、TableStore執行個體及其對應的Table;
· DataHub Topic的Owner/Creator賬号,
才有相應的權限操作DataConnector,包括建立,删除等;
· <b>TableStore</b>表的主鍵列必須在DataHub Topic下有字段一一對應(定義順序可以不一緻);
<b>操作流程</b>
1. 進入Topic的詳情頁面:
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsIyZuBnLlVTZkRTMkhzNkVTNwMWM2MDN3YzYhFzNxIzY0YzNwkjMjZmYzADZx8CXt92Yu4GZjlGbh5SZslmZxl3Lc9CX6MHc0RHaiojIsJye.png)
2. 選擇同步TableStore并填寫相關配置:
3. 在DataConnector頁面檢視資料歸檔狀态:
<b>配置說明</b>
<b>名稱</b>
<b>是否必須</b>
<b>描述</b>
TableStore Endpoint
yes
TableStore服務位址
TableStore執行個體名
TableStore表名
同步到TableStore的表
<b></b>
<b>注意事項</b>
· TableStore表的主鍵列必須在對應的DataHub Topic下存在同名的字段,由于DataHub大小寫不敏感,是以TableStore的主鍵名如果存在大寫字母,那麼在DataHub
Topic有對應小寫字段;
· 同步TableStore表的DataConnector任務僅支援TUPLE類型Topic;
<b>功能二:表格存儲</b><b>Python SDK支援Python 3.x</b>
TableStore Python SDK 從現在開始可以支援Python
3了,Python的3.0版本,相對于Python的早期版本,這是一個較大的更新。為了不帶入過多的累贅,Python 3.0在設計的時候沒有考慮向下相容,是以Python2和Python3有較大的不相容。目前已經有大量的項目和系統開始使用Python 3,Python官方對于Python 2的支援也将在未來3年内放棄支援。
為了更好的滿足Python 3使用者的需求,TableStore的新版本SDK對Python3做了适配性,同一個版本可以支援Python2.6,Python2.7,Python3.3,Python3.4,Python3.5和Python3.6。使用者在安裝的時候,不管是通過setup.py還是pip方式,安裝腳本會自動根據目前使用的Python的版本選擇不同的安裝内容,保證安裝好的TableStore
Python SDK可以完美适配Python版本。
<b> </b>
該項新功能适用于使用表格存儲Python SDK的全網使用者。
<b>功能三:</b><b>TimelineLib</b>
TableStore釋出TimelineLib,現在使用者可以通過TimelineLib輕松建構千萬級IM和Feed流系統。
TimelineLib基于表格存儲,實作了Timeline概念模型,并将該模型轉換成為對存儲系統、同步系統的讀寫接口,并封裝了對底層存儲系統的互動邏輯。
使用者基于TimelineLib即可輕松實作一個基于表格存儲的IM或者Feed流系統,并能夠充分的将表格存儲的高并發、低延時特性利用起來。此功能特别适合需要IM、Feed流系統的遊戲、社交類客戶。