天天看點

三款新功能釋出,助力阿裡雲表格存儲再次更新

阿裡雲表格存儲于近期功能再更新,更新後的表格存儲支援對DataHub采集的資料進行持久化存儲,其Python SDK新增支援Python 3.x,以及最新釋出的TimelineLib能夠幫助使用者輕松建構千萬級IM和Feed流系統。

<b>功能一:支援對</b><b>DataHub采集的資料進行持久化存儲</b>

阿裡雲表格存儲支援對DataHub采集的資料進行持久化存儲。使用者可以通過DataHub服務對各種移動裝置、應用軟體、網站服務、傳感器等産生的大量流式資料進行持續不斷的采集,并實時寫入到表格存儲中進行持久化存儲,基于表格存儲提供低成本、彈性與高性能的資料線上服務。

據了解,該新功能适合使用DataHub進行資料采集并對資料有持久化存儲與線上服務需求的使用者。

持久化存儲功能的實作依賴DataHub

DataConnector功能将DataHub服務中的流式資料同步到其他雲産品中,目前支援将Topic中的資料實時/準實時同步到MaxCompute(ODPS)、OSS、Elasticsearch、RDS

Mysql、ADS、TableStore中。使用者隻需要向DataHub中寫入一次資料,并在DataHub服務中配置好同步功能,便可以在各個雲産品中使用這份資料。資料同步支援at least once語義,在網絡服務異常等小機率場景下可能會導緻目的端的資料産生重複。

<b>前置條件</b>

建立TableStore DataConnector主要需要如下前置條件:

· TableStore相關資訊,包括TableStore服務的Endpoint、TableStore執行個體及其對應的Table;

· DataHub Topic的Owner/Creator賬号,

才有相應的權限操作DataConnector,包括建立,删除等;

· <b>TableStore</b>表的主鍵列必須在DataHub Topic下有字段一一對應(定義順序可以不一緻);

<b>操作流程</b>

1. 進入Topic的詳情頁面:

三款新功能釋出,助力阿裡雲表格存儲再次更新

2. 選擇同步TableStore并填寫相關配置:

三款新功能釋出,助力阿裡雲表格存儲再次更新

3. 在DataConnector頁面檢視資料歸檔狀态:

三款新功能釋出,助力阿裡雲表格存儲再次更新

<b>配置說明</b>

<b>名稱</b>

<b>是否必須</b>

<b>描述</b>

TableStore Endpoint

yes

TableStore服務位址

TableStore執行個體名

TableStore表名

同步到TableStore的表

<b></b>

<b>注意事項</b>

· TableStore表的主鍵列必須在對應的DataHub Topic下存在同名的字段,由于DataHub大小寫不敏感,是以TableStore的主鍵名如果存在大寫字母,那麼在DataHub

Topic有對應小寫字段;

· 同步TableStore表的DataConnector任務僅支援TUPLE類型Topic;

<b>功能二:表格存儲</b><b>Python SDK支援Python 3.x</b>

TableStore Python SDK 從現在開始可以支援Python

3了,Python的3.0版本,相對于Python的早期版本,這是一個較大的更新。為了不帶入過多的累贅,Python 3.0在設計的時候沒有考慮向下相容,是以Python2和Python3有較大的不相容。目前已經有大量的項目和系統開始使用Python 3,Python官方對于Python 2的支援也将在未來3年内放棄支援。

為了更好的滿足Python 3使用者的需求,TableStore的新版本SDK對Python3做了适配性,同一個版本可以支援Python2.6,Python2.7,Python3.3,Python3.4,Python3.5和Python3.6。使用者在安裝的時候,不管是通過setup.py還是pip方式,安裝腳本會自動根據目前使用的Python的版本選擇不同的安裝内容,保證安裝好的TableStore

Python SDK可以完美适配Python版本。

<b> </b>

該項新功能适用于使用表格存儲Python SDK的全網使用者。

<b>功能三:</b><b>TimelineLib</b>

TableStore釋出TimelineLib,現在使用者可以通過TimelineLib輕松建構千萬級IM和Feed流系統。

TimelineLib基于表格存儲,實作了Timeline概念模型,并将該模型轉換成為對存儲系統、同步系統的讀寫接口,并封裝了對底層存儲系統的互動邏輯。

使用者基于TimelineLib即可輕松實作一個基于表格存儲的IM或者Feed流系統,并能夠充分的将表格存儲的高并發、低延時特性利用起來。此功能特别适合需要IM、Feed流系統的遊戲、社交類客戶。