天天看點
傳回

基于TableStore的物聯網中繼資料管理背景業務描述需求以及架構選型表結構設計代碼示例

背景

常見的企業級無線接入方案有兩種，分别被稱作廋AP和胖AP。瘦AP（AC+AP）架構為比較傳統的企業級無線接入方案，主要優點就是漫遊體驗好，但是AC當機的話會導緻所屬的AP全部無法工作。對于大型的辦公場所，漫遊的需求相對較弱，新型的胖AP（無AC，不會因為AC當機導緻網絡不可用）+ 雲端控制器架構成為了新興的一種企業無線接入方案，運維人員通過雲端對AP進行監控與管理。

某公司擁有無線AP約10,000台、接入終端（STA）100,000個。裝置以一定的周期上報其狀态到雲端，雲端将監控資料持久化後供使用者檢視。

業務描述

每個AP裝置會以10s的周期上報其目前狀态，上報資料格式為json，其格式如下：

AP狀态：

{
    "ap_mac": "11:22:33:86:D9:E8",  // AP WAN口MAC位址，AP裝置唯一辨別
    "report_time": 1532315501985,   // 上報時間戳，毫秒
    "on_time": 1531417181972,       // 裝置上線時間戳，毫秒
    "sta_cnt": 2,                       // 終端數量
    "cpu_usage": 12,                // CPU使用率
    "memory_usage": 38,             // CPU使用率
    "wan_recv_speed": 280,          // WAN口下行速率 機關bps
    "wan_sent_speed": 45348,        // WAN口上行速率 機關bps
}

需求以及架構選型

需求

  1. 通過MAC位址檢視每個AP最新的狀态。
  2. 使用者需要在管理系統上對基于各種條件對裝置進行查詢。

  3. 需要對AP的各種名額進行排序，以便找出故障裝置。

    我們将上述的需求分為兩種：

  4. 多元查詢。

  5. 排序。

    基于這兩大類需求，我們給出如下的架構選型比較。

架構選型

針對這種IOT場景的裝置狀态監控資料，下面針對幾種常見方案做比較。

MySQL

将裝置上報的狀态資料直接寫入MySQL，并使用MySQL自帶的查詢、排序語句對資料進行分析，這種架構最為簡單，使用者運維成本較低。

這種架構僅僅适用于小規模量的資料，在大規模資料的情況下，MySQL的内部架構也導緻了無法建立出一種萬用的索引來滿足多元查詢的需求。并且MySQL底層使用的是B+數作為存儲結構，會有随機寫的問題，寫入性能較差。

MySQL在使用前必須指定表結構，也就是說後續新增需求的話，必須要修改表結構，在資料量較大的情況下修改表結構很容易造成鎖表導緻線上故障。

MySQL + 自建Elasticsearch

由于MySQL的檢索能力較弱，MySQL + Elasticsearch也是業界比較常見的方案。使用者将資料寫入MySQL，并使用binlog訂閱工具（如

canal

）将資料異步寫入Elasticsearch，架構如下圖所示：

基于TableStore的物聯網中繼資料管理背景業務描述需求以及架構選型表結構設計代碼示例

其中Canal Client需要使用者自己編寫與部署。相比單MySQL的架構，該方案很好地解決了MySQL在多元查詢和指定列排序能力弱的問題。但是帶了的問題也比較多：

  1. Canal與Elasticsearch需要使用者自己部署，帶來的運維成本也相對提升。
  2. Canal Client側負責讀取Canal傳輸過來MySQL增量改變資料，資料的一緻性是需要使用者自己保證的。

使用表格存儲的SearchIndex功能

表格存儲底層存儲使用的LSM模型，很好地解決了MySQL寫入性能差的問題，特别适合IOT這種寫多讀少的場景。

使用者将資料寫入表格存儲後系統内部會将資料異步同步到SearchIndex，資料寫入TableStore到資料可查約有毫秒到秒級别的延遲，使用者無需關注運維相關的問題，資料一緻性也有系統内部保證，做到了開箱即用。

結論

基于上面的比較，表格存儲更适合存儲AP的狀态資料，并且通過SearchIndex可以很容易地完成多元查詢以及排序。簡明的系統整體架構如下圖所示：

基于TableStore的物聯網中繼資料管理背景業務描述需求以及架構選型表結構設計代碼示例

表結構設計

表格存儲底層使用主鍵的第一列将資料均分到對應的分區上，以達到負載均衡的目的。我們知道MAC位址的前3個位元組為廠商碼，也就是說如果同一個廠家生産出來的裝置MAC位址前3個位元組大多會是相同的，如果直接使用MAC位址做主鍵的話可能會導緻資料熱點，是以我們推薦對MAC位址做MD5之後做第一列主鍵。關于表結構設計的最佳實踐詳見

這裡

。

最新狀态資料

AP狀态

表名:wifi_ap_status

列類型 列名 類型 示例 備注
主鍵列 pk0 String 1b5de627b4a25553baf1f72af9afb96d MD5(ap_mac)，對ap_mac做MD5
值列 ap_mac 11:22:33:44:55:66 AP MAC位址
report_time Integer​ 1537363646533 UTC時間戳，毫秒
on_time I​nteger 同上
sta_cnt 10 所連接配接終端數
cpu_usage 20 CPU使用率
memory_usage 50 記憶體使用率
wan_recv_speed 817 收資料速率，機關bps
wan_sent_speed 2411 發資料速率，機關bps

代碼示例

下面将以

作為例子，給出全流程的代碼示例。

初始化

建立TableStore client 

SyncClient syncClient = new SyncClient(
                    "$endpoint",
                    "$accessKeyId",
                    "$accessKeySecret",
                    "$instanceName"
            );

SyncClient對象為線程安全，如果使用Spring的話可以将其作為一個單例Bean注入到其他對象中使用

建立TableStore表

表的建立可以在控制台上完成，也可以通過SDK完成，如果使用SDK的話代碼示例如下

建立AP狀态表 

// 指定表名
TableMeta tableMeta = new TableMeta("wifi_ap_status");
// 指定主鍵列，根據上面的表結構設計，這邊隻有pk0一個主鍵列
tableMeta.addPrimaryKeyColumn(new PrimaryKeySchema("pk0", PrimaryKeyType.STRING));
CreateTableRequest createTableRequest = new CreateTableRequest(tableMeta, new TableOptions(-1, 1));
syncClient.createTable(createTableRequest);

建立SearchIndex

與建立表相同，SearchIndex的建立可以通過控制台完成，如果使用SDK的話，示例如下：

建立AP狀态SearchIndex 

CreateSearchIndexRequest createSearchIndexRequest = new CreateSearchIndexRequest();
createSearchIndexRequest.setIndexName("wifi_ap_status");
createSearchIndexRequest.setTableName("wifi_ap_status");
IndexSchema indexSchema = new IndexSchema();
indexSchema.setIndexSetting(new IndexSetting(5));
indexSchema.setFieldSchemas(Arrays.asList(
        new FieldSchema("ap_mac", FieldType.TEXT).setIndex(true), // 可搜尋
        new FieldSchema("report_time", FieldType.LONG).setIndex(true).setEnableSortAndAgg(true), // 可搜尋并可排序
        new FieldSchema("sta_cnt", FieldType.LONG).setIndex(true).setEnableSortAndAgg(true),
        new FieldSchema("cpu_usage", FieldType.LONG).setIndex(true).setEnableSortAndAgg(true),
        new FieldSchema("memory_usage", FieldType.LONG).setIndex(true).setEnableSortAndAgg(true)
));
createSearchIndexRequest.setIndexSchema(indexSchema);
CreateSearchIndexResponse resp = syncClient.createSearchIndex(createSearchIndexRequest);

資料寫入

使用者隻需使用原表格存儲的寫入功能将資料寫入即可，表格存儲内部會自動将資料導入SearchIndex，無需關心内部實作。

PutRowRequest putRowRequest = new PutRowRequest();
RowPutChange rowPutChange = new RowPutChange("wifi_ap_status");

String apMac = "11:22:33:86:D9:E8";
// 通過AP MAC計算MD5，防止産生資料熱點，這邊使用了apache的commons-codec庫
String pk0 = DigestUtils.md5Hex(apMac);
PrimaryKey pk = new PrimaryKey(new PrimaryKeyColumn[]{
    new PrimaryKeyColumn("pk0", PrimaryKeyValue.fromString(pk0))
});

rowPutChange.setPrimaryKey(pk);
rowPutChange.addColumns(new Column[]{
        new Column("ap_mac", ColumnValue.fromString(apMac)),
        new Column("report_time", ColumnValue.fromLong(System.currentTimeMillis())),
        new Column("on_time", ColumnValue.fromLong(System.currentTimeMillis())),
        new Column("cpu_usage", ColumnValue.fromLong(56)),
        new Column("sta_cnt", ColumnValue.fromLong(4)),
        new Column("memory_usage", ColumnValue.fromLong(43)),
        new Column("wan_recv_speed", ColumnValue.fromLong(280)),
        new Column("wan_sent_speed", ColumnValue.fromLong(45348)),
});

putRowRequest.setRowChange(rowPutChange);


syncClient.putRow(putRowRequest);

資料讀取

資料讀取分為兩種：

1.基于原生的表格存儲的主鍵擷取

2.基于SearchIndex功能擷取

下面對于這兩種不通模式的讀取分别舉例說明

通過主鍵讀取

通過主鍵擷取AP狀态的話是直接從表格存儲的表中直接擷取的。也就是說，在通過主鍵擷取資料的時候是不需要通過SearchIndex功能的，代碼示例如下：

GetRowRequest getRowRequest = new GetRowRequest();
String apMac = "11:22:33:86:D9:E8";
// 通過AP MAC計算MD5，防止産生資料熱點，這邊使用了apache的commons-codec庫
String pk0 = DigestUtils.md5Hex(apMac);
// 設定主鍵
PrimaryKey pk = new PrimaryKey(new PrimaryKeyColumn[]{
        new PrimaryKeyColumn("pk0", PrimaryKeyValue.fromString(pk0))
});

SingleRowQueryCriteria singleRowQueryCriteria = new SingleRowQueryCriteria("wifi_ap_status", pk);
singleRowQueryCriteria.setMaxVersions(1);
getRowRequest.setRowQueryCriteria(singleRowQueryCriteria);

GetRowResponse rowResponse = syncClient.getRow(getRowRequest);
Row row = rowResponse.getRow();
// 擷取主鍵列
PrimaryKey primaryKey = row.getPrimaryKey();
for (PrimaryKeyColumn primaryKeyColumn : primaryKey.getPrimaryKeyColumns()) {
    System.out.println("PrimaryKeyColumn:(" + primaryKeyColumn.getName() + ":" + primaryKeyColumn.getValue() + ")");
}
// 擷取值列
for (Column column : row.getColumns()) {
    System.out.println("Column:(" + column.getName() + ":" + column.getValue() + ")");
}

通過SearchIndex功能讀取

為了友善描述，下面通過SQL（僅為表示具體需求，SearchIndex暫不支援SQL語句）+代碼的形式給出示例來描述我們的場景。

多元查詢

如果需要通過非主鍵列進行多元查詢，我們可以使用syncClient的search方法，在上面的

例子

中，我們為wifi_ap_status表建立了SearchIndex，并且指定了索引列。

如果要實作下面的SQL：

SELECT
*
FROM  wifi_ap_status
WHERE ap_mac LIKE '%86:D9:E8%' AND sta_cnt >= 2

用java語言實作的話，代碼如下

SearchQuery searchQuery = new SearchQuery();
// 使用BoolQuery來實作組合條件查詢，本例搜尋了ap_mac包含86:D9:E8并且sta_cnt大于等于2的資料
BoolQuery query = new BoolQuery();
// 使用短語搜尋模糊比對ap_mac
MatchPhraseQuery macQuery = new MatchPhraseQuery();
macQuery.setFieldName("ap_mac");
macQuery.setText("86:D9:E8");
// 使用範圍查詢sta_cnt
RangeQuery staCntQuery = new RangeQuery();
staCntQuery.setFieldName("sta_cnt");
staCntQuery.setFrom(ColumnValue.fromLong(2), true);
query.setMustQueries(Arrays.asList(
        macQuery,
        staCntQuery
));
searchQuery.setQuery(query);

// 建構搜尋請求
SearchRequest searchRequest = new SearchRequest(
        "wifi_ap_status", // 表格存儲表名
        "wifi_ap_status", // SearchIndex索引名
        searchQuery
);
// 設定需要傳回的表列
SearchRequest.ColumnsToGet columnsToGet = new SearchRequest.ColumnsToGet();
// 設定傳回所有列
columnsToGet.setReturnAll(true);
searchRequest.setColumnsToGet(columnsToGet);

// 搜尋請求
SearchResponse searchResponse = syncClient.search(searchRequest);
List<Row> rows = searchResponse.getRows();

for (Row row : rows) {
    PrimaryKey primaryKey = row.getPrimaryKey();
    for (PrimaryKeyColumn primaryKeyColumn : primaryKey.getPrimaryKeyColumns()) {
        System.out.println("PrimaryKeyColumn:(" + primaryKeyColumn.getName() + ":" + primaryKeyColumn.getValue() + ")");
    }

    for (Column column : row.getColumns()) {
        System.out.println("Column:(" + column.getName() + ":" + column.getValue() + ")");
    }
}

排序

排序功能也是我們的常見需求，比如我們需要檢視在某個條件下挂載終端數最多的幾個AP，如果用SQL語句描述的話如下：

SELECT
*
FROM  wifi_ap_status
WHERE ap_mac LIKE '%11:22:33%'
ORDER BY sta_cnt DESC

如果用代碼表示的話，如下：

SearchQuery searchQuery = new SearchQuery();
// 使用短語搜尋模糊比對ap_mac
MatchPhraseQuery macQuery = new MatchPhraseQuery();
macQuery.setFieldName("ap_mac");
macQuery.setText("11:22:33");
searchQuery.setQuery(macQuery);

// 排序選項，sta_cnt降序
FieldSort staCntSorter = new FieldSort("sta_cnt");
staCntSorter.setOrder(SortOrder.DESC);

searchQuery.setSort(new Sort(Collections.singletonList(
        staCntSorter
)));

// 建構搜尋請求
SearchRequest searchRequest = new SearchRequest(
        "wifi_ap_status",
        "wifi_ap_status",
        searchQuery
);
// 設定需要傳回的表列
SearchRequest.ColumnsToGet columnsToGet = new SearchRequest.ColumnsToGet();
// 設定傳回所有列
columnsToGet.setReturnAll(true);
searchRequest.setColumnsToGet(columnsToGet);

// 搜尋請求
SearchResponse searchResponse = syncClient.search(searchRequest);
List<Row> rows = searchResponse.getRows();
存儲 java 物聯網 mysql 關系型資料庫 Tablestore資料實戰 Tablestore資料實時 Tablestore資料備份 Tablestore大資料分析 Tablestore軌迹管理
上一篇: 潘建偉團隊再登Nature：全球首次實作器件無關量子随機數，量子保密通信安全再更新
下一篇: 基于TableStore的海量電商訂單中繼資料管理一、背景二、方案演進三、基于表格存儲實作的訂單場景Demo

繼續閱讀