企業的實時資料除了存儲在大資料引擎中，還有很多非結構化的日志資料，通過阿裡雲的Elasticsearch，用全托管的方式提供低成本的冷熱存儲方案，輕松助力企業搭建統一的雲上全觀測運維監控平台，實作海量資料的實時監控分析，提高自動化運維管理效率。DataWorks資料內建提供了 “MySQL一鍵實時同步至Elasticsearch” 的解決方案，可以将MySQL中的資料庫，通過一次性的簡單配置，全增量一體化同步到Elasticsearch，達到資料實時落入ElasticSearch，實時可以用于分析的效果。如果您隻需要将業務庫資料離線全量或者增量搬遷到Elasticsearch中，也可以将MySQL資料庫，通過一次性的簡單配置，全增量一體化離線同步到Elasticsearch中。DataWorks資料內建采用自研高性能引擎，在相同的機器規格情況下，同步性能更高，價格更優惠！
目前獨享資料內建資源組首月5折！
立即前往購買>> 資料內建問題答疑請釘釘掃碼加群咨詢：
方案簡介
本方案是整庫全增量實時/離線同步 至Elasticsearch（目前支援的源資料庫類型為MySQL，後續更多類型持續增加中）。在DataWorks資料內建界面下，單擊 “一鍵實時同步至Elasticsearch” 建立同步任務，再通過完成“設定同步來源和規則”、“設定目标表”、“DDL消息處理規則”、“運作資源設定”這樣4步簡單的産品化配置，就可以将指定類型的資料庫中全部表或者部分表的資料實時同步到Elasticsearch裡。或者單擊“整庫離線同步至Elasticsearch”建立離線同步任務，再通過完成“設定同步來源和規則”、“設定目标索引”、“同步規則設定”、“運作資源設定”實作資料離線同步到Elasticsearch裡。
适用場景
“一鍵實時同步至Elasticsearch”适用于業務庫需要保持業務資料庫資料實時更新至ElasticSearch的場景，供上層應用做實時資料檢索分析或者後續資料開發。“整庫離線同步至Elasticsearch”适用于将業務庫資料全量或者增量搬遷到Elasticsearch中。
優勢特點
整庫級别同步：
- 不需要一個個建立表到索引的同步，支援以庫為機關，選擇其中所有表或者部分表進行同步
高效實時同步：
- 支援資料實時同步至ElasticSearch，靈活配置DDL規則
多種同步方式：
- 離線同步支援全量、增量以及全量和增量結合的方式，同時支援周期性排程設定
配置簡單：
- 避開紛繁複雜的同步任務、建索引配字段、互相依賴、參數對齊等操作，隻需簡單的産品化的功能配置。
操作步驟
步驟一：建立同步解決方案任務（實時/離線）
1.登入并進入"資料內建"頁面，單擊“一鍵實時同步至Elasticsearch”建立實時同步任務或者單擊“整庫離線同步至Elasticsearch”建立離線同步任務。
2.完成方案名稱等基本資訊配置。在基本配置區域，配置各項參數。
| 參數 | 描述 |
|---|---|
| 方案名稱 | 同步解決方案的名稱，最多支援50個字元。 |
| 對目前方案進行簡單描述，最多支援50個字元。 | |
| 目标任務存放位置 | 預設建立一個新的業務流程，所有任務均以clone_database_源端資料源名稱+to+目标資料源名稱的命名方式存放至資料內建目錄下。您也可以取消自動建立工作流程，在選擇位置下拉清單中指定存放目标任務的路徑。 |
步驟二：選擇來源資料源并配置同步規則
1.在資料來源區域，選擇類型和資料源（僅支援選擇MySQ類型的資料源）
2.在選擇同步的源表區域，選中需要同步的源表
圖示，将其移動至已選源表。
該區域會為您展示所選資料源下所有的表，您可以選擇整庫全表或部分表進行同步。
注意 如果選中的表沒有主鍵，将無法進行實時同步。
3.在設定同步規則區域，單擊添加規則，選擇相應的規則進行添加。同步規則包括表名轉換規則和目标表名規則：
- 表名轉換規則：轉換表名為目标表名，進行字元串替換。
- 目标表名規則：支援對轉換後的表名添加字首和字尾。
4.單擊下一步。
步驟三：選擇目标資料源并配置目标表格式
1.在設定目标表/設定目标索引頁面，選擇目标**Elasticsearch資料源**。
2.單擊重新整理源表和**Elasticsearch索引映射**，建立需要同步的源表和目标Elasticsearch索引的映射關系。
3.檢視任務的執行進度和表來源。
| 序号 | |
|---|---|
| ① | 顯示映射關系的建立進度。說明 如果同步的表數量較多，會導緻執行進度較慢，請耐心等待。 |
| ②③ | 如果來源庫有主鍵則會直接使用此主鍵。如果沒有，則會顯示編輯标志，允許自定義主鍵（支援聯合主鍵） |
| ④56 | 選擇的索引建立方式：- 當索引建立方式選擇自動建索引時，顯示自動建立的Elasticsearch索引名稱。您可以單擊表名稱，修改建索引的配置。- 當索引建立方式選擇使用已有索引時，請在下拉清單中選擇需要的索引。 |
步驟四：DDL消息處理規則/同步規則設定
1.如果是“一鍵實時同步至Elasticsearch”任務，那麼這一步是配置DDL消息處理規則，如下圖配置要同步的方式和參數。
2.處理規則說明：
| 處理方式 | 解釋 |
|---|---|
| 正常處理 | 此DDL消息将會繼續下發給目标資料源，由目标資料源來處理，不同目标資料源處理政策可能會不同。比如“增加列”對于MaxCompute來說就是個錯誤，但是對于Hologres來說就可以正常增加一列。 |
| 忽略 | 丢棄掉此DDL消息，不再向目标資料源發送此消息。 |
| 告警 | 在日志中發送告警資訊，同時丢棄掉此DDL消息。 |
| 出錯 | 直接讓實時同步任務以出錯狀态終止運作。 |
3.如果是“整庫離線同步至Elasticsearch”任務，那麼這一步應該是配置同步規則設定，如下圖配置要同步的方式和參數。
4.方案選擇：
| 方案 | |
|---|---|
| 全量一次性同步後周期增量 | 先将源端所有資料全量拉取到Elasticsearch後，再按照指定的過濾條件和重複周期，每次循環将增量資料拉取到Elasticsearch中。 |
| 隻全量一次性同步 | 隻進行一次同步，将源端所有資料全量拉取到Elasticsearch。 |
| 隻增量一次性同步 | 隻進行一次同步，按照指定的過濾條件将源端的增量資料拉取到Elasticsearch中。 |
| 周期性全量同步 | 按照指定的重複周期，每次循環都将源端所有資料拉取到Elasticsearch中。 |
| 周期性增量同步 | 按照指定的過濾條件和重複周期，每次循環将增量資料拉取到Elasticsearch中。 |
步驟五：運作資源設定
在運作資源設定頁面，配置各項參數。目前解決方案僅支援使用獨享資料內建資源組，該資源組可以在
DataWorks官網下“單獨産品”購買處點選購買（注意是“獨享資料內建資源”，不是排程資源），資源組詳情也可參見
資源規劃與配置文檔。
1.如果是“一鍵實時同步至Elasticsearch”任務，這一步配置界面如下：
2.如果是“整庫離線同步至Elasticsearch”任務，這一步配置界面如下：
3.單擊完成配置，完成資料同步解決方案任務建立。
檢視運作狀态及結果
在解決方案任務清單頁面，單擊已運作任務後的執行詳情，檢視目前解決方案資料同步過程中各子任務節點的運作詳情。
單擊子任務節點後的執行詳情，可在彈窗中單擊任務連結進入子節點的資料開發頁面。
管理資料同步解決方案任務
檢視或編輯任務。在解決方案任務清單頁面，單擊相應任務後的任務配置，可以檢視或編輯任務。
僅單擊未運作狀态後的任務配置，您可以編輯任務。其它狀态下的任務配置頁面，僅支援檢視。
删除任務：單擊相應任務後的删除。在删除對話框中，單擊确定（僅删除目前任務的配置記錄，已經生成的表和任務不受影響）。
總結
以上就是Elasticsearch實時同步解決方案的全部内容，資料同步到Elasticsearch之後，您可以很友善地做實時分布式的搜尋與分析，Elasticsearch建構在Elastic Stack開源生态矩陣中，包括Beats（輕量級資料采集工具）、Logstash（收集、過濾、傳輸資料的工具）、Elasticsearch、Kibana（靈活的可視化工具）。您可以很友善地利用豐富的工具快速搭建您的資料檢索或者實時監控運維應用。
如果您對本次方案感興趣的話，可以到Elasticsearch和DataWorks的官網檢視具體産品資訊：
資料內建産品介紹：
https://help.aliyun.com/document_detail/199008.htmlElasticsearch産品官網：
https://www.aliyun.com/product/bigdata/product/elasticsearchDataWorks産品官網：
https://www.aliyun.com/product/bigdata/ide