Datax及Datax-web 下載下傳使用

datax

datax 需要python2.+ 版本，一般centos自帶。

如果是python3，會造成報錯

1、進入目錄，下載下傳datax

cd /opt/software
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
           

2、解壓

tar -zxvf datax.tar.gz -C /opt/module
           

3、設定

vim /opt/module/datax/conf/core.json
           

将第28行改為 2000000，表示單個channel的大小改為2MB:

4、測試

cd /opt/module/datax
bin/datax.py job/job.json
           

但是會報錯

2022-08-01 15:07:26.051 [main] WARN  ConfigParser - 插件[streamreader,streamwriter]加載失敗，1s後重試... Exception:Code:[Common-00], Describe:[您提供的配置檔案存在錯誤資訊，請檢查您的作業配置 .] - 配置資訊錯誤，您提供的配置檔案[/opt/module/datax/plugin/reader/._drdsreader/plugin.json]不存在. 請檢查您的配置檔案. 
2022-08-01 15:07:27.064 [main] ERROR Engine - 

經DataX智能分析,該任務最可能的錯誤原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置檔案存在錯誤資訊，請檢查您的作業配置 .] - 配置資訊錯誤，您提供的配置檔案[/opt/module/datax/plugin/reader/._drdsreader/plugin.json]不存在. 請檢查您的配置檔案.
        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
        at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)
        at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153)
        at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)
        at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)
        at com.alibaba.datax.core.Engine.entry(Engine.java:137)
        at com.alibaba.datax.core.Engine.main(Engine.java:204)
           

怎麼處理呢，執行以下指令

cd /opt/module/datax/plugin/reader
rm -rf  ./._*
cd /opt/module/datax/plugin/writer
rm -rf  ./._*
           

再次啟動

cd /opt/module/datax
bin/datax.py job/job.json
           

看到以下界面 代表執行成功

datax連接配接mysql8

預設的datax連接配接mysql驅動為5，是以當需要連接配接mysql8的時候會報錯

可以通過下載下傳源碼，修改mysql驅動包版本

可以參考：https://blog.csdn.net/Carson073/article/details/126037927

源碼下載下傳位址：https://github.com/alibaba/DataX

當然在源碼編譯過程中會出現各種少包情況，需要自行百度手動下載下傳，也可以聯系我提供jar包

最省事的就是使用現成編譯好的mysql包，替換即可

連結: https://pan.baidu.com/s/1Uj15QriC9rilySKNUkEguw 提取碼: q6uc

下載下傳下來之後，删除原本的插件，然後解壓到對應目錄就可以了

datax-web

源碼位址：https://github.com/WeiYe-Jing/datax-web

https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md

下載下傳完成後進行解壓

tar -zxvf datax-web-2.1.2.tar.gz -C /opt/module
           

進入解壓後的目錄，找到bin目錄下面的install.sh檔案，如果選擇互動式的安裝，則直接執行

./bin/install.sh
           

前面選yes，根據提示錄入資料庫資訊，自動初始化資料庫腳本

配置datax-web

在項目目錄下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路徑

# 進入到安裝目錄
cd /opt/module/datax/data-web-2.1.2
# 編輯配置
vim modules/datax-executor/bin/env.properties
### 執行datax的python腳本位址
PYTHON_PATH=/opt/datax/datax/bin/datax.py
           

啟動服務

cd /opt/module/datax/data-web-2.1.2
./bin/start-all.sh
           

通路(換成自己的ip位址) http://q1:9527/index.html

賬号admin 密碼123456

運作日志

部署完成之後，在modules/對應的項目/data/applogs下(使用者也可以自己指定日志，修改application.yml中的logpath位址即可)，使用者可以根據此日志跟蹤項目實際啟動情況。

如果執行器啟動比admin快，執行器會連接配接失敗，日志報"拒絕連接配接"的錯誤，一般是先啟動admin,再啟動executor,30秒之後會重連，如果成功請忽略這個異常。