FineDataLink是一款集實時資料同步、ELT/ETL資料處理、資料服務和系統管理于一體的資料內建工具，可在Windows或Linux環境上部署，全程基于B/S浏覽器端進行任務開發和任務運維，更多精彩功能，邀您體驗，希望能幫您解決企業中資料從任意終端到任意終端的處理和傳輸問題。
最近兩個月，FineDataLink 不斷更新更新，期待為您帶來更好的産品體驗和實踐案例。下面快來看看有哪些新變化吧~
1
新增資料源
1、MaxCompute
MaxCompute 是一種快速、完全托管的 TB/PB 級資料倉庫解決方案，常作為企業的資料倉庫。
為了使得MaxCompute中資料發揮更大的價值，此次适配使得MaxCompute能快速便捷連接配接外部SaaS應用、通訊工具等，完成業務資料的內建、傳輸。
MaxCompute架構圖
基于MaxCompute進行資料開發
MaxCompute資料連接配接
2、StarRocks
StarRocks是一款極速全場景 MPP 資料庫，常作為企業數倉存儲庫，實時性好、支援秒級寫入，支援高并發分析查詢。
為了降低基于StarRocks的數倉建設、維護難度，以及提高性能，此次适配使得資料開發工程師在“從正常資料庫到大資料轉移”階段——實作“ETL零學習成本”。
StarRocks系統架構圖
基于StarRocks進行ETL開發
StarRocks資料連接配接
3、Doris
Doris作為一款簡單易用、高性能和統一的分析資料庫，有豐富的生态環境，相容MySQL，适合OLAP分析，不僅可以支援高并發的點查詢場景，還能支援高吞吐的複雜分析場景。
從資料內建到BI自主分析, 讓企業擁有高性能存儲的同時具備輕松駕馭資料洞察力：
- 實時（基于日志的資料管道）/ 定時抽取業務系統資料寫入Doris
- 基于Doris在FDL内進行ETL資料開發，形成DW、DW層
- 對接Doris進行BI自助分析、報表分析等
Doris定位：如何将Doris用起來
業務系統資料實時同步到Doris（基于日志增量更新）
基于Doris進行ETL資料開發
4、星環：Inceptor
Inceptor 是全球首個通過分析決策系統國際基準測試TPC-DS的産品，支援完整的SQL标準文法，相容Oracle、IBM DB2、TeraData方言，相容Oracle和DB2的存儲過程，可以平滑遷移應用；支援分布式事務處理，保障資料強一緻性，可以幫助使用者快速開發資料湖以及其他結構化資料的分析應用等。
此次适配，使得企業在完成國産化資料庫的替換後，可以進一步靈活、便捷地完成ETL/ELT資料處理以及自主分析。
星環雲原生作業系統
星環 Inceptor 資料連接配接
5、檔案輸出
Excel/CSV等檔案資料，在ETL/ELT場景中多作為資料源輸入，但部分場景下需要作為輸出，将數倉、資料庫的資料到導出為檔案（本地伺服器或者是指定FTP/SFTP伺服器上）。
檔案輸出這一功能，使得來自于任一資料源（資料庫、API、SaaS應用等）的資料直接或者是經過處理後，輸出到Excel/CSV。
常見場景：
- 資料定時、批量以檔案形式存檔
- 系統資料維護，将其他系統的資料導出，再通過excel導入更加友善
- 需要将加工好的資料（甚至是大資料量）通過檔案形式分享給業務人員使用、分析
- 系統資料交換，強制需要以檔案形式下發資料給其他業務系統使用
檔案輸出配置
2
任務管理
1、定時任務&API支援複制
在ETL/ELT任務開發過程中，經常會遇到任務相似性極高的情況，為了友善進行快速配置，此次更新支援使用者自行進行任務複制。
常見場景：
- 任務流程相似度高，通過複制任務更改部配置設定置項即可使用
- 管理者建立标準模闆，普通開發人員複用标準模闆
資料開發-任務複制
API資料服務-任務複制
2、任務支援逾時限制、失敗重跑
因為網絡原因（網絡原因導緻的臨時資料連接配接中斷、配置庫連接配接中斷等）而導緻的中斷任務，任務可設定自動重跑和逾時限制，減少因為網絡原因而導緻的人工檢查工作量。
資料開發-逾時限制、失敗重試配置項
資料管道-失敗重試配置項
FineDataLink支援對接的所有資料源
- 關系型資料庫：MySQL、Oracle、SQL Server、PostgreSQL、SQLite、HSQL、IBM DB2、Informix
- 大資料類：SAP HANA、Hadoop Hive、Impala、ClickHouse、Presto、GreenPlum、GreenPlum（并行裝載）、HP Vertica、Doris、StarRocks、MaxCompute
- 國産資料庫：達夢、人大金倉Kingbase、GaussDB 200、Gbase 8A、星環
- NoSQL：MongoDB
- 消息隊列：Kafka
- 檔案類資料源：FTP/SFTP檔案伺服器、Excel、CSV
- 接口類型：API、簡道雲、SAP RFC、WebService
- 其他：伺服器資料集等