天天看點

大資料與機器學習:實踐方法與行業案例.3.5 本章小結

<b>3.5 本章小結</b>

<b></b>

本章使用java實作了資料閉環中的關鍵環節,使資料能夠自動且高效地批量導入分析環境。為了便于程式實作,首先定義了資料緩沖區的檔案存儲規則、命名規則和清理規則。相對于代碼上的實作,深刻了解這些方法論則更為重要。

依據資料緩沖區的基本規則,分别設計了掃描檔案、下載下傳檔案、解壓檔案和加載檔案的相關流程,并進一步設計了相關的資料庫配置表。

最後,根據上述設計,使用java多線程實作了資料的整個加載過程。