天天看点

大数据与机器学习:实践方法与行业案例.3.5 本章小结

<b>3.5 本章小结</b>

<b></b>

本章使用java实现了数据闭环中的关键环节,使数据能够自动且高效地批量导入分析环境。为了便于程序实现,首先定义了数据缓冲区的文件存储规则、命名规则和清理规则。相对于代码上的实现,深刻理解这些方法论则更为重要。

依据数据缓冲区的基本规则,分别设计了扫描文件、下载文件、解压文件和加载文件的相关流程,并进一步设计了相关的数据库配置表。

最后,根据上述设计,使用java多线程实现了数据的整个加载过程。