学习笔记TF065:TensorFlowOnSpark

修改配置文件，设置环境变量，启动Hadoop:$HADOOP_HOME/sbin/start-all.sh。检出TensorFlowOnSpark源代码：

源代码打包，提交任务使用：

设置TensorFlowOnSpark根目录环境变量：

启动Spark主节点(master):

配置两个工作节点(worker)实例，master-spark-URL连接主节点：

提交任务，MNIST zip文件转换为HDFS RDD 数据集：

查看处理过的数据集：

查看保存图片、标记向量：

把训练集、测试集分别保存RDD数据。

args = parser.parse_args()

提交训练任务，开始训练，在HDFS生成mnist_model，命令：

mnist_dist.py 构建TensorFlow 分布式任务，定义分布式任务主函数，启动TensorFlow主函数map_fun，数据获取方式Feeding。获取TensorFlow集群和服务器实例：

TFNode调用tfspark.zip TFNode.py文件。

mnist_spark.py文件是训练主程序，TensorFlowOnSpark部署步骤：

预测命令：

还可以Amazon EC2运行及在Hadoop集群采用YARN模式运行。

参考资料：

《TensorFlow技术解析与实战》

欢迎推荐上海机器学习工作机会，我的微信：qingxingfengzi