天天看点

通过SDK提交MapReduce作业

通过SDK提交MapReduce作业

<a href="/go/1/4?postion=1" target="_blank">大数据计算服务(maxcompute)</a>

快速、完全托管的tb/pb级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

<a href="/go/1/4?postion=1" target="_blank">了解更多</a>

通过sdk提交mr作业的步骤如下:

步骤一:

      编写mr程序,导出jar包,jar包可以不包含main方法(main方法是在本地执行)

步骤二:

       上传jar包及所需的资源

       (1) 通过console上传jar包到server端: add jar xxx.jar

       (2)也可以通过sdk写程序上传,参考相关方法:com.aliyun.odps.odps.resources().create(xxx,xxx)

步骤三:

   对main方法进行改进 ,主要包括两部分:

   (1)设置账户信息(accessid/accesskey/endpoint),充当console/conf/odps_conf.ini中的配置功能

   (2)设置mr中使用的资源,充当jar -resources xxx1.jar,xxx2.jar的功能

           通过方法job.setresources("test13.jar");设置

注:本地用户mapper类和reducer类方法是空的(本地并不会执行这份代码),存在的目的是保证main方法编译通过