關注公衆号:分享電腦學習
回複"百度雲盤" 可以免費擷取所有學習文檔的代碼(不定期更新)
雲盤目錄說明:
tools目錄是安裝包
res 目錄是每一個課件對應的代碼和資源等
doc 目錄是一些第三方的文檔工具
承接上一個文檔《新增訪客數量MR統計之資料庫準備》
首先将MR資料輸出到MySQL
建立TransformerOutputFormat和ICollector,檔案位置如下:
完成ICollector的代碼
完成TransformerOutputFormat代碼如下:
自定義的資料輸出格式器,要求: 1. 資料輸出到mysql 2. 要展現代碼的公用性
接着下面的部分
使用的是FileOutputFormat中預設的方式
自定義的具體将reducer輸出資料輸出到mysql表的輸出器
構造方法
Write方法
Close方法
修改Runner類,配置方法加入所需要的配置檔案
将reduce的輸出類型更改為MapWritableValue
job.setOutputValueClass(MapWritableValue.class);
給定自定義的outputformat類
job.setOutputFormatClass(TransformerOutputFormat.class);
如果全改了,可以測試運作下
先看下HDFS上有沒有資料
下載下傳下來檢視下
再看下資料庫有沒有資料,發現有資料,本地環境就沒有問題了,現在看下打包到Linux上之後是否有問題。
先打包程式運作一下
運作jar包,檢視螢幕資訊
檢視螢幕輸出資訊
檢視HDFS上是有資料的
代碼已經上傳到雲盤了,可以下載下傳調試一下