天天看點

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

關注公衆号:分享電腦學習

回複"百度雲盤" 可以免費擷取所有學習文檔的代碼(不定期更新)

雲盤目錄說明:

tools目錄是安裝包

res 目錄是每一個課件對應的代碼和資源等

doc 目錄是一些第三方的文檔工具

承接上一個文檔《新增訪客數量MR統計之資料庫準備》

首先将MR資料輸出到MySQL

建立TransformerOutputFormat和ICollector,檔案位置如下:

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

完成ICollector的代碼

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

完成TransformerOutputFormat代碼如下:

自定義的資料輸出格式器,要求: 1. 資料輸出到mysql 2. 要展現代碼的公用性

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

接着下面的部分

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

使用的是FileOutputFormat中預設的方式

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

自定義的具體将reducer輸出資料輸出到mysql表的輸出器

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

構造方法

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

Write方法

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

Close方法

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

修改Runner類,配置方法加入所需要的配置檔案

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

将reduce的輸出類型更改為MapWritableValue

job.setOutputValueClass(MapWritableValue.class);

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

給定自定義的outputformat類

job.setOutputFormatClass(TransformerOutputFormat.class);

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

如果全改了,可以測試運作下

先看下HDFS上有沒有資料

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

下載下傳下來檢視下

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

再看下資料庫有沒有資料,發現有資料,本地環境就沒有問題了,現在看下打包到Linux上之後是否有問題。

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

先打包程式運作一下

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL
mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

運作jar包,檢視螢幕資訊

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

檢視螢幕輸出資訊

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

檢視HDFS上是有資料的

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL

代碼已經上傳到雲盤了,可以下載下傳調試一下

mysql 統計_新增訪客數量MR統計之MR資料輸出到MySQL