天天看點

OutPutFomat 接口實作類 | 學習筆記

開發者學堂課程【Hadoop 分布式計算架構 MapReduce:OutPutFomat 接口實作類】學習筆記,與課程緊密聯系,讓使用者快速學習知識。

課程位址:

https://developer.aliyun.com/learning/course/94/detail/1541

OutPutFomat 接口實作類

内容簡介:

一、Outputformat 接口實作類

二、SequencefileOutputFormat

三、根據客戶需求 Output

四、使用場景

OutputFormate 是 MapReduce 輸出的基類,所有實作 MapReduce 輸出都實作了 OutputFormat 接口。

下面介紹幾種常見的 OutputFormat 實作類

1、文本輸出 textoutputformat ,他把每條記錄寫為文本行。

它的鍵和值可以是任意類型。

因為 TextOutputFormax 調用 tostring()方法轉化為字元串

将 SequenceFileOutputFormat 輸出作為後續 Mapreduce 任務的輸入,這便是一種好的輸出格式,因為它的格式緊湊,很容易被壓縮.

三、根據客戶需求Output

自定義使用者需求,自定義實作輸出

Output 是輸出的基類,所有實作 MapReduce 輸出都實作了接口,下面接介紹幾款幾種常見的 Output 實作類.

1、文本輸出

預設的輸出的格式是 textOutputFormat,他把每條記錄寫為文本行。它的鍵和值可以是任意類型,因為 textputFormat 調用toString() 方法把它們轉為字元串

2、SequenceFileFormat

将 SequenceFileOutput 輸出作為後續 MapReduce 任務的輸出,這便是一種好的輸出,因為它格式緊湊,很容易被壓縮。

3、自定義 OutputFormat

1、為了實作控制最終檔案的輸出路徑和輸出格式

2、自定義 OutputFormat 的步驟

(1)自定義一個類繼承 FileOutputFormat

(2)改寫 RecordWriter,具體改寫輸出資料的方法

繼續閱讀