hadoop配置lzo

yum -y install *lzo*

修改hdfs 的 core-site.xml

io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec

添加

io.compression.codec.lzo.class=com.hadoop.compression.lzo.LzoCodec

修改下面參數（必選）：

mapreduce.map.output.compress=true;

mapreduce.output.fileoutputformat.compress=true;

mapreduce.map.output.compress.codec=com.hadoop.compression.lzo.LzoCodec;

mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzoCodec;

hive.exec.compress.output=true;

4. 測試mapreduce讀lzo

hive建立一張表lzo_test

下載下傳lzop工具，load一個lzo檔案進lzo_test表中，執行“select * from  lzo_test"和"select count(1) from lzo_test"正确 

hive預設字段分隔符\001

本文轉自 yntmdr 51CTO部落格，原文連結：http://blog.51cto.com/yntmdr/1839146，如需轉載請自行聯系原作者