天天看點

spark支援lzo

在 spark-env.sh中添加

export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/usr/hdp/current/share/lzo/0.6.0/lib/native/Linux-amd64-64/*

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/hdp/2.2.8.0-3150/spark/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar

本文轉自 yntmdr 51CTO部落格,原文連結:http://blog.51cto.com/yntmdr/1763262,如需轉載請自行聯系原作者

繼續閱讀