linux指令（殺任務，看日志，查目錄大小，打包壓縮，上傳檔案, pyspark json jar）

yarn application -list
yarn application -kill

hadoop job -list
hadoop job -kill

ps -ef | grep /home/xxx/project/run.sh
kill -s 9 18538

#清除端口
#mac:
lsof -i :8008
#linux:
netstat -tln | grep 8008#端口号
kill 9 Pid
           

du -sh .[!.]* #目錄檔案大小

top
free -h
           

tar zcvf FileName.tar.gz DirName #打包壓縮DirName
tar zxvf FileName.tar.gz DirName #解壓到路徑。。。下

zip -r  dir.zip dir/*
unzip dir.zip
           

scp -P 22022 data.csv.zip [email protected]:/dir/ #伺服器之間傳遞
rz data.csv.zip #從本地上傳至伺服器
sz data.csv.zip #從伺服器下載下傳至本地
           

#某些di表有複雜的解析結構時（可能有json，但不一定你用到），這時候需要此jar包
spark2-submit --jars /opt/cloudera/parcels/CDH/jars/json-serde-1.3.8-jar-with-dependencies.jar spark_demo.py

--jars /usr/hdp/2.6.5.0-292/spark/lib/json-serde-1.3.8-jar-with-dependencies.jar
export SPARK_MAJOR_VERSION=2
           

#全局配置
sudo vim /etc/profile

#個人配置
vim ~/.bashrc
vim ~/.zshrc

vim ~/.ssh/config #登陸