大資料元件運維常用指令

Flume：

啟動agent

flume-ng agent -n a1 -c conf -f conf/myconf/exec.conf -Dflume.root.logger=INFO,console
           

停止agent就直接殺死程序就ok了

kafka：

啟動指令（kafka需要依次在各個節點進行啟動，可以自己寫腳本批量啟動）

bin/kafka-server-start.sh  config/server.properties
           

停止指令（kafka需要依次在各個節點進行停止，可以自己寫腳本批量停止）

bin/kafka-server-stop.sh
           

操作指令

//檢視目前伺服器中的所有topic
bin/kafka-topics.sh --list --zookeeper  zk01:
//建立topic
./kafka-topics.sh --create --zookeeper mini1: --replication-factor  --partitions  --topic test 
//删除topic
sh bin/kafka-topics.sh --delete --zookeeper zk01: --topic test
//需要server.properties中設定delete.topic.enable=true否則隻是标記删除或者直接重新開機。
//通過shell指令發送消息
kafka-console-producer.sh --broker-list kafka01: --topic test 
//通過shell消費消息
sh bin/kafka-console-consumer.sh --zookeeper zk01: --from-beginning --topic test1
//檢視消費位置
sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01: --group testGroup
//檢視某個Topic的詳情
sh kafka-topics.sh --topic test --describe --zookeeper zk01:
           

storm：

啟動叢集

//在nimbus.host所屬的機器上啟動 nimbus服務
nohup ./storm nimbus &
//在nimbus.host所屬的機器上啟動ui服務
nohup ./storm ui &
//在其它個點選上啟動supervisor服務
nohup ./storm supervisor &
           

關閉叢集

storm貌似沒有提供停止叢集的指令，我一般是通過kill指令直接殺死

kill - $(ps -ef|grep nimbus| awk '{print $2}')
kill - $(ps -ef|grep supervisor | awk '{print $2}')
           

操作指令：

//送出任務指令格式：storm jar 【jar路徑】 【拓撲包名.拓撲類名】 【拓撲名稱】
bin/storm jar examples/storm-starter/storm-starter-topologies-.jar storm.starter.WordCountTopology wordcount
//殺死任務指令格式：storm kill 【拓撲名稱】 -w 10（執行kill指令時可以通過-w [等待秒數]指定拓撲停用以後的等待時間）
storm kill topology-name -w 
//停用任務指令格式：storm deactivte  【拓撲名稱】
storm deactivte topology-name
//我們能夠挂起或停用運作中的拓撲。當停用拓撲時，所有已分發的元組都會得到處理，但是spouts的nextTuple方法不會被調用。銷毀一個拓撲，可以使用kill指令。它會以一種安全的方式銷毀一個拓撲，首先停用拓撲，在等待拓撲消息的時間段内允許拓撲完成目前的資料流。
//啟用任務指令格式：storm activate【拓撲名稱】
        storm activate topology-name
//重新部署任務指令格式：storm rebalance  【拓撲名稱】
        storm rebalance topology-name
//再平衡使你重配置設定叢集任務。這是個很強大的指令。比如，你向一個運作中的叢集增加了節點。再平衡指令将會停用拓撲，然後在相應逾時時間之後重配置設定勞工，并重新開機拓撲。
           

spark

啟動

停止

$SPARK_HOME/sbin/stop-all.sh
           

LogStash

啟動

bin/logstash -f logstash.conf