天天看點

Impala 異常:Could not resolve host for clientsocket

前天線上增加兩個Hadoop節點(DN,TT,Impalad),加入後突然一個基于Impala的Job報異常::

ERROR:Couldn't open transport for xxx:22000(Could not resolve host for clientsocket.)

Cancellingquery ...

...

Queryaborted, unable to fetch data

第一個懷疑是網絡問題,其次就是impala 的host,恰巧這時報出一個Hive Query慢查詢時就鎖定了這個問題,一個reduce一直跑不出來,上去一看發現恰巧這個job的一個map跑在xxx上,并且reduce報unknownHost Exception,在看這台reduce的/etc/hosts竟然沒有新加節點的IP(線上hadoop通過puppet管理,已經同步了),後來檢視是cron不知道咋被注釋掉了=。=,是以前面impala的問題(這也是impala不及shark的原因之一)也解釋得通了:PlanFragmentExecutor在sink到xxx 上的PFExecutor時無法解析,同步就解決了.

這個case再次說明流程規範+監控太重要了!

本文轉自MIKE老畢 51CTO部落格,原文連結:http://blog.51cto.com/boylook/1315666,如需轉載請自行聯系原作者