很早以前有個分支,嘗試把pig遷移到spark上,但是代碼很久沒有更新了。目前pig on spark應該是在twitter内部進行着。
flare-spork是基于spork對pig和spark的銜接,把spark部分的代碼遷移到了pig 0.12.0上,并且更新了依賴和版本,更新為scala 2.10.3,spark 0.9.1,且相容hadoop 2.2.0。
目前項目在github上,。打算參考spork已經做的一些東西,繼續pig on spark的開發。
github上的内容已經是merge進pig 0.12.0的spork版本了,可以編譯和運作。更多細節的内容可以參考裡面的。有介紹如何編譯,有什麼改變,能跑什麼樣的簡單demo。