【Spark Summit East 2017】提升Python與Spark的性能和互操作性

本講義出自<b>wes mckinney</b>在spark summit east 2017上的演講，對于使用python程式設計以及并行化和擴大資料處理方面，spark已成為一個受歡迎和成功的架構，但是在很多案例中，使用pyspark的任務處理要比使用scala編寫的效率差，而且在python環境與spark主機之間推拉資料也将增加開銷，本次演講将驗證和分析使用一些python庫進行序列化以及互操作性問題。