天天看點

【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet

本講義出自<b>sol ackerman與franklyn d'souza</b>在spark summit eu上的演講,在已存在的資料倉庫中使用dataframes+parquet的經驗方法,實作了在保證原有代碼的情況下,引進dataframes+parquet,并且重寫比較慢的工作作為dataframes的管道,用spark對從輸入端流入的資料進行處理并輸出。

【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet
【Spark Summit EU 2016】在資料倉庫中引入Dataframes+Parquet

繼續閱讀