10月29日社群直播【Spark Shuffle RPMem擴充: 借助持久記憶體與RDMA加速Spark 資料分析】

主題：

Spark Shuffle RPMem擴充: 借助持久記憶體與RDMA加速Spark 資料分析

時間：

10月29日 19:00

觀看方式：

掃描下方二維碼進釘釘群

或者登陸直播間（即回看連結）

https://developer.aliyun.com/live/245610

講師：

張建，英特爾亞太研發有限公司大資料部門的軟體工程經理，專注于大資料和機器學習中存儲方案優化

議題介紹：

Spark Shuffle RPMem擴充提供了一個基于PMem 和RDMA 來加速Shuffle的方案，它采用PMem 作為Shuffle的存儲媒體，利用PMDK 使用者态程式設計庫進行資料讀寫，減小使用者态、核心态切換與檔案系統開銷；用基于RDMA網絡協定異構的傳輸層實作高性能資料傳輸；還将RDMA直接注冊在PMem上，減少記憶體拷貝。

本次直播介紹如何利用持久化記憶體與高性能RDMA 網絡來加速Spark Shuffle。