天天看點

spark shuffle Read fetch過來的資料以ManagedBuffer形式存在時,該底層資料時在堆外記憶體中還是檔案中,是否受memorymanager管理

請教個問題,在shuffle 剛從遠端節點抓取過來的資料是放在對外記憶體的嗎,是不是不屬于memorymanage管理的?還有就是萬一某個map輸出的結果很大,那netty抓取過來 後放在記憶體中豈不是很容oom,netty内部會将其寫到磁盤中嗎,希望指點一二,困擾很久了,netty不咋懂

繼續閱讀