天天看点

spark shuffle Read fetch过来的数据以ManagedBuffer形式存在时,该底层数据时在堆外内存中还是文件中,是否受memorymanager管理

请教个问题,在shuffle 刚从远程节点抓取过来的数据是放在对外内存的吗,是不是不属于memorymanage管理的?还有就是万一某个map输出的结果很大,那netty抓取过来 后放在内存中岂不是很容oom,netty内部会将其写到磁盘中吗,希望指点一二,困扰很久了,netty不咋懂

继续阅读