作者:CHEONG
公众号:AI机器学习与知识图谱
研究方向:自然语言处理与知识图谱
本文分享2020年相关顶会对于DeepGNN Over-Smoothing的解法,共汇报五篇顶会论文,汇报完整版ppt可通过关注公众号【AI机器学习与知识图谱】后回复关键词:Over-Smoothing 来获得,供学习者使用!
一、Motivation
在计算机视觉中,模型CNN随着其层次加深可以学习到更深层次的特征信息,叠加64层或128层是十分正常的现象,且能较浅层取得更优的效果;
图卷积神经网络GCNs是一种针对图结构数据的深度学习方法,但目前大多数的GCN模型都是浅层的,如GCN,GAT模型都是在2层时取得最优效果,随着加深模型效果就会大幅度下降;
GCN随着模型层次加深会出现Over-Smoothing问题,Over-Smoothing既相邻的节点随着网络变深就会越来越相似,最后学习到的Node Embedding便无法区分,模型效果下降。
为什么要将GNN做深,DeeperGNN适用于解决什么问题:
(1)少标签半监督节点分类
(2)少特征半监督节点分类
1、邻接矩阵A:归一化方式P ̃,采样等;
2、节点特征H:Local Information, Global Information如何选择;
3、参数W:Transformation添加的位置(相对于Propagation)等;
4、损失函数Loss/Normalization:通过loss函数控制模型对于Node Embedding学习
接下来,我们将通过上述一个公式,结合以上四点观点,分享下面五篇论文
二、汇报PPT
三、往期精彩
干货 | Attention注意力机制超全综述
【知识图谱系列】多关系神经网络CompGCN
【面经系列】八位硕博大佬的字节之旅
各大AI研究院共35场NLP算法岗面经奉上
【机器学习系列】机器学习中的两大学派
Tensorflow常用函数使用说明及实例简记
机器学习中优化相关理论知识简述
自己动手实现一个神经网络多分类器
Transformer 模型的 PyTorch 实现
干货 | NLP中的十个预训练模型
干货|一文弄懂机器学习中偏差和方差
FastText原理和文本分类实战,看这一篇就够了
Transformer模型细节理解及Tensorflow实现
GPT,GPT2,Bert,Transformer-XL,XLNet论文阅读速递
机器学习算法篇:最大似然估计证明最小二乘法合理性
Word2vec, Fasttext, Glove, Elmo, Bert, Flair训练词向量教程+数据+源码
五篇顶会论文,汇报完整版ppt可通过关注公众号后回复关键词:Over-Smoothing 来获得,之前详细介绍过GCNII这篇论文【知识图谱系列】探索DeepGNN中Over-Smoothing问题,后续会详细介绍其他几篇论文。有用就点个赞呗