作者：CHEONG
公衆号：AI機器學習與知識圖譜
研究方向：自然語言處理與知識圖譜
本文分享2020年相關頂會對于DeepGNN Over-Smoothing的解法，共彙報五篇頂會論文，彙報完整版ppt可通過關注公衆号【AI機器學習與知識圖譜】後回複關鍵詞：Over-Smoothing 來獲得，供學習者使用！
一、Motivation
在計算機視覺中，模型CNN随着其層次加深可以學習到更深層次的特征資訊，疊加64層或128層是十分正常的現象，且能較淺層取得更優的效果；
圖卷積神經網絡GCNs是一種針對圖結構資料的深度學習方法，但目前大多數的GCN模型都是淺層的，如GCN，GAT模型都是在2層時取得最優效果，随着加深模型效果就會大幅度下降；
GCN随着模型層次加深會出現Over-Smoothing問題，Over-Smoothing既相鄰的節點随着網絡變深就會越來越相似，最後學習到的Node Embedding便無法區分，模型效果下降。
為什麼要将GNN做深，DeeperGNN适用于解決什麼問題：
（1）少标簽半監督節點分類
（2）少特征半監督節點分類
【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 1、鄰接矩陣A：歸一化方式P ̃，采樣等；
2、節點特征H：Local Information, Global Information如何選擇；
3、參數W：Transformation添加的位置（相對于Propagation）等；
4、損失函數Loss/Normalization：通過loss函數控制模型對于Node Embedding學習
接下來，我們将通過上述一個公式，結合以上四點觀點，分享下面五篇論文
【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 二、彙報PPT
【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 【知識圖譜系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing論文綜述一、Motivation二、彙報PPT三、往期精彩 三、往期精彩
幹貨 | Attention注意力機制超全綜述
【知識圖譜系列】多關系神經網絡CompGCN
【面經系列】八位碩博大佬的位元組之旅
各大AI研究院共35場NLP算法崗面經奉上
【機器學習系列】機器學習中的兩大學派
Tensorflow常用函數使用說明及執行個體簡記
機器學習中優化相關理論知識簡述
自己動手實作一個神經網絡多分類器
Transformer 模型的 PyTorch 實作
幹貨 | NLP中的十個預訓練模型
幹貨|一文弄懂機器學習中偏差和方差
FastText原理和文本分類實戰，看這一篇就夠了
Transformer模型細節了解及Tensorflow實作
GPT,GPT2,Bert,Transformer-XL,XLNet論文閱讀速遞
機器學習算法篇：最大似然估計證明最小二乘法合理性
Word2vec, Fasttext, Glove, Elmo, Bert, Flair訓練詞向量教程+資料+源碼
五篇頂會論文，彙報完整版ppt可通過關注公衆号後回複關鍵詞：Over-Smoothing 來獲得，之前詳細介紹過GCNII這篇論文【知識圖譜系列】探索DeepGNN中Over-Smoothing問題，後續會詳細介紹其他幾篇論文。有用就點個贊呗
