基于深度神經網絡的隐變量模型學習與應用研究
随着Web2.0應用的迅速發展和快速普及，大量使用者生成的資料成為了Web資訊服務的基礎。
例如，産生于電商平台的網購資料可用于分析使用者的購物偏好，進而實作商品的個性化推薦。
這些資料中的特征之間往往存在非線性的圖型依賴關系，同時存在無法觀測到的特征（如使用者對商品多個描述次元的偏好）。
對資料進行模組化、并實作有效的資訊服務，需要建立有效描述無法觀測到的特征并對所蘊含的依賴關系進行有效計算分析的知識模型。
作為一種重要的機率圖模型，貝葉斯網(BayesianNetwork,BN)使用具有機率語義的有向無環圖對依賴關系進行模組化，并可實作有效的機率推理。
用隐變量描述無法觀測到的特征，并将隐變量引入BN，可增強BN的可解釋性。帶隐變量的BN，在個性化推薦和醫療預診斷等資訊服務中具有廣泛應用。
然而，隐變量的引入導緻BNML學習時需要計算大量的中間結果，使得模型學習具有較高的時間複雜度。
如何高效地學習BNML，是解決上述問題的基礎，具有重要的意義，也具有許多挑戰。
在BNML的參數學習中，研究主要解決在引入隐變量之後，基于給定DAG如何高效學習CPT中的參數。
目前的研究方法可以總結為優化EM算法的疊代、使用限制(Constrain)減少搜尋域、以及使用分布式架構加速EM算法三個方面。
在優化EM算法的疊代的研究中，提出使用團樹(CliqueTree)隻對部分需要更新的參數進行更新的方法，減少每次疊代時需要更新的參數，提高參數學習的效率。
提出基于參數共享的方法，通過共享CPT中的部分參數減少每次疊代時需要更的參數。
使用曲線方程優化EM的算法，通過減少EM算法的疊代次數來提高參數學習的效率。
基于Anderson的加速技術，在減少疊代次數的同時能使EM算法跳出局部最優解、逼近全局最優解。
使用拟牛頓(quasi-Newtonmethod)算法替代EM算法中的Jensen不等式的求解方法，減少需要的疊代次數。
在使用限制的研究中，基于條件限制的方法，限定CPT中參數的取值範圍，進而減少參數的搜尋域，提升參數學習的效率。文獻[1]對條件限制進行了拓展，将搜尋域進一步減小，進而實作更為高效的參數學習。
在分布式架構的研究中，基于分布式學習架構MapReduce，使用多個PC共同計算CPT中的參數。
神經網絡的可解釋性研究主要針對神經網絡決策過程進行解釋，對其隐含層所表示的實體意義進行解釋，建構解釋模型對神經網絡進行解釋三個方面。
在解釋神經網絡決策過程的研究中，LIME方法使用線性代理模型(LinearProxyModel)模拟NN的決策過程，将決策過程抽象為線性模型的疊加，進而實作NN的解釋。
DeepRED通過使用決策樹(DecisionTree)描述NN的決策過程，基于決策樹中的機率對NN進行解釋。
在對NN隐含層所表示的實體意義進行解釋的研究中，基于轉移學習(TransferringLearning)，通過衡量每個隐含層對于輸出的重要性來解釋NN。
使用向量提取每層中關鍵的特征，并且将提取出的特征用于處理相似任務，進而解釋NN。
在建構解釋模型對NN進行解釋的研究中，基于注意力機制(Attention)對特定NN建構可解釋模型，通過注意力機制的變化解釋NN。
InfoGAN通過生成模型描述NN中每個神經元(Neuron)所表達的意義，實作對NN的解釋。
針對實作建構可解釋性較強且能夠高效建構的模型以實作資訊服務的目标，首先分析了BNML在複雜資料中建構的瓶頸。
針對瓶頸以及資料分析中的挑戰，本文提出使用基于NN的模型優化BNML的學習過程。
具體為通過RNN和MGAN模型，使用BNML中DAG的資訊完成BNML與NN的有效結合，實作基于資料集特征的聚類，進而減少特征間的組合數進一步優化BNML的學習過程。
實驗結果表明，本文提出的RMGAN能夠通過聚類，實作降低BNML中參數學習的時間複雜度進而減少BNML參數學習的執行時間。
同時實驗結果證明，基于RMGAN的BNML在多個資料集中的RMSE、MSE、MAE名額的值與傳統BNML取得的值相近，甚至優于BNML。
同時基于RMGAN的BNML獲得的名額值優于PNN以及MF，這進一步證明基于RMGAN的BNML具備有效性。
最後，本文将基于RMGAN的BNML用于基于COVID-19的實證研究，進一步證明基于RMGAN的BNML能夠建構資訊服務。
結果表明基于RMGAN的BNML能夠用于預測COVID-19特定地區的感染機率。
同時本文通過Echarts将特定地區的感染機率進行可視化，實作基于COVID-19預警的資訊服務。
