電子所陳渤團隊兩篇論文被機器學習頂級會議NeurIPS2020錄用
第34屆神經信息處理系統大會(Neural Information Processing Systems, NeurIPS，https://neurips.cc/)將于2020年12月06日—12月12日，通過線上舉行。該會議是跨學科的，主要包括人工智能和自然神經信息處理，代表著熱門科研領域的最前沿，具有廣泛而深遠的國際影響力。NeurIPS會議每年舉辦一次，是國際公認的機器學習和人工智能研究領域頂尖會議，也是中國計算機學會 (CCF) A類top會議，代表著當今機器學習人工智能領域的最高水平，受到來自學術界和工業界的共同關注。本屆neurIPS錄用率僅為20.09%，因此在該會議發表相關工作表示了機器學習領域對作者工作的高度肯定。
今年，我校雷達信號處理國家級重點實驗室陳渤教授課題組的兩篇文章被NeurIPS2020錄用。 一篇為博士生陳文超，王超杰以及本科生劉毅成的工作《Bidirectional Convolutional Poisson Gamma Dynamical System》，另一篇為博士生王超杰，王東升的工作《Deep Relational Topic Modeling via Graph Poisson Gamma Belief Network》。
陳文超與王超杰發表的研究，基于團隊在深度概率統計模型方面的系列工作，提出了一種新的層次化動態概率統計模型Bidirectional Convolutional Poisson Gamma Dynamical Systems(bi-CPGDS)，針對one-hot編碼的文本數據，不僅能夠充分利用one-hot序列數據的稀疏性，并且將文本數據的word-sentence-document的層次化結構融入到模型中。使得模型不僅可以從文本中挖掘單詞之間的時序性組成短語層次的結構化神經元，并且可以捕捉到這種結構化神經元在不同句子之間的轉移關系。該模型結構相似于現有的卷積-動態層次化神經網絡，包括了卷積層、概率池化層和循環網絡層，但在解碼部分，利用全概率生成模型對數據建模，從而賦予隱變量概率解釋以及緩解網絡對數據量的依賴性。模型的整體結構如下圖所示。
(a) bi-CPGDS模型的整體結構；(b) bi-CPGDS的生成模型（左）與推理模型（右）的具體結構。
值得注意的是此工作是本科生參與合作完成的，來自電院16級的劉毅成同學于2019年因為對相關方向的濃厚興趣加入陳渤教授團隊從事概率統計模型科研實習，本篇論文也是他繼今年人工智能頂級會議IJCAI2020之后參與的又一篇成果。這也體現了電子工程學院對本科生全面素質教育的重視，反映了雷達信號處理國家級重點實驗室對本科生科研的支持與幫助。對電院所有在讀和即將步入學院的本科生是一種鼓勵，希望有興趣的同學可以在學有余力的情況下在本科階段接觸科研，培養對科研的興趣。
另一個工作則由王超杰和王東升合作完成，在圖網絡研究日趨火熱的背景下，針對非歐式空間下的圖網絡數據提出了一種新型的深度概率圖網絡模型 Graph Poisson Gamma Belief Network，能夠將非歐式空間下樣本間的邏輯關系融入到樣本的隱層表示中，從而得到表征能力更豐富的樣本隱層表示。相比傳統圖模型只考慮單一層次的邏輯關系，該模型能夠發掘樣本之間位于不同語義層次下的邏輯關系，即對觀測到的樣本間的邏輯關系按照語義層次進行分解，并將層次化的邏輯關系融入到相應語義層次下的樣本表示中。同時為了使模型更加實用做到實時預測，作者們引入了兩種不同形式的圖神經網絡逼近樣本隱層表示的后驗分布，與上述深度概率圖模型結合，進而提出了兩種不同形式的深度概率圖自編模型，并在圖網絡分析一系列任務中取得了不錯的性能。模型的整體結構如下圖所示。
(a) 深度概率圖網絡模型; (b) 深度概率圖自編碼模型。
繼本次NeurIPS2020發表針對時序數據的Convolutional Poisson Gamma Dynamical Systems和針對圖網絡數據的Graph Poisson Gamma Belief Network后，陳渤教授團隊的深度概率統計框架在實際應用方向上再次取得了重要成果。概率統計深度網絡框架旨在將概率統計模型與傳統深度網絡相結合，進而將概率模型的可解釋性融入到深度網絡中，并提高深度模型在實際應用上的性能。在2015年至今的五年時間里，陳渤教授團隊已構建了一套完整的概率統計深度模型族，其中包括概率深度全連接生成模型（NIPS2015、ICML2017、JMLR2016）、概率深度全連接自編碼模型（ICLR2018、TPAMI2020）、概率深度卷積網絡（ICML2019）、概率深度多模態模型（ICLR2020）、概率深度動態網絡（NIPS2018、ICML2020， NIPS2020）和圖概率深度網絡（NIP2020），為概率模型與傳統深度網絡的結合提供了關鍵技術支撐。
此次兩篇論文的錄用，意味著國際學術界對學校研究成果的認可。通過這兩篇文章，一方面，我們可以向國際同行展示西安電子科技大學雷達信號處理國家級重點實驗室師生在機器學習人工智能領域的研究能力和成果，擴大學校的學術影響力，另一方面還能促進實驗室與該領域頂尖學者的交流以及對該領域最新研究進展的了解。
論文工作詳情請參考陳渤教http://web.xidian.edu.cn/bchen/。
