電院學子在機器學習領域頂級會議NeurIPS上發表論文
（通訊員 段志斌 丁宇軒 王東）近日，電子工程學院有5項成果被第37屆神經信息處理系統大會(Conference on Neural Information Processing Systems，NeurIPS)成功錄用，其中陳渤教授指導，博士生徐逸石與孫劍橋合作完成的《Context-guided Embedding Adaptation for Effective Topic Modeling in Low-Resource Regimes》、博士生王東升主導完成的《Tuning Multi-mode Token-level Prompt Alignment across Modalities》和博士生段志斌帶領本科生呂幟一完成的《Few-shot Generation via Recalling the Episodic-Semantic Memory like Human Being》；田春娜教授指導，博士生丁宇軒完成的《The CLIP Model is Secretly an lmage-to-Prompt Converter》；值得一提的是電子工程學院2020級本科生鄭皓天為第一作者完成的論文《Out-of-distribution Detection Learning with Unreliable Out-of-distribution Sources》入圍Poster部分。
NeurIPS會議作為公認的人工智能、機器學習領域的國際頂級會議，也是中國計算機學會（CCF）推薦的A類會議，具有廣泛而深遠的國際影響力，受到業界的廣泛關注。本屆會議共有12343篇有效論文投稿，錄用率為26.1%。
徐逸石與孫劍橋合作的《Context-guided Embedding Adaptation for Effective Topic Modeling in Low-Resource Regimes》延續了團隊在認知深度概率模型的系列工作，該文針對資源不足條件下的主題建模提出了一種融合語境知識的框架。該框架的核心思想是通過整合當前任務的上下文信息來幫助生成自適應的詞嵌入，其整體流程圖如下圖所示。具體而言，通過引入一個變分圖自編碼器對基于任務文檔的語境提煉出的語法依賴圖進行編碼，可以學習到語義匹配當前任務的詞嵌入。然后利用高斯混合模型對分布式的詞嵌入進行建模，將每個混合分量視為一個主題的表示，該方法很自然地提供了一種聚類的視角來學習主題，這有助于盡可能地發現多樣化的并且與當前任務緊密相關的主題。
王東升的論文《Tuning Multi-mode Token-level Prompt Alignment across Modalities》探索形成了一種用于多模態提示學習的新范式，并提出一種新穎的token級別的模態對齊方法。文章將圖像及其標簽建模為隱空間的離散分布，同時考慮層次化的表示學習，通過引入全局和局部最優傳輸理論實現圖像-文本模態對齊，然后可視化展示學到的轉移矩陣，文章直觀地展示了模型學習的對齊關系。大量實驗結果證明所提方法在多種任務場景下達到了sota結果。
段志斌和呂幟一合作完成的論文《Few-shot Generation via Recalling Brain Inspired Episodic-Semantic Memory》面向小樣本生成這一具有挑戰性的任務，受大腦記憶力機制的啟發提出了一種新穎的記憶力模塊。該記憶力模塊將情景記憶與語義記憶巧妙結合，其中情景記憶用于記憶具體的信息，語義記憶用于記憶抽象的信息。同時，文章中提出了一種情景記憶與語義記憶耦合的記憶力模塊更新機制。所提出的記憶力模塊被應用于層次化變分自編碼器和概率擴散模型中，并取得了更好的小樣本生成性能。下一步，課題組將繼續深入研究將所提記憶力模塊用于其他任務特別是小樣本場景任務中。
鄭皓天的論文《Out-of-distribution Detection Learning with Unreliable Out-of-distribution Sources》創造性地提出了一個分布外學習框架ATOL，簡單引入了一個生成的輔助任務，并與實際任務進行對齊訓練，使得模型能高效學習到如何檢測出分布外數據，大大提高了機器學習模型可信程度。
丁宇軒的論文《The CLIP Model is Secretly an Image-to-Prompt Converter》關注“文本到圖像”生成模型StableDiffusion，通過對其特征空間的分析探究了模型生成原理，使用零成本閉式解實現了參考圖像對輸入文本的替換，將StableDiffusion模型轉換為“圖像到圖像”生成模型，并拓展了其多模態輸入能力（文本+圖像）。相較于對比方法StableDiffusion-Reimagine，減少了20萬GPU小時的訓練時間，并提高了圖像編輯效果。實驗表明本文提出的閉式解可以作為模型微調的良好初始化，使用少量樣本即可使模型關注不同的圖像特征，并且可以在極少訓練次數下完成定制圖像生成任務。
一直以來，電子工程學院面向國家重大需求，積極探索學生教育教學與實踐創新相結合的人才培養模式，重視理論知識傳授和科學素養培養，幫助學生養成自主學習能力、科技攻關能力、實踐創新能力等，同時注重培養其家國情懷以及艱苦奮斗、科研報國的精神，引導學生在突破重大科學問題中坐住坐穩冷板凳，努力培育國家戰略科技力量。
