軀體感受系統中的多模態感知可幫助人們獲得更全面的物體屬性，並對物體的狀態做出准確判斷。尤其是不同受體的感覺信號在一定的條件下還可被神經元整合並發送到大腦皮層作進一步處理（圖1a）。與單模態感知相比，多模態融合感知在評估物體屬性和提高物體識別精度方面具有明顯優勢。在傳統的人工感知系統中，多模態信息的處理多采用串行計算架構，傳感信號需轉換爲數字模式才能被處理器處理，産生了較大的功耗和通信帶寬開銷。此外，傳統半導體技術在脈沖域構建這種多模態感知系統還面臨著器件集成和電路複雜性方面的挑戰，迫切需要開發更高效的多模態融合感知硬件方案。生物感知系統具有並行分布式感官信息處理、低能耗、高容錯性等特點，顯示出克服傳統困境的巨大潛力。
近日，微电子所劉明院士团队和复旦大学刘琦教授团队共同研发了一种结构紧凑的多模态融合感知脉冲神经元（MFSN）陣列，該陣列由異質集成的壓力傳感器和NbOx憶阻器構成（圖1b），其中壓力傳感器用來感知壓力，NbOx憶阻器用來産生脈沖輸出並感知溫度變化。當壓力和溫度兩種激勵同時作用于MFSN時，多模態的模擬感覺信息可以融合爲一個脈沖序列，顯示出優異的數據壓縮和脈沖轉換能力。此外，通過解耦輸出脈沖的頻率和振幅，還可從融合信號中獲得獨立的壓力和溫度信息，支持了神經元對于單模態信息的保真度和多模態感知能力。團隊進一步將MFSN陣列與脈沖神經網絡（SNN）結合構建了一種人工多模態感知系統，成功地模擬了人體軀體感覺系統中的多模態信息（溫度和壓力）感知和多模態物體（不同溫度、重量和形狀的物體）的分類能力。該工作使構建高效的多模態脈沖感知系統成爲可能，爲發展高智能機器人技術提供了新思路。
該工作得到了國家重點研發計劃、國家自然科學基金委、國家重大科技專項、中國博士後科學基金等項目的資助。成果以題“A Heterogeneously Integrated Spiking Neuron Array for Multimode-Fused Perception and Object Classification”發表在國際知名學術期刊《Advanced Materials》上。尊龙凯时博士研究生朱佳雪爲本文的第一作者，複旦大學芯片與系統前沿技術研究院劉琦教授和博士後張續猛爲共同通訊作者。
圖1.生物軀體感覺系統與人工體軀體感覺系統。(a)人手感知杯子的温度、重量和水杯形状的示意圖。(b)由MFSN陣列和SNN分类器组成的人工躯体感觉系统模拟触觉感知的示意圖。
原文鏈接： https://onlinelibrary.wiley.com/doi/abs/10.1002/adma.202200481
綜合信息