【儀表網(wǎng) 研發(fā)快訊】近日，北京大學(xué)深圳研究生院信息工程學(xué)院/廣東省存算一體芯片重點實驗室的楊玉超教授團隊在Nature Electronics雜志上發(fā)表了題為“Reconfigurable in-sensor processing based on a multi-phototransistor-one-memristor array”的研究論文，在可重構(gòu)感存算一體集成陣列與硬件系統(tǒng)領(lǐng)域取得重要進展。針對現(xiàn)有憶阻器視覺感知神經(jīng)形態(tài)器件在動力學(xué)特性和編碼功能上的局限以及集成硬件系統(tǒng)算法兼容性不足的問題，楊玉超團隊首次提出將莫特氧化物異質(zhì)結(jié)結(jié)構(gòu)憶阻器與光晶體管集成，構(gòu)建了支持多種光圖像編碼功能的可重構(gòu)硬件系統(tǒng)。這一系統(tǒng)能夠?qū)崿F(xiàn)光圖像的時空、模擬與脈沖編碼，并兼容生物啟發(fā)式和機器學(xué)習(xí)架構(gòu)的多種算法，通過與非易失性憶阻器陣列集成可支持多種光學(xué)神經(jīng)網(wǎng)絡(luò)(如光學(xué)卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、脈沖神經(jīng)網(wǎng)絡(luò))，從而執(zhí)行多種計算視覺任務(wù)，包括識別靜態(tài)、運動和彩色圖像識別功能，為實現(xiàn)大規(guī)模可重構(gòu)視覺計算硬件系統(tǒng)奠定了關(guān)鍵基礎(chǔ)。
 

　　隨著機器視覺技術(shù)的快速發(fā)展，圖像傳感器在邊緣計算中扮演著越來越重要的角色。然而，基于CMOS技術(shù)的傳統(tǒng)視覺計算系統(tǒng)在實時圖像處理方面面臨諸多挑戰(zhàn)，主要是由于圖像傳感器、存儲器和處理器之間的物理分離導(dǎo)致圖像信息處理的延遲和冗余數(shù)據(jù)的生成。為了解決這些問題，集成了神經(jīng)形態(tài)計算和光圖像感知功能的視覺感存算一體系統(tǒng)成為重要的發(fā)展方向。但目前視覺感知神經(jīng)形態(tài)器件的動力學(xué)特性較為單一，無法實現(xiàn)時空信息編碼和脈沖編碼功能，且工作方式單一。從硬件系統(tǒng)功能的角度來看，當(dāng)前的視覺感存算集成陣列主要支持人工神經(jīng)網(wǎng)絡(luò)或脈沖神經(jīng)網(wǎng)絡(luò)的單一算法，難以兼容不同類型的神經(jīng)網(wǎng)絡(luò)算法，因此有必要實現(xiàn)一種既適應(yīng)仿生又適應(yīng)機器學(xué)習(xí)的感存算一體硬件架構(gòu)，以構(gòu)建具有可重構(gòu)性和多類型算法兼容的視覺計算硬件系統(tǒng)。
 

圖1. 基于憶阻器可重構(gòu)感存算一體硬件支持實現(xiàn)多類型視覺編碼方式、算法與架構(gòu)
 

　　針對光憶阻器工作模式單一的局限性，楊玉超課題組首次利用硅基兼容性工藝和材料成功制備了多模式憶阻器。該憶阻器能夠在三種工作模式下運行：線性電阻、閾值開關(guān)轉(zhuǎn)變和短時程記憶。此外，為了解決硬件集成陣列在光感知與編碼能力上的局限性以及線性計算的不足，研究團隊將具有多種工作模式的莫特氧化物憶阻器與具備藍光增強和紅光抑制特性的光晶體管進行了集成。這一創(chuàng)新實現(xiàn)了具有可重構(gòu)特性的視覺感存算一體化集成陣列與硬件系統(tǒng)，拓展了當(dāng)前視覺神經(jīng)形態(tài)硬件集成陣列的可重構(gòu)性，提升了硬件集成陣列的復(fù)雜信息處理能力以及硬件系統(tǒng)的算法兼容性。
 

圖2. 可重構(gòu)光晶體管-憶阻器集成陣列與1T1R非易失性憶阻器集成陣列
 

　　通過光晶體管與憶阻器集成陣列、1T1R非易失性憶阻器集成陣列、CMOS外圍讀寫電路及邏輯控制模塊實現(xiàn)板級集成，研究團隊構(gòu)建了可重構(gòu)感存算一體硬件系統(tǒng)。實驗結(jié)果表明，該系統(tǒng)能夠通過外圍電路靈活編程，演示多種神經(jīng)網(wǎng)絡(luò)算法與圖像計算任務(wù)，包括光卷積神經(jīng)網(wǎng)絡(luò)(OCNN)進行靜態(tài)圖像識別、光循環(huán)神經(jīng)網(wǎng)絡(luò)(ORNN)實現(xiàn)事件型時序脈沖圖像編碼處理，以及光脈沖神經(jīng)網(wǎng)絡(luò)(OSNN)對不同顏色和形狀目標的識別。
 

　　圖3. 基于光晶體管-憶阻器集成陣列與1T1R非易失性憶阻器集成陣列的可重構(gòu)感存算一體硬件電路系統(tǒng)

 

　　實驗成功演示了基于光晶體管與憶阻器集成陣列的卷積濾波功能，顯示其卷積核能夠有效提取光圖像的邊緣特征，并基于該系統(tǒng)構(gòu)建了光卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了圖像的訓(xùn)練與識別；此外，利用相同可重構(gòu)硬件系統(tǒng)構(gòu)建的儲備池網(wǎng)絡(luò)展示了該硬件系統(tǒng)具備直接感知光學(xué)圖像、時序信息整合及事件型圖像特征提取與模擬編碼的能力；基于光晶體管的藍光增強和紅光抑制特性，該系統(tǒng)成功演示了對紅藍光圖像的感知與脈沖編碼，實現(xiàn)了脈沖神經(jīng)網(wǎng)絡(luò)對彩色圖像的識別功能，從而證明了基于可重構(gòu)光晶體管-憶阻器集成陣列的感存算一體硬件系統(tǒng)在不同光信息處理、多種算法兼容性及可重構(gòu)特性方面的潛力。這一研究為未來智能視覺系統(tǒng)的開發(fā)提供了新的硬件基礎(chǔ)，具有廣泛的應(yīng)用前景，如智能監(jiān)控、自動駕駛和機器人視覺等領(lǐng)域，提升了硬件的靈活性與適應(yīng)性，具有重要的理論與實際意義。
 

　　圖4. 基于可重構(gòu)感存算一體硬件系統(tǒng)的光卷積神經(jīng)網(wǎng)絡(luò)、光循環(huán)神經(jīng)網(wǎng)絡(luò)與光脈沖神經(jīng)網(wǎng)絡(luò)

 

　　北京大學(xué)博士生畢業(yè)生黨丙杰為第一作者，楊玉超為通訊作者。相關(guān)工作得到了國家重點研發(fā)計劃、國家杰出青年科學(xué)基金、北京市雙“1+1”重點項目、后摩爾重大研究計劃等項目的資助。