Nature Electronics：南京大學梁世軍/繆峰團隊提出 面向高魯棒智能機器視覺的感內動態計算技術

智能機器視覺在預警偵察、安防監控、醫學影像等領域有著廣泛的應用前景，然而，在低對比度光學環境下，對弱目標的智能感知一直面臨著準確率低與魯棒性差的嚴峻挑戰。這主要是由于，目標與背景光信號之間的強度差異很小，目標信號幾乎被淹沒在背景噪聲中，采用傳統半導體像元獨立工作的靜態光電探測技術無法從背景信號中準確區分出目標信號。因此，如何利用可兼容傳統硅基技術且生長加工工藝較成熟的低維材料，開發新原理智能感知硬件，實現低對比度光學環境下的高魯棒性、高精度光電智能感知技術成為領域內廣泛關注的科學問題。

面對上述挑戰，南京大學物理學院梁世軍副教授、繆峰教授團隊首次提出傳感器內動態計算范式，實現了低對比度光學場景下弱目標特征的準確提取，展現了對弱目標的高魯棒性、高精度識別與追蹤能力。該方案的硬件實現是基于石墨烯/鍺混合維度異質結構的多端口光電器件，通過在相鄰器件之間引入信號交互與關聯控制，根據圖像局域光強梯度，動態調控卷積核權重，形成可自適應圖像內容的傳感器內動態卷積計算單元。

相關研究成果以“In-sensor Dynamic Computing for Intelligent Machine Vision”（面向智能機器視覺的傳感器內動態計算）為題于2024年2月8日在線發表在國際電子學領域頂級期刊Nature Electronics（《自然·電子學》）上（https://www.nature.com/articles/s41928-024-01124-0）。同期《自然·電子學》“研究簡報（Research briefing）”欄目以“Pixel-Correlated Computing for Detecting and Tracking Targets in Dim Lighting（用于弱目標檢測與追蹤的像素關聯計算）”為題，對該研究成果進行了專題報道，評價該工作展示了“一種先進的感內計算技術（an advanced form of in-sensor processing technology）”。由于這類材料與器件的制備均可采用較為成熟的工藝，該技術有望實現大規模芯片級集成與系統級應用。

南京大學物理學院副研究員楊悅昆、南京理工大學潘晨副教授和南京大學物理學院副研究員李遺祥為該工作的共同第一作者。南京大學物理學院梁世軍副教授和繆峰教授為該工作的共同通訊作者。共同作者還包括南京理工大學程斌教授、于文韜教授和中國科學院上海微系統所狄增峰研究員。該工作得到科技部國家重點研發計劃項目、國家自然科學基金委優秀青年基金、國家自然科學基金委重點/面上/青年項目、中科院先導B項目、中央高校基本科研業務費、以及固體微結構物理國家重點實驗室、人工微結構科學與技術協同創新中心等的支持。

首先，研究團隊在圖像傳感器內構建了局域像元關聯計算單元（圖1），展示了該計算單元如何實現對圖像中低對比度信息關鍵特征的準確提取 （圖1a）。該計算單元由1個動態像元和8個靜態像元組合而成（圖1b），其中，所有靜態像元的光電響應度是固定且一致的，而動態像元的光電響應度會隨著周圍8個靜態像元的光電流輸出特性進行動態調控。該計算單元的總輸出信號是所有像元的光電流總和（圖1c）。基于局域像元之間動態信號交互與關聯控制的新型感內計算范式，革新了傳統圖像傳感陣列中每個像元彼此獨立工作的靜態傳感模式，為傳感器在復雜光學場景下的弱目標精準探測提供了新的技術途徑。

圖1：局域關聯感內計算原理示意圖。(a) 感內動態計算芯片示意圖；(b-c) 每個動態感受野內主動器件的光電響應度與周圍被動器件的光電流輸出相關聯。動態感受野內的被動器件具有固定且一致的光電響應度，其光電流反映了圖像的局域灰度信息。

隨后，研究團隊制備了具有多端口可調控光電響應特性的光電傳感器件（圖2），用于實現上述局域動態關聯感內計算。在結構上，器件具有由透明頂柵與底柵構成的垂直雙柵結構，器件感光溝道由石墨烯/鍺混合維度異質結構成（圖2a-b）。在基本光電特性上，器件表現出典型的類似光電二極管的整流特征，并在反向偏壓下表現出顯著的光電響應行為（圖2c-d）。研究團隊發現器件光電流隨光強呈現近似線性特征，這使得器件能夠被用作被動器件（如圖2e）。在給定光強下，器件光電流可同時受到頂柵與底柵的垂直調控，這使得器件同時還可用作主動器件，接收來自被動器件的反饋控制信號（圖2f-i）。器件的光電響應多端口可調特性使得其可被用來實現局域動態關聯感內計算硬件。

圖2：多端口石墨烯/鍺異質結器件的光電響應特性。(a) 器件結構示意圖；(b) 器件光學照片；(c-d) 器件在兩種不同極性偏置下的I-V特性；(e) 器件光電流隨光強的變化；(f-g) 器件光電流隨背柵電壓的變化；(h) 器件光電流在頂底雙柵調控下的變化；(i) 器件光電流在給定背柵下，隨光強與頂柵偏壓的變化。

利用器件光電響應頂柵與底柵雙端口可調的特點，研究團隊首先展示了一維關聯計算（圖3）。該局域關聯單元由周圍兩個被動器件和中間的主動器件構成（圖3a）。三個器件的底柵提供各自光電響應度的基準，主動器件的頂柵用于在初始基準上提供額外的反饋調控端口。三個器件的初始光電響應度比例關系為1:-2:1。一維動態關聯單元的工作邏輯為：首先根據兩個被動器件的光電流差值（反映了圖像的局域光強梯度），對主動器件的光電響應度進行二值化調控。如果差值高于設定閾值，則減小主動器件光電響應度的絕對值，相當于放大了三個器件的總和光電流；如果差值低于或者等于閾值，則維持主動器件的光電響應度初值。最后三個器件的總光電流作為最終計算結果。與傳統的標準卷積操作（光電響應度始終保持不變）相比，研究團隊提出的傳感器內動態關聯計算方法可以對局部微小的光強差異進行放大輸出（圖3b-c），對于低對比度下弱目標輪廓與邊緣的選擇性放大與增強提取具有重要意義。

圖3：基于多端口石墨烯/鍺異質結光電器件的一維關聯計算。(a) 計算單元的電路結構示意圖；(b-c) 傳統卷積處理與感內動態計算在三種光強分布下的光電流輸出結果。

在此基礎上，研究團隊進一步制備了3*3石墨烯/鍺光電器件陣列，展示了二維動態關聯信息處理功能（圖4）。類似于一維情況，首先通過如圖4a的陣列獲得圖像的局域光強（灰度）梯度，隨后將該梯度與閾值進行比較，根據比較結果對主動器件的光電響應度進行二值化調控，最后輸出單元內所有器件的總光電流（圖4b）。利用該陣列和外圍控制電路（圖4c），研究團隊成功提取了昏暗走廊中站立的人的輪廓特征（靜態場景，圖4d）以及背景對比度變化條件下的飛行無人機的準確輪廓特征（動態場景，圖4e）。而采用傳統光電卷積無法準確地獲得這些輪廓特征。

圖4：二維局域關聯感內計算的硬件及應用展示。(a) 石墨烯/鍺異質結器件陣列的光學照片；(b) 由9個器件構成的動態感受野的操作邏輯流程圖；(c) 動態感受野的電路結構示意圖；(d-e) 兩種典型場景下的弱目標特征提取實驗結果，分別是昏暗走廊中站立的人與背景變化條件下的飛行無人機。

最后，研究團隊將上述感內動態計算技術與單層人工神經網絡（ANN）相結合，展示了該技術在復雜環境中弱目標的高精度、高魯棒識別方面的應用潛力 （圖5）。與傳統卷積處理相比，感內動態計算技術能夠更有效地放大弱目標的邊緣輪廓特征。在后端神經網絡算力相同的情況下，感內動態計算技術能在對比度惡化的條件下，依然穩健地實現較高的識別率，表明了感內動態計算技術在低對比度條件下弱目標的精準特征提取與高魯棒識別的能力。該工作為智能機器視覺系統在復雜與極端光學場景中的應用提供了通用且可行的技術途徑。

圖5：變化對比度條件下弱目標識別的魯棒性。(a)對比度變化的圖像特征提取結果與分類識別示意圖；(b)五種不同對比度的數據集；(c) 不同數據集的平均對比度；(d) 傳統光電卷積技術與感內動態計算技術的識別準確度對比。

論文地址：https://www.nature.com/articles/s41928-024-01124-0