復旦大學周鵬&中科院上海技物所胡偉達團隊Nat. Nanotech.：全在一的2D視網膜硬件器件，用于檢測識別推車的運動 ?

【引言】

運動檢測和識別（MDR）已經成為智能家居、人工視覺、安全監控、無人駕駛汽車和軍事防御等多種智能場景的核心需求。目前最先進的MDR硬件系統由互補金屬氧化物半導體（CMOS）圖像傳感器（CIS）平臺主導，它由獨立和冗余的像素傳感陣列、模擬數字轉換器、存儲器和處理模塊組成。然而，傳統的CIS芯片需要大量的附加塊和不同模塊之間復雜的數據轉換、傳輸、存儲和處理操作，而先進的智能應用則追求便攜性和效率。人類視網膜在獲取運動信息方面具有很高的效率，各功能層的神經元和突觸細胞在視覺信號的感知、轉換、傳輸和提取方面發揮著明顯的作用。視網膜通過整合高級視覺系統的信號感知、記憶和處理，消除了冗余和無用的視覺輸入處理，極大地加快了運動目標特征的提取和檢測。目前，受視網膜啟發的視覺傳感器正在興起，其功能材料包括記憶氧化材料、2D材料及其異質結構。特別是，2D材料的電導率對外部光學刺激敏感，這使它能夠感知光學信息，并將其轉換為電信號進行傳輸和處理，類似于視網膜。與分立的CIS模塊相比，視覺傳感器具有集成的光學信號感應和計算能力，用于靜態圖像處理。然而，除了靜態圖像外，具有記憶能力的視網膜還顯示出時間上的區分功能，這使得它們能夠感知靜態和移動目標。沒有記憶能力的視覺傳感器不能提取和處理運動信息，仍不是真正的視網膜形態硬件。簡而言之，目前的視網膜模擬技術僅限于初級靜態圖像處理，而基于緊湊高效器件的高級復雜運動特征提取和檢測仍未探索。

【成果簡介】

近日，在復旦大學周鵬教授和中國科學院上海技術物理研究所胡偉達研究員團隊等人帶領下，提出了一種基于視網膜啟發的2D異質結構的視網膜硬件器件，具有全在一的感知、記憶和計算能力，用于檢測和識別移動推車。提出的2D視網膜器件感知光學刺激，產生漸進可調的正/負光反應并記憶它，結合幀間差分計算，實現100%的分離檢測，移動三色手推車沒有重影。將檢測到的運動圖像輸入電導映射神經網絡，在10%的噪聲水平下，在短短4個訓練周期內實現快速的手推車識別，超過了以前類似定制數據集的結果。集成了感知記憶和計算的2D視網膜器件的原型為構建緊湊、高效的MDR硬件提供了可能性。該成果以題為“All-in-one two-dimensional retinomorphic hardware device for motion detection and recognition”發表在了Nat. Nanotech.上。

【圖文導讀】

圖1 受視網膜啟發的2D視網膜硬件用于MDR

a，人類視網膜實現MDR的示意圖。虛線箭頭表示無長突細胞的調節作用。

b，受視網膜啟發的全在一2D視網膜器件。

c，2D材料的光學感知和響應模擬光感受器的信號采集和轉換；門脈沖可編程正、負非易失性開/關狀態模擬雙極細胞的拮抗分流和記憶；用于計算的激光強度、數量和寬度多調制模擬無長突細胞和神經節細胞的多信號調節能力，實現了高效的MDR。

d，器件結構及掃描透射電鏡表征，顯示了干凈的界面。掃描透射電子顯微鏡和能量色散X射線譜圖比例尺分別為5nm(左)和20 nm(右)。

圖2 用于MDR的2D視網膜器件的光電導性

a，漏極電壓調制下的基本PPC和NPC曲線。箭頭表示激光刺激的時刻；當激光強度為2.73 nW時，PPC和NPC的激光持續時間分別為50和100 ms。

b，通過歸一化激光強度調制光電流。

c，累進多能級狀態下的累積正、負光電導率，其中激光脈沖持續時間分別為100 μs和5 ms，間隔時間均為1.5 s。

d，c中虛線處放大視圖，將多態PPC和NPC的增量定義為PPC/NPC步長；均勻的PPC和NPC階躍變化進一步證明了光電流的非易失性和出色的線性度。

e, PPC和NPC隨脈沖數的線性變化。

f，脈沖寬度對光電流階梯高度的可調節影響，光電流隨脈沖寬度線性增加，而光電流達到3 μA所需的脈沖數與脈沖寬度成反比。

圖3 基于2D視網膜硬件的運動檢測示意圖

a，將一定幀差時間的m × n運動圖像像素乘以視網膜硬件的m × n正負電導矩陣，求和得到處理后的像素輸出，實現運動物體檢測。

b，原始圖像和歸一化像素亮度分布，總像素數為462570。

c、有無運動物體檢測后的像素亮度分布。當沒有移動物體時，大多數像素亮度在零附近。有運動物體時，運動物體的像素亮度分布在各處，靜態背景的像素亮度仍然設置在0左右。

圖4 三色小車MDR的2D視網膜硬件實現

a，三色手推車(紅、綠、藍)在不同幀差時間Δt(33.3、66.7、133.3 ms)下的運動檢測。結果表明，由于WSe₂的寬光吸收，所提出的運動檢測適用于可擴展的波長。當Δt增加時，動作重影消失，直到完全分離發生。

b，紅色(R)、綠色(G)、藍色(b)手推車運動分離隨Δt變化，均達到100%分離。

c，電車數據庫及CNN識別過程示意圖。在噪聲水平為10% ~ 90%的情況下，根據檢測到的運動手推車結果構建數據庫。所提出的CNN過程包括圖像輸入層、卷積層、用于特征提取和扁平化的集合層，以及用于識別的全連接層。

d，在不同噪聲水平下，手推車識別精度在90%以上的歷時數統計分布。插圖顯示了從10%到90%的噪聲水平，識別精度是訓練歷時數的函數。在10%的噪聲下，只需要4個歷時就能達到90%的準確率，而所需的歷時數隨著噪聲水平的上升而趨于增加。

e，軟件訓練和2D視網膜器件映射后的權重分布，其中一致的權重映射可以成功識別檢測到的移動手推車。

【小結】

綜上所述，團隊充分利用了2D材料中的全在一潛力，為直接實現緊湊高效的MDR硬件提供了2D視網膜器件。該全在一視網膜器件具有可控的PPC和NPC光電特性，類似于視網膜功能，分別對應于開/關狀態。通過對開關狀態的重組，可以實現無冗余、海量信息交互的運動檢測和邊緣檢測。多態光電導率的優先線性有助于將所提出的視網膜器件映射到CNN，并能夠快速和成功地識別。一步式視網膜MDR器件具有全在一的感知、記憶和計算能力，可擴展為智能物聯網和人眼仿生設計應用提供多種可能性。

文獻鏈接：All-in-one two-dimensional retinomorphic hardware device for motion detection and recognition（Nat. Nanotech.，2021，DOI：10.1038/s41565-021-01003-1）

本文由木文韜翻譯，材料牛整理編輯。

歡迎大家到材料人宣傳科技成果并對文獻進行深入解讀，投稿郵箱tougao@cailiaoren.com。