天津理工大學/南開大學陳旭東課題組Sci. Adv. ：基于局域場調控的視網膜形態感算一體器件

【導讀】

機器視覺作為適應人工智能發展的一項革命性產物，在自動駕駛、人機交互、工業4.0等需要對目標實時追蹤和識別的時間關鍵型應用中發揮著至關重要的作用。隨著用于圖像感知的傳感器幀速率和像素密度的持續增大，傳感器端產生大量非結構化數據，圖像信息處理成為了典型的數據密集型計算任務。

感算一體即通過在傳感器陣列中部署神經網絡，傳感器在感知圖像的同時直接實現對圖像的各種處理任務，例如降噪、銳化、特征提取等，避免了傳感器端產生的大量冗余數據向后端計算和存儲單元的傳輸，從而大幅降低機器視覺系統的時延和功耗。為實現感算一體，近年來開發出各種神經形態器件和結構，例如光電突觸器件、1PT1R（One-phototransistor-one-memristor）結構等。尤其是受人類視網膜啟發的視網膜形態器件，利用光響應度模擬神經網絡權重，成功實現傳感器內的“MAC”（multiply-and-accumulation）運算和卷積運算，是實現感算一體的理想器件。然而，受限于光響應度的柵壓調控機制，神經網絡權重需要存儲在單獨的存儲單元中，并通過外部電路對傳感器陣列中的每一個器件的權重信息進行單獨控制，這對于邊緣及其有限的資源而言是難以承受的。因此，亟需發展具有光響應度非易失性調控能力的新型視網膜形態器件，以推動感算一體硬件和神經形態機器視覺的實用化進程。

【成果掠影】

近日，南開大學陳旭東副教授，與天津理工大學魯統部教授、北京大學張錦院士（共同通訊作者）等合作，提出了一種離子誘導的局域場調制策略，并基于芯鞘結構的單壁碳納米管/石墨炔（SWNT/GDY）開發了一種可覆蓋400-1800 nm光譜范圍的寬譜帶視網膜形態視覺傳感器。通過控制石墨炔中捕獲的Li⁺離子的濃度精確控制其誘導產生的局域電場大小和方向，從而捕捉碳納米管中產生的光生電子或光生空穴，并進一步基于“photogating”效應實現對器件光響應度在正負區間的線性調控。以此為基礎，通過所制備的3 × 3 × 3器件陣列，在傳感器內直接構筑起一個包含三個卷積核的卷積神經網絡（CNN），在硬件層面演示了圖像的處理、分類和編碼等任務，并驗證了“權重”（光響應度）在神經網絡中的原位存儲。這項工作為開發面向時間關鍵型和數據密集型應用的高速低功耗神經形態機器視覺提供了一種可行方案。相關研究成果以“Broadband sensory networks with locally stored responsivities for neuromorphic machine vision”發表在Science Advances上。論文第一完成單位為天津理工大學，天津理工大學碩士生張國新和南開大學博士研究生張志成為論文共同第一作者，合作者還包括中國科學院蘇州納米技術與納米仿生研究所。相關研究工作得到了國家自然科學基金委項目的資助。

【核心創新點】

提出一種離子誘導的局域場調制策略，實現對光響應度的非易失性調控；

采用打印方式構筑3 × 3 × 3傳感器陣列，在傳感器內部署可用于圖像處理、識別和編碼等任務的神經網絡；

構建了包含前端感算一體和后端存算一體的完整神經形態視覺系統，用以執行有監督和無監督的學習任務。

【數據概覽】

圖1受人類視覺系統啟發的神經形態視覺系統（A）由視網膜和大腦視覺皮層組成的人類視覺系統示意圖；（B）完整的神經形態視覺系統，包括前端感算一體和后端存算一體架構；（C）基于芯鞘結構的傳感神經網絡示意圖；（D）基于3 × 3 × 3傳感器陣列卷積核的照片、光學顯微鏡和掃描電子顯微鏡圖像。

圖2具有非易失性電導和響應性的視網膜形態視覺傳感器（A）器件的正反掃傳輸特性曲線；（B）通過施加0.5 V、1 ms的V_G脈沖實現64個離散電導狀態；（C）通過交替施加64個正V_G脈沖和64個負V_G脈沖獲得的線性、對稱和可重復的電導更新曲線；由532 nm光脈沖觸發的負（D）和正（E）光響應；GDY層中無（F）和有（G）Li離子嵌入的SWNT/GDY異質結的能帶排列和電荷轉移；（H）在正和負狀態下實現對稱和可逆的響應度調制；（i）通過控制GDY中嵌入的Li⁺離子的密度，在±10 mA W^?1范圍內對響應度進行線性、可逆和可重復的調制。

圖3傳感網絡的線性和相同的電導特性和光響應特性（A）27個器件相對于32個離散電導狀態的累積概率分布；（B）器件在32個電導狀態下的I-V曲線；（C）27個器件相對于32個離散光響應狀態的累積概率分布；（D）具有32種不同響應度的器件的光電流隨光強依賴性；（E）對于405，532，633，980，1550和1800 nm的波長，器件的線性和可逆響應度更新。

圖4傳感器內MAC操作和多頻帶圖像的卷積處理（A）包含兩個視網膜形態視覺傳感器的傳感網絡的示意電路圖，用于實現傳感器內MAC操作；（B）光響應度MAC操作的演示；（C）城市高光譜圖像；（D）通過設置3 × 3核的不同響應度分布，演示了紫外、可見和近紅外波段的不同卷積處理操作（圖像傳感、邊緣檢測和清晰度）。

圖5用于分類和自動編碼的傳感器內卷積神經網絡（A）用于彩色圖像分類的傳感器內分類器的示意圖；（B）隨機生成的不同顏色和高斯噪聲（σ分別為0、0.1、0.2和0.3）的字母N、K、U；（C）對于σ=0.2，訓練前（初始）和訓練后（最終）分類器的響應性分布；（D）分類器在訓練具有不同噪聲水平的數據集期間的分類精度；（E）每個投影字母的平均輸出信號，在每個訓練時期測量，噪聲水平為σ=0.2；（F）基于3 × 3 × 3傳感網絡（感內計算）和3 × 9人工神經網絡（存內計算）分別作為編碼器和解碼器的自動編碼器示意圖；（G）基于噪聲水平為0.2的灰度圖像作為演示的自動編碼過程；（H）用于圖像重構的預訓練自動編碼器的編譯結果圖。

【成果啟示】

本文提出了一種局域場調控策略，即基于捕獲的Li⁺離子誘導的局域電場代替外電路控制的柵極電壓來實現光響應度的非易失性調控。基于此，開發了芯鞘結構的SWNT@GDY視網膜形態視覺傳感器，構筑了具有本地存儲權重的內置神經網絡，該網絡可以在400-1800 nm的寬光譜范圍內實現傳感器內卷積處理。與人類視覺系統相似，本文所提出的神經形態機器視覺包括傳感器中的前端CNN和存儲器中的后端ANN，實現有監督和無監督式學習任務。這項工作是開發具有本地存儲權重的傳感器內神經網絡的一大突破，為開發用于實時目標跟蹤和識別的高速低功耗神經形態機器視覺提供了一種可行的策略。

文獻鏈接：Guo-xin Zhang, Zhi-Cheng Zhang et al., Broadband sensory networks with locally stored responsivities for neuromorphic machine vision. Sci. Adv., 9. 37 (2023), eadi5104.

https://www.science.org/doi/10.1126/sciadv.adi5104

【作者簡介】

陳旭東，南開大學物理科學學院副教授，博士生導師，入選南開大學“百青計劃”。2015年于南開大學獲得博士學位（導師：田建國教授），2015-2017年在北京大學化學與分子工程學校從事博士后研究（導師：劉忠范院士），2018-2022年在天津理工大學新能源材料與低碳技術研究院工作，2022年至今在南開大學物理科學學院工作。研究方向為二維材料新型光電子器件，在Science Advances、Nature Communications、Chem、Advanced Materials、Advanced Functional Materials、ACS Nano等高影響力國際期刊發表文章。近年來致力于發展新型神經形態和視網膜形態器件與系統。