密歇根大學盧偉Nature子刊：人工智能-憶阻器網絡的稀疏編碼

【引言】

憶阻器是一種雙端器件，其阻值依賴內部狀態的變化，同時也被外部刺激的歷史所調整。不同于傳統基于電荷的電子器件，憶阻器的狀態是由內部離子（陽離子或陰離子）的組態決定的，器件內部氧離子或金屬陽離子的重新分布可以調節其所在位置的電阻率以及整個器件的電阻。人們已經在數字存儲和模擬邏輯電路方面對憶阻器進行了廣泛的研究。在器件層面，憶阻器通過儲存模擬突觸權重以及實現突觸學習法則方面展示了能夠模仿突觸功能的能力。當構建交叉開關形式時，憶阻器網絡可以提供人們想要的密度和連接性，這時就需要神經形態計算系統的硬件來實現。最近，憶阻器陣列和相變存儲器件已經用于人工神經網絡并完成了圖形分類的任務。此外，其他研究也表明憶阻器可以用于周期性人工神經網絡并在諸如模擬-數字轉換器中得到應用。

【成果簡介】

近日，來自密歇根大學的盧偉教授（通訊作者）等人對憶阻器網絡的稀疏編碼進行了研究，相關的研究成果以“Sparse coding with memristor networks”為題發表在了2017年5月22日出版的Nature nanotechnology上。

信息的稀疏表示提供了一種表現高維數據特征抽取的有力方法，同時在信息處理、計算機成像、物體識別和神經生物學方面激發了研究者廣泛的興趣。稀疏編碼也被認為是生物神經系統能夠在有效處理大量復雜感覺信息的同時耗能極少的關鍵機理。本文使用32x32的交叉編碼模擬憶阻器整列并利用仿生的方法進行了稀疏編碼算法的實驗。這一網絡能夠有效地進行圖像匹配和橫向的神經元抑制，并能夠允許輸入數據使用神經活動進行稀疏編碼同時存儲字典元素。不同的字典集合可以在相同的系統里進行訓練和保存，這都依賴于輸入信號的特性。使用稀疏編碼算法也可以基于學習字典進行自然圖像的處理。

【圖文導讀】

圖1 基于憶阻器交叉開關陣列的計算硬件系統

（a）基于憶阻器交叉開關陣列的計算硬件系統示意圖

（b）本實驗中使用的憶阻器陣列的掃描電子顯微鏡（SEM）照片

（c）使用（b）系統在憶阻器陣列中對32x32棋盤圖案（斑塊尺寸2x2）進行編程隨后重復

（d）稀疏編碼示意圖

圖2 使用憶阻器網絡進行稀疏編碼的實驗認證

（a）在憶阻器網絡中對詞典元素進行編程

（b）原始圖片的編碼和憶阻器網絡處理后的重構圖片

（c）進行局部競爭算法（LCA）分析時神經元的膜電位與迭代次數的函數關系

（d）輸入圖像的額外示例和重構圖像

圖3 使用更為過度完備的字典時不同輸入的稀疏編碼

（a）基于水平和豎線在憶阻器交叉開關陣列對字典元素進行編碼

（b）對原始圖片進行編碼及在憶阻器網絡處理后的圖像重構

（c）進行局部競爭算法（LCA）分析時神經元的膜電位與迭代次數的函數關系

（d）輸入圖像的額外示例和重構圖像

圖4 使用憶阻器交叉開關進行自然圖像處理

（a）120x120的原始圖片

（b）從原始圖片中得到的4x4斑塊

（c）使用LCA算法從16x32的憶阻器交叉開關得到的實驗重構斑塊以及基于WTA的離線學習詞典

（d）進行局部競爭算法（LCA）分析時神經元的膜電位與迭代次數的函數關系

（e）基于重構斑塊得到的實驗重構圖片

（f）使用基于WTA的離線訓練詞典得到的模擬重構圖片

（g）使用更大的斑塊得到的模擬重構圖片和通過稀疏編碼得到的理想詞典以及梯度下降

（h）進行在線學習時通過考慮現實中器件的變化得到的模擬重構圖片

【小結】

本文成功證實了在憶阻器交叉開關網絡中的稀疏編碼硬件系統的可行性。這種方法基于圖案匹配和神經元橫向抑制，是發展大規模、低能耗神經形態計算系統的重要里程碑。隨后的器件和形態的優化會引領未來計算系統的發展，同時幫助消除傳統計算設計中的“馮-諾依曼瓶頸”，并且能夠生產具備低能耗、封裝體積小和高產出的高效計算硬件。

文獻鏈接：Sparse coding with memristor networks（Nat. Nanotech., 2017, DOI: 10.1038/nnano.2017.83）

本文由材料人電子電工學術組大城小愛供稿，材料牛整理編輯。材料牛網專注于跟蹤材料領域科技及行業進展，如果您對于跟蹤材料領域科技進展，解讀高水平文章或是評述行業有興趣，點我加入編輯部。

歡迎大家到材料人宣傳科技成果并對文獻進行深入解讀，投稿郵箱tougao@cailiaoren.com

材料測試，數據分析，上測試谷！