王舒禹/趙玉良團隊AIS：水凝膠傳感+AI對軟體機器人多模態識別

一、【導讀】

如何讓軟體機器人像人體皮膚一樣多模態感知是當下研究的熱點。不同模態如觸碰、應變和溫度觸碰、應變和溫度在軟體機器手指傳感時彼此耦合。但如果將柔性傳感技術與機器學習結合起來，賦予軟體機器人多模態自主感知能力,潛在可以解決軟體機器的模態解耦問題。

二、【成果掠影】

近日，以東北大學秦皇島分校控制工程學院研究生孫照佳第一作者的研究論文”Discriminating Soft Actuators’ Thermal Stimuli and Mechanical Deformation by Hydrogel Sensors and Machine Learning”在WILEY旗下的人工智能旗艦期刊Advanced Intelligent Systems（AIS）上發表，指導教師與通訊作者為王舒禹老師。

三、【數據概覽】

圖 1?軟體機器手指上集成兩個水凝膠可拉伸傳感器，感知應變、溫度、觸碰信息。這些信息被AI模型處理進而判斷是否為自由彎曲、觸碰、觸碰熱物體、扭曲、拉伸，這五個狀態

該研究用基于PAAm的可拉伸水凝膠材料，具有對應變的響應和低滯后性，并且它對溫度極為靈敏（TCR = -3.8%/^oC）。用其制成傳感器能夠實時將來自自身形變（彎曲、扭曲、拉伸）和外部環境（溫度，物體接觸）的刺激轉換成雙通道電信號，使軟體機器人擁有自主感受的能力。

圖 2自由彎曲、觸碰、觸碰熱物體、扭曲、拉伸，這五個狀態所分別對應的傳感器的采集信息。

機器學習可以從大量復雜的傳感器數據中自動學習，以進行智能決策。該課題組進行大量實驗，通過采集數據集搭建機器學習模型進行訓練后，達到對軟機器人彎曲、接觸物體，接觸熱物體、扭曲以及拉伸五類動作準確識別。綜上，將機器學習算法與柔性傳感器相結合可以實現軟體機器人對于自身以及外部環境的智能感知，為軟體機器人實現自主感知提供了新思路。

圖 3?(a)機器學習模型框架。(b)將分類結果用tSNE映射到低維空間 (c) 混淆矩陣表示對不同狀態的分類

該研究得到了國家自然科學基金、河北省省自然基金委的資助，東北大學秦皇島分校與河北省微納精密光學傳感與檢測技術重點實驗室為通訊單位。論文在發表過程中得到了美國Virginia Tech(現在在Michigan Ann Arbor)的Lei Zuo 教授的大力支持。

研究成果鏈接：https://onlinelibrary.wiley.com/doi/10.1002/aisy.202200089