王雙飛院士團隊王志偉副教授Nano Energy：基于深度學習的TENG實時數據可視化監測

【研究背景】

智能傳感器和邏輯算法的蓬勃發展推動了物聯網（IoT）的廣泛應用，加速智能時代的到來。摩擦納米發電機 (TENG)傳感器及深度學習(DL)的集成憑借TENG的自供電傳感、高靈敏度及廣泛適用性等獨特優勢及DL強大的數據處理能力，準確、高效和可視化監測各種相關信號，具備遠超常規的傳感性能和發展潛力，在智能家居、健康醫療、環境監測等領域廣泛應用，推動了下一代更加智能、高效的傳感系統的發展。

【文章概述】

近日，王雙飛院士團隊王志偉副教授課題組就近年來DL輔助TENG進行實時數據可視化監測領域的研究進展進行綜述。重點介紹DL相關算法的基本原理和處理過程，突出其在復雜數據處理過程的優勢，并分析了液-固和固-固的TENG在自供電傳感和多模態信號采集方面的應用；重點總結了DL與TENG集成的優勢和協同機制，全面總結了二者集成數據可視化實時監測在多維觸覺感知、人體運動感知、健康監測、外部環境感知與反饋和液體識別與分析五個方向的應用。最后，討論了二者集成未來發展面臨的挑戰和應對措施。該成果以題為“Real-time data visual monitoring of triboelectric nanogenerators enabled by Deep learning”發表在國際學術期刊《Nano Energy》上。2023級碩士研究生張慧亞為本文第一作者，王志偉副教授為通訊作者，劉濤、鄒雪蓮、朱云鵬、遲明超、吳迪、江柯漾、朱思嘉、翟文霞等研究生參與研究。

圖1. DL輔助TENG實時數據可視化監測，包括DL的步驟；CNN、RNN、 LSTM 算法原理；應用

【圖文導讀】

1、DL網絡模型

隨著IoT飛速發展，需要處理的數據量也呈指數型增長，亟需高效處理。AI領域因其數據處理技術備受關注，特別是機器學習（ML）技術僅需向計算機系統輸入足夠的相關問題數據，便能自動洞察數據規律生成模型，進而做出精準判斷或決策。高質量的數據特征對算法準確度至關重要，作為ML的一個子集，DL展現出能強大的能力。DL能夠自動學習多個任務的特征集，在一次操作中同時完成學習和分類，實現對復雜數據的深入學習和理解。因DL卓越的特征學習能力，能夠自動提取數據中的高層次特征，在各個領域廣受青睞。

圖2. DL的演化

（1）卷積神經網絡（CNN）模型

CNN通過模擬生物視覺認知機制，能夠有效提取圖像和視頻數據中的關鍵特征，具有廣泛的應用前景。CNN通常由輸入層、卷積層、池化層和全連接層和輸出層組成，通過卷積層和池化層等部分連接降低了網絡參數量，簡化網絡訓練過程。CNN中的人工神經元能夠對局部區域的特征做出響應，并在圖像處理中逐漸將低級特征映射為高級特征，實現最終的分類識別。

圖3. CNN模型

（2）循環神經網絡（RNN）模型

RNN是一種專門處理時間序列的神經網絡，通過其循環結構和時間記憶能力，能夠處理時間動態消息，從而適用于語音識別、自然語言處理、時間序列分析等任務。一個標準的RNN模型主要是由輸入層、隱藏層和輸出層組成，隱藏層內部的節點是有連接的，隱藏層的輸入不僅包括輸入層的輸出，還包括上一時刻隱藏層的輸出。這種同層神經元間直接連接，賦予RNN獨特的時間記憶功能。

圖4. RNN模型

（3）長短期記憶（LSTM）模型

LSTM能夠通過增加線性干預有選擇地添加或減少信息，從而解決普通RNN網絡記不住和梯度消失問題，因此在數據中的長期依賴關系方面表現出色，適用于語音識別、自然語言處理和機器翻譯等領域。每個LSTM單元具有相同的輸入和輸出，也有更多參數和控制信息的門控單元系統，最重要的組成部分是狀態單元，有類似于滲透單元的線性自循環，因此能有效存儲和更新上下文信息。

圖5. LSTM模型

2、DL驅動TENG傳感器的特點和優勢

TENG因其自供電和靈敏度高的特性，在傳感領域備受關注。但是，TENG易受環境影響，來自環境的微小信號很難用肉眼識別，影響其傳感性能，隨著信息技術的發展，將DL數據處理技術與TENG相結合，在物聯網傳感領域取得了豐碩的成果。現從用于自供電傳感的液固和固固TENG原理出發，通過對TENG采集的多通道數據進行解耦處理，可以與DL進行耦合，實現數據的自動學習和特征提取?。

圖6. 用于自供電傳感的TENG傳感器

3.DL輔助TENG在實時數據可視化監測中的新興應用

DL輔助TENG可以實現數據的實時智能處理，從而提高數據處理質量、識別模式、預測未來趨勢或做出智能決策，實現更智能、更高效的能源采集和傳感網絡，為未來可持續發展奠定基礎。隨著技術的不斷進步，DL輔助TENG傳感器已廣泛應用于多維觸覺感知、人體運動感知、健康監測、外部環境感知與反饋、液體識別與分析等領域，從而推動了智能傳感技術的創新與發展。

（1) 多維觸覺感知

隨著人工智能的發展，各種類型的傳感器和交互界面已經遍布整個物聯網。 觸覺交互界面對對于可視化實時監測在機器人智能分揀和環境監測非常重要。 在DL的輔助下，受軟機器人和電子皮膚的啟發，TENG可視化實時監測可用于多維觸覺感知系統，例如物體識別、材料和紋理識別和手寫識別等領域。

圖7. DL輔助TENG用于多維觸覺感知

(2) 人體運動感知

利用摩擦電信號的幅值和峰值實現人機交互、識別人體運動，對人體運動監測等具有重要意義。然而，由于與人體運動相關的摩擦電信號具有許多微妙的信息，僅依靠摩擦電振幅或峰值數無法識別復雜的運動信息。因此，可以將DL數據自動識別和特征提取的優勢用于輔助TENG實現人體運動感知，可用于手勢識別、步態分析、甚至可用于微動作識別以及其他運動識別等。

圖8. DL輔助TENG用于人體運動感知

(3) 健康監測

實時數據可視化監測在為健康監測、早期診斷和疾病管理提供非植入式解決方案方面取得了重大進展。然而，這一領域的主要障礙是在于準確和持續地從人體收集數據。TENG先進傳感技術以及DL優異數據處理技術的集成，推動了TENG在健康監測領域的發展，在呼吸檢測、輔助康復訓練、血壓監測與診斷以及其他健康監測系統得到了廣泛關注。

圖9. DL輔助TENG用于健康監測

（4）外部環境感知與反饋

隨著科技發展，傳感器遍布我們生活的方方面面，促進了生產和生活的進步。特別是在DL輔助下的TENG傳感器表現出更高的識別精度，推動了TENG在外部環境感知與反饋方面的發展，可用于環境因素感知、機械失衡預警、智能家居傳感和輔助駕駛行為等領域得到應用。

圖10. DL輔助TENG用于外部環境感知與反饋

（5）液體識別與分析

隨著社會的快速發展，液體已成為工業生產和日常生活中不可或缺的重要物質。DL輔助TENG進行液體監測，可以快速識別溶液參數，促進智能傳感器進行多參數監測的發展，可用于微塑料、沉積物顆粒、膠體溶液、溶液類型甚至液體味道等領域的可視化監測。

圖11. DL輔助TENG用于液體識別與分析

【結論】

（1）挑戰與應對措施

隨著物聯網的快速發展，未來對便捷、多功能的監測系統的需求不斷增加，開發集成高靈敏性、高精度和綠色低碳等優勢于一體的可視化實時監測系統，將成為關鍵的突破口。盡管DL輔助TENG推動了實時數據可視化監控系統在單個或跨領域取得了重大進展，在實際應用前仍面臨諸多挑戰。

圖12.DL輔助TENG實時數據可視化監測的應用、挑戰與應對措施

本文在簡要概述DL數據處理優勢和TENG自供電傳感基本原理的基礎上，系統的討論了CNN、RNN、LSTM三大主流DL模型的架構、原理和應用方向，同時闡釋了TENG傳感器的工作機制及應用領域，重點總結了DL輔助TENG在可視化實時監測領域的最新進展。然而，未來研究需要在提升系統整體性能和實用性方面進行更深入的探討，并克服多模態傳感、邊緣計算、新材料和算法優化等方面的挑戰，以促進更廣泛的商業化和實際應用。

原文鏈接：https://doi.org/10.1016/j.nanoen.2024.110186