多模態(tài)觸覺感知通過模擬人類皮膚的多元感知功能,使智能系統(tǒng)能夠準(zhǔn)確解析復(fù)雜環(huán)境信息,在仿生假肢、可穿戴健康監(jiān)測和人機交互等領(lǐng)域發(fā)揮著關(guān)鍵作用。雖然當(dāng)前多模態(tài)觸覺系統(tǒng)在檢測模態(tài)多樣化(溫度、形變、壓力、接近度等)和功能特性增強(自修復(fù)、自供能等)等方面取得重要進展,但現(xiàn)有系統(tǒng)仍面臨解耦范圍不足的問題,這主要受限于兩大關(guān)鍵因素:1)傳感器件的感知性能不足;2)傳感器件的解耦策略局限。
針對上述問題,浙江大學(xué)機械工程學(xué)院楊賡課題組提出了一種機器學(xué)習(xí)增強的模塊化離子皮膚,通過傳感材料和解耦策略的協(xié)同優(yōu)化實現(xiàn)了寬譜多模態(tài)解耦。國際知名學(xué)術(shù)期刊《Advanced Materials》以“Machine Learning-Enhanced Modular Ionic Skin for Broad-Spectrum Multimodal Discriminability in Bidirectional Human–Robot Interaction”為題報道了該項成果。楊倩倩博士為論文第一作者,楊賡研究員和徐凱臣研究員為論文通訊作者,均來自楊華勇院士團隊。本研究工作得到中國電子學(xué)會-騰訊RoboticsX犀牛鳥專項研究計劃、東方電氣集團-浙江大學(xué)聯(lián)合創(chuàng)新研究院的資助,國家自然科學(xué)基金(No. 52375031, 52475610)、浙江省自然科學(xué)基金(LDQ24E050001)、浙江省科技廳“尖兵”“領(lǐng)雁”研發(fā)攻關(guān)計劃(No. 2023C01045, 2023C03007)、浙江省科技廳“尖兵領(lǐng)雁+X”研發(fā)攻關(guān)計劃(No. 2024C04057(CSJ))的支持。
1.研究背景及意義
多模態(tài)觸覺感知通過模擬人類皮膚的多元感知功能,為智能系統(tǒng)解析復(fù)雜環(huán)境信號提供了關(guān)鍵技術(shù)支持。雖然當(dāng)前多模態(tài)觸覺系統(tǒng)在模態(tài)數(shù)量與功能集成方面取得顯著進展,但其解耦感知范圍受限仍是亟待突破的瓶頸問題,F(xiàn)有拓寬解耦范圍的研究主要沿兩個獨立方向展開:感知性能提升與解耦策略開發(fā)。在感知性能增強方面,主流方法包括:(1)新型功能材料開發(fā);(2)表面微結(jié)構(gòu)工程。盡管這些方法可顯著改善器件性能,但復(fù)雜的制備工藝及較差的機械/界面穩(wěn)定性制約了其實際應(yīng)用。相比之下,通過材料組分調(diào)控實現(xiàn)多模態(tài)性能優(yōu)化的策略雖具有工藝簡便、參數(shù)可調(diào)等優(yōu)勢,卻鮮見系統(tǒng)研究。解耦策略研究主要聚焦三類方法:(1)選擇性傳感材料設(shè)計;(2)抗干擾器件架構(gòu);(3)數(shù)學(xué)建模解耦。然而,這些方法通常僅適用于特定信號關(guān)系或有限傳感范圍,難以實現(xiàn)廣譜解耦。與基于先驗條件的傳統(tǒng)解耦方法相比,數(shù)據(jù)驅(qū)動策略更能適應(yīng)模態(tài)間的復(fù)雜非線性耦合,展現(xiàn)出顯著優(yōu)勢。值得注意的是,拓寬解耦范圍本質(zhì)上需要感知性能與解耦策略的系統(tǒng)級協(xié)同優(yōu)化,但現(xiàn)有研究尚未建立有效的協(xié)同優(yōu)化機制。
針對這一研究空白,本研究開發(fā)了基于機器學(xué)習(xí)增強的多模態(tài)模塊化離子皮膚系統(tǒng)。通過傳感材料與解耦算法的協(xié)同優(yōu)化,系統(tǒng)實現(xiàn)了寬譜多模態(tài)信號的高效解耦。如圖1a所示,該系統(tǒng)具有優(yōu)異的可配置性,可模塊化集成于手勢識別可穿戴手部套件和機器人觸覺感知夾爪套件。系統(tǒng)架構(gòu)(圖1b)包含三類優(yōu)化設(shè)計的離子導(dǎo)體模塊:溫度感知模塊(TSC)、應(yīng)變感知模塊(SSC)和壓力感知模塊(PSC),展現(xiàn)出卓越的三模態(tài)感知性能。為解決傳統(tǒng)離子皮膚的熱耦合難題,他們采用長短期記憶(LSTM)網(wǎng)絡(luò)算法,通過定制化多模態(tài)耦合數(shù)據(jù)集訓(xùn)練,創(chuàng)新性地構(gòu)建了高效的數(shù)據(jù)驅(qū)動解耦模型(圖1c)。這種模塊化離子皮膚與數(shù)據(jù)驅(qū)動解耦模型的有機結(jié)合,形成了一套完整的器件-算法協(xié)同優(yōu)化方案(圖1d)。為量化評估系統(tǒng)性能,本研究首次提出"解耦感知長度"評價指標(biāo)(圖1e)。實驗結(jié)果表明,該指標(biāo)較15種現(xiàn)有多模態(tài)系統(tǒng)提升顯著,充分驗證了協(xié)同優(yōu)化策略在拓展多模態(tài)解耦范圍方面的獨特優(yōu)勢。

圖1. 機器學(xué)習(xí)增強的模塊化離子皮膚實現(xiàn)人機交互的寬譜多模態(tài)解耦
2. 討論
2.1. 一維、二維和三維離子導(dǎo)體的制備與優(yōu)化
圖2展示了一維離子導(dǎo)體(1D-IC)、二維離子導(dǎo)體(2D-IC)和三維離子導(dǎo)體(3D-IC)的制備與表征結(jié)果。圖2a展示了通過磁力攪拌制備均質(zhì)離子凝膠溶液,并采用三種不同工藝獲得相應(yīng)導(dǎo)體:熱固化制備的1D-IC呈現(xiàn)硬段聚集相結(jié)構(gòu);熱固化結(jié)合雙向拉伸制備的2D-IC顯示硬段斷裂特征;濕化工藝制備的3D-IC則實現(xiàn)硬段消除結(jié)構(gòu)。圖2b展示了三類導(dǎo)體的實物形貌對比。微觀結(jié)構(gòu)表征顯示,3D-IC的SEM圖像(圖2c)證實溶劑含量對其形貌的調(diào)控作用。力學(xué)性能測試表明,2D-IC展現(xiàn)出優(yōu)異的拉伸性能(圖2d),而3D-IC則表現(xiàn)出良好的壓縮特性(圖2e)。拉曼光譜分析(圖2f)在2800-3800 cm?1范圍內(nèi)觀察到C-H和N-H伸縮振動峰強度從一維離子導(dǎo)體到三維離子導(dǎo)體逐漸降低。功能測試結(jié)果顯示,不同原料配比的1D-IC在10-160℃范圍內(nèi)表現(xiàn)出溫度響應(yīng)特性(圖2g),其分段線性溫度系數(shù)在10-20℃范圍呈現(xiàn)最低值(圖2h);2D-IC通過雙向拉伸處理提升了應(yīng)變系數(shù)(圖2i),且應(yīng)變感知性能可通過配比優(yōu)化(圖2j);3D-IC的壓容響應(yīng)能力與溶劑含量密切相關(guān)(圖2k),同時展現(xiàn)出良好的機械耐久性(圖2l)。


圖2. 一維、二維及三維離子導(dǎo)體的制備與優(yōu)化
2.2. 三模態(tài)感知模塊的設(shè)計與表征
TSC、SSC和PSC分別基于1D-IC、2D-IC和3D-IC材料構(gòu)建,其TPU:IL:DMAC配比分別為1:3:4、1:1:4和1:1:7。圖3a展示了三模態(tài)感知模塊的結(jié)構(gòu)設(shè)計。圖3b詳細闡明了TSC、SSC和PSC三種模塊的工作原理。針對PSC模塊,圖3c通過力學(xué)仿真驗證了蛇形網(wǎng)絡(luò)電極結(jié)構(gòu)的優(yōu)勢。性能測試結(jié)果顯示:TSC模塊在10-160°C范圍內(nèi)表現(xiàn)出穩(wěn)定的電阻響應(yīng)(圖3d),并在14-116°C溫度循環(huán)17小時后仍保持正常工作(圖3e);SSC模塊的五個樣品在0-50%應(yīng)變范圍內(nèi)呈現(xiàn)高度一致的電阻響應(yīng)(圖3f);PSC模塊在0-1300kPa范圍內(nèi)展現(xiàn)出良好的電容變化特性(圖3g),并在動態(tài)循環(huán)加載下保持穩(wěn)定響應(yīng)(圖3h)。此外,圖3i證實PSC模塊的蛇形網(wǎng)絡(luò)電極設(shè)計不僅提升了機械耐久性,還具備優(yōu)異的損傷容錯能力。

圖3. 三模態(tài)感知模塊的設(shè)計與表征
2.3. 模塊化離子皮膚的數(shù)據(jù)驅(qū)動解耦策略
圖4展示了多模態(tài)感知中的熱耦合現(xiàn)象及其解耦方案。圖4a揭示了SSC和PSC模塊存在的熱耦合效應(yīng):SSC模塊電阻隨溫度升高而降低,而PSC模塊電容則隨之增大。為消除溫度干擾,本研究設(shè)計了專用解耦模型并構(gòu)建了多模態(tài)訓(xùn)練數(shù)據(jù)集(圖4b-4d)。提出的數(shù)據(jù)驅(qū)動解耦模型(圖4e)包含三個獨立子模型,分別針對TSC、SSC和PSC模塊。性能評估顯示:1)解耦范圍方面,相比15項現(xiàn)有研究,本方案實現(xiàn)了更優(yōu)的溫度解耦范圍(ΔT=100°C)和壓力解耦范圍(ΔP=400kPa),以及中等的應(yīng)變解耦范圍(Δε=30%)(圖4f);2)預(yù)測精度方面,模型對溫度、應(yīng)變和壓力的相對預(yù)測誤差分別小于5.8%、15.0%和7.0%(圖4g);3)實時性能方面,325秒連續(xù)測試中溫度預(yù)測誤差<1°C,應(yīng)變和壓力預(yù)測值與實測值高度吻合(圖4h-4j)。此外,圖4k-4m展示了三個子模型的算法優(yōu)選過程。

圖4. 基于多刺激數(shù)據(jù)集和LSTM算法的數(shù)據(jù)驅(qū)動解耦策略
2.4. 模塊化離子皮膚應(yīng)用于健康監(jiān)測
圖5展示了基于離子導(dǎo)體的多模態(tài)生理信號監(jiān)測系統(tǒng)。1D-IC、2D-IC和3D-IC分別實現(xiàn)了對溫度、應(yīng)變和壓力的靈敏響應(yīng)(圖5a),成功應(yīng)用于表皮溫度、腕部角度和脈搏速率監(jiān)測。具體而言:2D-IC應(yīng)變傳感器可準(zhǔn)確識別不同腕部彎曲角度(圖5b);3D-IC壓力傳感器能可靠檢測脈搏信號并計算脈搏頻率(圖5c);1D-IC溫度傳感器不僅能監(jiān)測環(huán)境氣流引起的皮膚溫度變化(圖5d),還可追蹤受試者運動狀態(tài)(騎行/靜息)下的體溫波動(圖5e),同時展現(xiàn)出優(yōu)異的抗彎曲干擾能力(圖5f)。此外,開發(fā)的集成化雙模態(tài)腕帶(圖5g-5i)結(jié)合TSC和SSC模塊,在解耦模型輔助下實現(xiàn)了手腕溫度和角度的實時同步監(jiān)測。

圖5. 一維二維/三維離子導(dǎo)體應(yīng)用于人體健康監(jiān)測
2.5. 模塊化離子皮膚應(yīng)用于機器人控制
圖6展示了模塊化離子皮膚在機器人控制中的應(yīng)用;诳纱┐魇植刻准南到y(tǒng)(圖6a)成功實現(xiàn)了變溫環(huán)境下的機器人雞蛋抓取任務(wù),圖6b詳細展示了操作過程中的關(guān)鍵步驟以及五個關(guān)鍵檢測量的實時輸出數(shù)據(jù)。解耦模型效能驗證實驗表明:在無解耦模型條件下(圖6c),手腕彎曲預(yù)測值受溫度降低干擾,導(dǎo)致機器人出現(xiàn)抓取力過大和釋放開合度不足的問題;而采用數(shù)據(jù)驅(qū)動解耦模型后(圖6d),系統(tǒng)能有效抑制溫度干擾,實現(xiàn)精確的抓取力控制。對比實驗證實了解耦模型在復(fù)雜環(huán)境中的穩(wěn)定性優(yōu)勢。

圖6. 機器學(xué)習(xí)輔助的可穿戴手部套件應(yīng)用于機器人控制
2.6. 模塊化離子皮膚應(yīng)用于機器人感知反饋
圖7展示了基于模塊化離子皮膚的機器人夾爪感知系統(tǒng)。為評估系統(tǒng)精度,將模型預(yù)測值與商用傳感器進行對比(圖7a)。實時監(jiān)測數(shù)據(jù)顯示(圖7b):溫度預(yù)測均值23.6℃(實測22.2℃),壓力預(yù)測峰值分別為10.2kPa、20.3kPa、44.7kPa和82.6kPa(對應(yīng)實測值7.6kPa、23.1kPa、46.9kPa和77.7kPa),表明系統(tǒng)具有可靠的雙模態(tài)預(yù)測能力。集成演示中(圖7c),配備溫度/壓力感知模塊的機械夾爪成功完成倒水任務(wù)(圖7d),執(zhí)行過程中各傳感參數(shù)變化曲線(圖7e)準(zhǔn)確反映了機器人與環(huán)境的交互狀態(tài),驗證了該感知系統(tǒng)的實用價值。

圖7. 機器學(xué)習(xí)增強的機器人夾爪套件應(yīng)用于機器人感知
3. 總結(jié)
本研究提出了一種基于機器學(xué)習(xí)增強的模塊化離子皮膚系統(tǒng),通過材料與算法的協(xié)同優(yōu)化實現(xiàn)了寬譜多模態(tài)信號解耦。在材料設(shè)計方面,通過精準(zhǔn)調(diào)控聚合物硬段結(jié)構(gòu),成功開發(fā)了三種功能化離子導(dǎo)體:1D-IC具有-4.00%·℃?1(10-160℃)的超低溫度系數(shù),2D-IC展現(xiàn)2.95(0-100%)的線性應(yīng)變響應(yīng),3D-IC則實現(xiàn)80.5 kPa?1(0-1.3 MPa)的高壓力靈敏度;谶@三種離子導(dǎo)體構(gòu)建的多模態(tài)感知模塊展現(xiàn)出卓越的傳感性能。在算法層面,創(chuàng)新的數(shù)據(jù)驅(qū)動解耦模型有效建立了多模態(tài)刺激與響應(yīng)間的非線性映射,實現(xiàn)了溫度與壓力信號的最大解耦范圍(預(yù)測誤差≤7.0%),同時保持應(yīng)變檢測的抗溫度干擾能力。系統(tǒng)性能評價表明,以"解耦感知長度"為指標(biāo),本方案較現(xiàn)有15種系統(tǒng)提升顯著。實際應(yīng)用驗證包括:1)健康監(jiān)測(表皮溫度、腕部角度和脈搏信號檢測);2)人機交互(可穿戴手部控制套件和機器人夾爪系統(tǒng))。這些成果充分展示了該系統(tǒng)在智能感知領(lǐng)域的應(yīng)用潛力。
原文鏈接(可免費下載):https://advanced.onlinelibrary.wiley.com/doi/10.1002/adma.202508795
- 浙江大學(xué)肖銳研究員團隊 AFM:機器學(xué)習(xí)輔助4D打印液晶彈性體復(fù)合結(jié)構(gòu)快速逆向設(shè)計 2025-12-13
- 復(fù)旦大學(xué)陳茂課題組 Angew:競聚率指紋 - 機器學(xué)習(xí)與序列調(diào)控之橋 2025-10-31
- 浙大張林教授團隊/杭電梁立軍副研究員 Nat. Sustain.:AI驅(qū)動凈水膜邁向智造時代 2025-08-27
- 寧波材料所陳濤/肖鵬團隊 Adv. Mater.: 超分子耦合效應(yīng)增強離子皮膚助力水下機器人實現(xiàn)“隱身”感知 2025-12-15
- 東華大學(xué)武培怡/孫勝童團隊《Nat. Commun.》:超薄透氣自順服離子皮膚 2025-11-24
- 武大常春雨、寧波材料所陳濤/魏俊杰《Adv. Mater.》:面向超靈敏自供電離子皮膚的電場誘導(dǎo)雙梯度水凝膠離子二極管 2025-04-03
- 西工大陶凱教授 AFM:賦能人機交互界面 - 面向柔性智能系統(tǒng)的自供能水凝膠傳感器 2025-08-17