“原來機器手還能干這些精細活兒！”只見一只觸覺夾爪拿起豆腐、薯片、果凍等易碎品，根據(jù)其紋理、軟硬和摩擦特性，精準做到輕起慢落，擺出各種造型，實現(xiàn)“柔中帶感，觸而能知”。
近日，由復旦大學可信研究院團隊自主研發(fā)的高精度、低成本“自適應視觸覺AI傳感器”在2025世界人工智能大會（WAIC） 上首次公開亮相。作為唯一的高校代表，復旦團隊這一成果亮相鎮(zhèn)館之寶"WAIC里機器人技能大舞臺"中央展區(qū)，為構建面向精細化操作的下一代具身智能大模型提供關鍵技術支撐，讓人形機器人離人類生活更進一步。
皮膚是人類最大的器官，具備對力的多維感知能力，可看成是天然的多維力學信息采集終端。正是憑借多維感知能力，當人類需要做一些靈活的操作時，便根據(jù)觸覺反饋、交互時力的變化來調整操作精度。
這些本是機械所不具備的特征，但隨著“視觸覺技術”的出現(xiàn)，正在讓機器人擁有觸覺成為可能，解決操作精度上“最后一公里”的問題。
如何讓冰冷堅硬的機器人擁有人類的觸覺？這一科研難題，在復旦大學可信具身智能研究院團隊的“自適應視觸覺AI傳感器”科研中取得了突破性進展。團隊曾獲 2023年度國家自然科學二等獎, 其15年的視覺技術積累為本項目的算法實現(xiàn)提供了堅實基礎。
所謂“具身智能”，是強調從環(huán)境交互中學習的一種智能體。國內的具身機器人研發(fā)，已有較完善的視覺通道，但在具身智能的觸覺技術仍較為欠缺。
?“我們想要機器人不僅能感受到單一的傳統(tǒng)壓力，而且還能具備類人皮膚的感知，能感知壓力、剪切、扭轉、滑移等各種復雜力學交互信息?！?復旦大學可信具身智能研究院研究員陳文明介紹，以往，以壓力信號為指標的傳感技術是單一的感官通道，而下一代具身機器人要突破操作能力瓶頸，必須具備類似人體皮膚的多維觸覺感知能力。
多維力解耦是經典的力學問題，更是具身智能行業(yè)的難點。力觸覺是機器和環(huán)境交互里最重要的一個感官通道，而具身機器人在感官層次上，目前還缺乏非視覺的力觸覺通道。面對復雜的環(huán)境交互，對矢量進行分解運算，則是一個有挑戰(zhàn)的技術性問題。
為破解這一問題，團隊在傳感層內置的微小攝像儀起到關鍵作用。表面接觸到力后，傳感層的粒子會發(fā)生位移，進而被攝像頭捕捉到受力形變的信息，再借助AI強大的算力，能將復雜的觸覺信號轉化為高維視覺數(shù)據(jù)，并把這些視覺信號精準翻譯為力的分布信息，實現(xiàn)力的多維精確解耦。該傳感器靈敏度極高，達到每平方厘米4萬個感知點，具備超高的空間分辨率。
?“利用 AI 的解耦算法，我們最小的感知力能做到0.01牛頓，實際上已超越人類的頂尖的力的一個分辨能力?！标愇拿鹘榻B，人類指尖皮膚的最小感知閾值大概在0.1牛到0.2牛之間。相比之下，團隊研發(fā)的“自適應視觸覺AI傳感器”的感知靈敏極限已達到人體的10倍。由此，該技術在精密加工、電子裝配、高精度分揀等行業(yè)具備應用潛能。
除了拿豆腐、夾薯片、抓果凍，團隊研發(fā)的這只觸覺夾爪還會精準舀湯圓——只見它控制著勺子，在液體中實時追蹤，舀起一顆漂浮的湯圓后，再穩(wěn)穩(wěn)地放入另一個碗中。整個過程全靠機器人動態(tài)適應水流擾動和物體位置變化，在無人工控制的情況下展現(xiàn)出如同人類般的高水平手眼協(xié)同能力。
能做到這些，正是得益于團隊研發(fā)的傳感器具備柔性、靈敏、“觸覺神經”、多維力學探測等特點，還有一套融合了視覺感知與AI算法的創(chuàng)新系統(tǒng)。抓取物品時，它的柔軟界面如同人類皮膚般，能適應適應復雜表面，會自然貼合物體形狀，不會像剛性爪那樣壓壞脆弱物品。同時，它可感知多維受力，包括正壓力、切向力，甚至扭轉力，能靈巧、安全地與外界交互。
項目團隊博士生羅虎、林思羽介紹，相比于其他團隊所采用的光度立體技術，團隊經長時間打磨后換了另一種思路：通過神經網絡，對一個隨機粒子的一個位移場進行捕捉、結算接觸，擬合出復雜的非線性力學行為，從而達到更優(yōu)的精確度。
“就像人類通過觸摸知曉物體的形狀、邊角、摩擦系數(shù)、紋理等屬性，機器人掌握這些智能辨識能力后，環(huán)境感知力將大幅提升?！表椖繄F隊成員、復旦大學付彥偉教授介紹，這意味著傳統(tǒng)機械夾爪將向智能夾爪升級，有望完成此前難以實現(xiàn)的高精度分揀、亞毫米級電子裝配等精細操作任務，從根本上提升機器人操作的精細度與適應性。
高性能傳感器里頭，一端是內窺鏡鏡頭，另一端是多層硅膠材料，再搭配上神經網絡芯片，整體制作成本比傳統(tǒng)“”降低近50倍，量產后價格還能再下調，有望促進高價值行業(yè)的自動化升級。
目前，要讓具身機器人真正走進千家萬戶，做一些能替代人類勞動的事情，仍存在諸多挑戰(zhàn)。項目團隊帶頭人、復旦大學副校長姜育剛認為，具身機器人要面對的是多樣化的工作環(huán)境，需要既能在預先學習過的環(huán)境里做好工作，也能在不確定性的未知環(huán)境里完成任務。
此次發(fā)布的高精度、低成本的視觸覺傳感器，可支持訓練融合觸覺等多模態(tài)信息的機器人大腦，進而助力實現(xiàn)可完成精細化操作的下一代具身智能技術?！懊髂杲o大家看的就不是抓豆腐和果凍了，而是一些更有挑戰(zhàn)性的任務?！?姜育剛說。
下一步，團隊計劃對“自適應視觸覺AI傳感器”進行市場化，同時開展視觸覺融合的大模型訓練，去解決行業(yè)內更有挑戰(zhàn)性的問題。該技術應用前景包括搭載觸覺技術的機械夾爪精準抓取易損物品、工業(yè)制造領域中高精度分揀與精密裝配、輔助醫(yī)療領域完成微創(chuàng)手術等。該技術還可以和假肢相結合，研制出具備觸覺感知能力的先進智能假肢。
今年初，復旦大學可信具身智能研究院成立。研究院專注具身智能的前沿研究與應用落地，是復旦大學面向世界科技前沿的重要戰(zhàn)略布局。這項工作是研究院的重要成果之一。
?“我們希望研發(fā)具有自主探索能力、持續(xù)進化特性且符合人類價值觀的具身智能體，為未來人機協(xié)同與智能社會建設提供核心驅動力?！苯齽傉f。
（通訊員 方東妮 丁超逸 殷夢昊）