隨著科技的飛速發(fā)展，人類與機(jī)器的交流方式也在不斷革新。最初，我們通過(guò)鍵盤和鼠標(biāo)與計(jì)算機(jī)互動(dòng)，后來(lái)觸摸屏和語(yǔ)音助手的出現(xiàn)讓人與設(shè)備的聯(lián)系變得更加直觀和便捷。然而，隨著虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）等新技術(shù)的普及，傳統(tǒng)的交互方式逐漸顯得局限，特別是在動(dòng)態(tài)的場(chǎng)景中,是否可能有一種“超自然”的方式來(lái)直接控制設(shè)備？

近日，Meta Reality Labs團(tuán)隊(duì)在《Nature》發(fā)布了題為“A generic non-invasive neuromotor interface for human-computer interaction”的文章，報(bào)告了他們的新研究成果：一種基于深度學(xué)習(xí)的非侵入式肌電信號(hào)通用解碼模型。讓你無(wú)需觸摸、無(wú)需鍵盤、無(wú)需鼠標(biāo)，僅憑肌肉的微弱電信號(hào)就能實(shí)現(xiàn)與計(jì)算機(jī)的自然互動(dòng)；這項(xiàng)研究的核心除了利用一種多通道的肌電采集手環(huán)外，還有著背后強(qiáng)大的深度學(xué)習(xí)解碼模型，使得這一技術(shù)具備了跨人群的普適性，真正實(shí)現(xiàn)了“即插即用”的人機(jī)交互體驗(yàn)。

圖 1. 論文信息

團(tuán)隊(duì)使用了表面肌電信號(hào)（sEMG）技術(shù)，通過(guò)一個(gè)佩戴在手腕上的小巧設(shè)備，捕捉肌肉發(fā)出的電信號(hào)，然后通過(guò)深度神經(jīng)網(wǎng)絡(luò)將這些信號(hào)轉(zhuǎn)化為計(jì)算機(jī)可識(shí)別的指令。簡(jiǎn)而言之，它讓你用肌肉信號(hào)來(lái)“指揮”計(jì)算機(jī)工作。

這一技術(shù)的實(shí)現(xiàn)依賴于硬件與算法的創(chuàng)新融合，其中Meta開(kāi)發(fā)的sEMG干電極手腕帶發(fā)揮了重要作用，這款腕帶內(nèi)嵌16路通道傳感器，能夠高頻率、低噪聲地收集手腕、前臂和手部的肌電信號(hào)，并通過(guò)專門的算法實(shí)時(shí)解碼這些信號(hào)，精準(zhǔn)還原用戶的動(dòng)作意圖。最令人激動(dòng)的是，Meta的研究團(tuán)隊(duì)沒(méi)有依賴傳統(tǒng)的個(gè)體校準(zhǔn)，而是通過(guò)大規(guī)模的數(shù)據(jù)收集系統(tǒng)（招募了超過(guò)6000名受試者），通過(guò)這些大規(guī)模多樣化的數(shù)據(jù)，研究者開(kāi)發(fā)出多個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的通用模型，分別用于三類任務(wù)：LSTM用于連續(xù)控制，卷積+LSTM結(jié)構(gòu)用于手勢(shì)識(shí)別，Conformer結(jié)構(gòu)用于復(fù)雜的手寫解碼。能夠適用于不同性別、膚色、手腕大小的用戶。換句話說(shuō)，無(wú)論是誰(shuí)，戴上這款設(shè)備后，都能實(shí)現(xiàn)流暢的手勢(shì)識(shí)別、光標(biāo)控制甚至無(wú)筆手寫輸入。

圖 2. 用于腕部(sEMG)高通量記錄和實(shí)時(shí)解碼的硬件和軟件平臺(tái)

如圖2所示，Meta團(tuán)隊(duì)的硬件平臺(tái)為一個(gè)基于多通道sEMG干電極腕帶的高通量記錄和實(shí)時(shí)解碼的硬件和軟件平臺(tái)，它具有48個(gè)電極針，這些電極配置為16路雙極通道，并且沿著前臂的近遠(yuǎn)端方向排列。平臺(tái)能夠通過(guò)藍(lán)牙無(wú)線傳輸實(shí)時(shí)采集信號(hào)，并將這些肌電信號(hào)傳輸給計(jì)算機(jī)進(jìn)行解碼。圖2a為sEMG數(shù)據(jù)收集概述。參與者佩戴sEMG腕帶，系統(tǒng)提示參與者進(jìn)行手部和手腕的各種運(yùn)動(dòng)。網(wǎng)絡(luò)攝像頭捕捉他們的手部和手腕（不包括面部）。在一天內(nèi)的兩次實(shí)驗(yàn)之間，參與者會(huì)取下sEMG腕帶并稍微調(diào)整位置，以便能夠在不同的記錄位置之間進(jìn)行泛化。圖2b顯示了這款sEMG手腕帶的硬件配置，并展示了其如何通過(guò)高頻采樣和低噪聲處理，捕捉微弱的肌肉電信號(hào)。該設(shè)備不僅舒適便于佩戴，還可以在一天內(nèi)的不同實(shí)驗(yàn)階段輕松拆卸并重新調(diào)整，以便在多個(gè)不同的佩戴位置下保持一致的信號(hào)質(zhì)量。圖2c則展示了參與者在三項(xiàng)任務(wù)（1D連續(xù)控制、離散手勢(shì)識(shí)別和無(wú)筆手寫輸入）中佩戴設(shè)備的實(shí)驗(yàn)示意圖，其中手腕的運(yùn)動(dòng)和手勢(shì)活動(dòng)通過(guò)設(shè)備實(shí)時(shí)記錄，結(jié)合運(yùn)動(dòng)捕捉系統(tǒng)和行為對(duì)齊算法精確標(biāo)定信號(hào)時(shí)間戳，為后續(xù)的深度學(xué)習(xí)模型訓(xùn)練提供了豐富的標(biāo)簽數(shù)據(jù)。

圖2d和2e展示了在離散手勢(shì)任務(wù)中，通過(guò)手腕手指的細(xì)微動(dòng)作（如拇指點(diǎn)擊、食指捏合等）產(chǎn)生的肌電信號(hào)特征。這些信號(hào)的時(shí)空活動(dòng)模式被捕捉并高頻率記錄，展現(xiàn)了設(shè)備在動(dòng)態(tài)解碼過(guò)程中的穩(wěn)定性和高效性。

這項(xiàng)技術(shù)的核心之一就是它強(qiáng)大的跨用戶泛化能力。傳統(tǒng)的肌電解碼系統(tǒng)通常需要針對(duì)每個(gè)用戶進(jìn)行單獨(dú)的訓(xùn)練和調(diào)校，這不僅消耗時(shí)間，還限制了系統(tǒng)的普適性。而Meta的這項(xiàng)技術(shù)成功解決了這一問(wèn)題。基于大量跨人群的訓(xùn)練數(shù)據(jù)，該系統(tǒng)能夠自動(dòng)識(shí)別用戶的肌肉信號(hào)，并準(zhǔn)確進(jìn)行手勢(shì)解碼和文字輸入。這意味著，所有人都可以無(wú)縫對(duì)接，實(shí)現(xiàn)高效的人機(jī)互動(dòng)。

在實(shí)驗(yàn)中，盡管每個(gè)用戶的肌肉結(jié)構(gòu)和運(yùn)動(dòng)方式都有差異，但模型在從未接觸過(guò)的用戶身上依然能夠達(dá)到超過(guò)90%的手勢(shì)識(shí)別準(zhǔn)確率，并且手腕角速度解碼誤差控制在每秒13度以內(nèi)。這標(biāo)志著跨人群的泛化能力，突破了以往肌電接口普遍存在的適配難題（如圖3所示）。

圖3. 單一參與者和多參與者模型的泛化性能

在實(shí)驗(yàn)中，研究者展示了模型在不同用戶和不同任務(wù)下的解碼能力，結(jié)果令人驚嘆。圖3a展示了不同參與者在執(zhí)行四種離散手勢(shì)（如拇指滑動(dòng)、食指捏合等）時(shí)的肌電信號(hào)差異。每一行代表一種手勢(shì)的信號(hào)，顏色區(qū)分了不同的參與者；圖3b則使用t-SNE降維方法展示了跨參與者的sEMG激活，每個(gè)點(diǎn)代表一個(gè)手勢(shì)實(shí)例。可以看到，盡管每個(gè)參與者的肌電信號(hào)存在差異，模型依然能較好地識(shí)別和區(qū)分不同的手勢(shì)；圖3c和3d展示了單一參與者模型和跨參與者模型在同一參與者和不同參與者上的泛化能力。結(jié)果表明，隨著訓(xùn)練數(shù)據(jù)的增加，單一用戶模型的性能逐漸提升，但跨用戶泛化能力在數(shù)據(jù)量增加時(shí)仍然有限，這也反映出跨用戶解碼的挑戰(zhàn)；通過(guò)增加訓(xùn)練數(shù)據(jù)的參與人數(shù)和模型的參數(shù)量，模型的表現(xiàn)得到了顯著提升。圖3e展示了腕部角度預(yù)測(cè)任務(wù)、圖3f展示了手勢(shì)分類任務(wù)，以及圖3g展示了手寫字符解碼任務(wù)的解碼誤差隨訓(xùn)練集大小的變化。可以看到，隨著參與人數(shù)的增多，解碼誤差隨之減少，并且呈現(xiàn)出冪律關(guān)系，這表明大數(shù)據(jù)量和模型規(guī)模對(duì)解碼性能的提升起到了重要作用；具體來(lái)說(shuō)，圖3e、3f和3g中的曲線擬合結(jié)果表明，在每個(gè)任務(wù)中，隨著參與人數(shù)的增加，模型的性能呈現(xiàn)出冪律縮放，并且更大的模型參數(shù)量會(huì)進(jìn)一步提升性能。圖3e-g黑色和藍(lán)色的標(biāo)記展示了不同訓(xùn)練集大小和模型規(guī)模對(duì)錯(cuò)誤率和分類準(zhǔn)確率的影響。對(duì)于離散手勢(shì)識(shí)別和手寫輸入，數(shù)據(jù)量的增多使得分類錯(cuò)誤率降低到可接受水平，表現(xiàn)出系統(tǒng)在跨人群應(yīng)用中的潛力。

Meta的技術(shù)已經(jīng)不僅僅停留在實(shí)驗(yàn)室里，研究團(tuán)隊(duì)通過(guò)閉環(huán)任務(wù)測(cè)試，讓用戶在短時(shí)間內(nèi)掌握如何通過(guò)肌電信號(hào)完成各種操作。圖4展示了三種不同的閉環(huán)任務(wù)，每個(gè)任務(wù)都驗(yàn)證了肌電信號(hào)解碼系統(tǒng)在實(shí)際應(yīng)用中的表現(xiàn)。具體包括“

1.連續(xù)控制（圖4a）：用戶能夠通過(guò)手腕控制光標(biāo)移動(dòng)，以0.66次/秒的速度完成目標(biāo)選擇；

2.離散手勢(shì)識(shí)別（圖4b）：手勢(shì)如拇指滑動(dòng)、食指捏合等可以0.88次/秒識(shí)別；

3.手寫輸入（圖4c）：用戶通過(guò)手腕上的肌肉信號(hào)輸入20.9詞/分鐘，幾乎接近常見(jiàn)的手機(jī)打字速度。

盡管與傳統(tǒng)的輸入設(shè)備（如MacBook觸控板和Nintendo Joy-Con游戲控制器）相比，性能還有差距，但其便攜性、隱形交互和無(wú)需額外設(shè)備的優(yōu)勢(shì)，足以在許多場(chǎng)景中替代現(xiàn)有的輸入方式。

圖4. 通用sEMG解碼模型能夠在不同的交互中實(shí)現(xiàn)閉環(huán)控制

圖4d展示了連續(xù)控制任務(wù)中光標(biāo)任務(wù)中的目標(biāo)獲取時(shí)間，這反映了系統(tǒng)在任務(wù)中的響應(yīng)速度；盡管手腕運(yùn)動(dòng)控制光標(biāo)時(shí)，系統(tǒng)的表現(xiàn)略低于使用MacBook觸控板的性能，但解碼系統(tǒng)在任務(wù)中的表現(xiàn)依然，并且比標(biāo)準(zhǔn)任務(wù)設(shè)備提供了更高的便攜性和隱形交互優(yōu)勢(shì)；圖4e則展示了任務(wù)中光標(biāo)提前退出目標(biāo)的試驗(yàn)結(jié)果，該圖表明提前退出的問(wèn)題會(huì)隨著任務(wù)熟練度的提高而逐漸減少；圖4f展示了手勢(shì)任務(wù)中的檢測(cè)準(zhǔn)確率，結(jié)果顯示系統(tǒng)識(shí)別手勢(shì)的準(zhǔn)確率相當(dāng)高；圖4g則展示了任務(wù)中的手勢(shì)完成率，與使用游戲手柄的結(jié)果進(jìn)行了對(duì)比。可以看到，手勢(shì)完成率隨著訓(xùn)練和任務(wù)熟練度的提升不斷提升，表明系統(tǒng)可以通過(guò)更多的數(shù)據(jù)訓(xùn)練和持續(xù)優(yōu)化達(dá)到非常高的準(zhǔn)確率；圖4i和4j展示了手寫解碼任務(wù)中的兩項(xiàng)重要性能指標(biāo)：字符錯(cuò)誤率（CER）和每分鐘字?jǐn)?shù)（WPM）。在在線字符錯(cuò)誤率（CER）中，系統(tǒng)的表現(xiàn)接近甚至優(yōu)于傳統(tǒng)手寫輸入設(shè)備，而每分鐘字?jǐn)?shù)（WPM）的速度也接近開(kāi)放環(huán)路手寫速度，說(shuō)明這一技術(shù)在實(shí)際文本輸入中具有很大的應(yīng)用潛力。

如圖5所示，為了進(jìn)一步優(yōu)化系統(tǒng)的個(gè)性化交互體驗(yàn)，研究人員在通用模型的基礎(chǔ)上進(jìn)行了個(gè)性化微調(diào)。通過(guò)僅使用20分鐘的個(gè)體數(shù)據(jù)，手寫識(shí)別的性能可以平均提高約16.6%。這種“輕量級(jí)微調(diào)”對(duì)識(shí)別效果較差的用戶尤為有效，能夠顯著改善他們的使用體驗(yàn)，因此是提升長(zhǎng)尾用戶體驗(yàn)的一個(gè)重要策略。

圖5. 通用sEMG手寫模型的個(gè)性化可提高性能

圖5a展示了個(gè)性化微調(diào)前后，模型在兩個(gè)不同參與者（左側(cè)和右側(cè)）的手寫預(yù)測(cè)的變化。通過(guò)個(gè)性化微調(diào)，模型的預(yù)測(cè)準(zhǔn)確性顯著提高，綠色字體表示正確字符，紫色字體表示錯(cuò)誤字符。通過(guò)這種微調(diào)，CER顯著下降，尤其是在高錯(cuò)誤率參與者中，表現(xiàn)得尤為顯著；

圖5b展示了個(gè)性化數(shù)據(jù)量對(duì)模型性能的影響。實(shí)驗(yàn)結(jié)果表明，隨著個(gè)性化數(shù)據(jù)量的增加（從1分鐘到20分鐘不等），字符錯(cuò)誤率（CER）顯著降低，表明個(gè)性化微調(diào)可以有效改善模型在實(shí)際任務(wù)中的表現(xiàn)。圖中使用虛線擬合的“冪律關(guān)系“顯示，數(shù)據(jù)量的增加與模型性能提升之間存在冪律增長(zhǎng)的關(guān)系；圖5c進(jìn)一步展示了個(gè)性化微調(diào)在減少離線CER方面的表現(xiàn)，實(shí)驗(yàn)結(jié)果表明，個(gè)性化微調(diào)可大幅度降低CER，尤其在數(shù)據(jù)量較大時(shí)，性能提升尤為顯著；

圖5d展示了個(gè)性化微調(diào)對(duì)于訓(xùn)練參與者數(shù)量和CER降低之間的關(guān)系，說(shuō)明個(gè)性化微調(diào)可以彌補(bǔ)模型在大規(guī)模訓(xùn)練時(shí)可能存在的不足，且較少的數(shù)據(jù)量就能產(chǎn)生顯著的性能提升；圖5e展示了當(dāng)每個(gè)測(cè)試參與者使用20分鐘個(gè)性化數(shù)據(jù)微調(diào)時(shí)，CER的相對(duì)減少情況。圖中的綠色對(duì)角線表示通過(guò)個(gè)性化微調(diào)獲得的性能提升；圖5f展示了個(gè)性化微調(diào)后的CER下降與初始模型CER之間的相關(guān)性。研究發(fā)現(xiàn)，初始錯(cuò)誤率較高的參與者，從個(gè)性化微調(diào)中受益大，性能提升也更加顯著。

更重要的是，研究人員對(duì)解碼網(wǎng)絡(luò)的中間層進(jìn)行了可視化分析，發(fā)現(xiàn)該網(wǎng)絡(luò)能夠自動(dòng)從原始的sEMG信號(hào)中學(xué)習(xí)到具有生理意義的時(shí)空模式，且其濾波器響應(yīng)與真實(shí)的MUAP信號(hào)高度匹配（如圖6）。這種從神經(jīng)電信號(hào)中提取生理特征的能力，為深度學(xué)習(xí)模型在非侵入式神經(jīng)接口任務(wù)中的成功應(yīng)用奠定了基礎(chǔ)。

圖6. 提取和驗(yàn)證推測(cè)的單肌纖維動(dòng)作電位（MUAPs）

圖6a-b為誘發(fā)推測(cè)的MUAPs，實(shí)驗(yàn)參與者依照一系列指令執(zhí)行各種低強(qiáng)度的肌肉收縮，并在每次收縮后進(jìn)行短暫的休息期。在每個(gè)收縮期和休息期內(nèi)，參與者都能夠通過(guò)視覺(jué)反饋觀察其（EMG）的原始信號(hào)，從而幫助他們產(chǎn)生稀疏且空間集中的肌電信號(hào)。具體來(lái)說(shuō)，圖6a展示了休息時(shí)期的EMG信號(hào)，而圖6b則展示了運(yùn)動(dòng)期間的EMG信號(hào)。每個(gè)運(yùn)動(dòng)周期持續(xù)10秒，并且每個(gè)周期重復(fù)3次。圖中的灰色垂直標(biāo)尺表示20μV，用于指示肌電信號(hào)的振幅。通過(guò)在每個(gè)通道的高通濾波EMG信號(hào)上進(jìn)行峰值檢測(cè)，研究人員能夠識(shí)別并提取MUAPs。這些MUAPs被用于構(gòu)建時(shí)間序列，進(jìn)而計(jì)算其瞬時(shí)發(fā)放率，通過(guò)事件的間隔時(shí)間（ISI）反算。圖6c顯示了不同運(yùn)動(dòng)（如：食指屈曲（IF）、中指屈曲（MF）、小指伸展（PE）、拇指外展（TAb）、拇指伸展（TE）、腕部旋前（WP））的平均瞬時(shí)發(fā)放率，計(jì)算方式為在每個(gè)提示的休息或運(yùn)動(dòng)周期內(nèi)，檢測(cè)到的MUAP數(shù)量除以該周期的總時(shí)長(zhǎng)。圖6d展示了每次運(yùn)動(dòng)期間發(fā)放率的變異系數(shù)（CoV），該系數(shù)表示肌電信號(hào)中事件間隔的標(biāo)準(zhǔn)差與均值之比。通過(guò)計(jì)算變異系數(shù)，研究者能夠量化每次運(yùn)動(dòng)期間的神經(jīng)活動(dòng)的穩(wěn)定性。

圖6e展示了在各個(gè)運(yùn)動(dòng)周期中提取的多通道MUAP波形。這些波形代表了在運(yùn)動(dòng)過(guò)程中誘發(fā)的單肌纖維動(dòng)作電位。為方便可視化，所有波形都進(jìn)行了標(biāo)準(zhǔn)化處理，使得每個(gè)MUAP的歸一化到99.95百分位。圖中細(xì)線代表單次MUAP波形，而粗線則是每個(gè)運(yùn)動(dòng)類別的MUAP波形的中位數(shù)，長(zhǎng)度為20ms。垂直標(biāo)尺表示20μV。圖6f顯示了每個(gè)運(yùn)動(dòng)的MUAP空間分布，該空間分布是通過(guò)每個(gè)通道波形的峰-峰值構(gòu)建的。圖中的實(shí)線代表均值，而陰影區(qū)域表示標(biāo)準(zhǔn)誤差。這些空間分布圖顯示了MUAP信號(hào)的空間模式，表明不同運(yùn)動(dòng)對(duì)應(yīng)不同的神經(jīng)活動(dòng)模式。

這一系列的實(shí)驗(yàn)表明，Meta的肌電信號(hào)解碼系統(tǒng)已經(jīng)具備了實(shí)際應(yīng)用的能力，能夠在復(fù)雜的互動(dòng)任務(wù)中，實(shí)時(shí)、穩(wěn)定地解碼肌電信號(hào)，并實(shí)現(xiàn)閉環(huán)控制。系統(tǒng)不僅能在實(shí)驗(yàn)室環(huán)境中表現(xiàn)出色，實(shí)際應(yīng)用中也能做到精準(zhǔn)、高效，展示了其在虛擬現(xiàn)實(shí)、移動(dòng)計(jì)算、智能設(shè)備以及輔助技術(shù)等多個(gè)領(lǐng)域的潛力。

與以往依賴侵入式設(shè)備或特定個(gè)體調(diào)試的腦機(jī)接口相比，本研究在非侵入式的肌電接口上實(shí)現(xiàn)了出色的跨人群泛化性能，代表著人機(jī)交互和腦機(jī)接口技術(shù)發(fā)展的重要突破。因此，這項(xiàng)技術(shù)代表了“人類與計(jì)算機(jī)更直接的連接”這一夢(mèng)想的實(shí)現(xiàn)。未來(lái)，我們可能不再依賴鼠標(biāo)、鍵盤、觸摸屏，甚至語(yǔ)音助手，而是直接通過(guò)肌肉信號(hào)與計(jì)算機(jī)互動(dòng)。在VR/AR設(shè)備中，肌電接口將取代現(xiàn)有的手柄控制，實(shí)現(xiàn)更加自然的動(dòng)作捕捉和虛擬交互。對(duì)于肢體受限的用戶，肌電解碼模型將成為無(wú)障礙輸入的利器，大大提升殘疾人士的生活質(zhì)量。未來(lái)的智能手表、眼鏡等設(shè)備，或許會(huì)直接內(nèi)置這種技術(shù)，作為主流的交互方式。這一切的實(shí)現(xiàn)，意味著我們將突破人與機(jī)器的傳統(tǒng)界限，迎接一個(gè)充滿可能性的未來(lái)，在這個(gè)未來(lái)中，思想與行動(dòng)的邊界將不再存在，一切都能通過(guò)最自然的方式與科技對(duì)話。

原文鏈接

研究團(tuán)隊(duì)介紹

關(guān)于維拓啟創(chuàng)

相關(guān)產(chǎn)品