腦-機(jī)接口(Brain-Computer Interface ,BCI) 技術(shù)形成于 20世紀(jì)70年代 (1973 年,Vidal),是一種涉及神經(jīng)科學(xué)、信號(hào)檢測(cè)、信號(hào)處理、模式識(shí)別等多學(xué)科的交叉技術(shù)。目前,BCI技術(shù)已引起國(guó)際上眾多學(xué)科科技工作者的普遍關(guān)注,成為生物醫(yī)學(xué)工程、計(jì)算機(jī)技術(shù)、通信等領(lǐng)域一個(gè)新的研究熱點(diǎn)。
BCI 是一種連接大腦和外部設(shè)備的實(shí)時(shí)通信系統(tǒng)。他可以把大腦發(fā)出的信息直接轉(zhuǎn)換成能夠驅(qū)動(dòng)外部設(shè)備的命令,并代替人的肢體或語(yǔ)言器官實(shí)現(xiàn)人與外界的交流以及對(duì)外部環(huán)境的控制。換言之,BCI 系統(tǒng)可以代替正常外圍神經(jīng)和肌肉組織,實(shí)現(xiàn)人與計(jì)算機(jī)之間或人與外部環(huán)境之間的通信。
BCI 技術(shù)的核心是把用戶輸入的腦電信號(hào)轉(zhuǎn)換成輸出控制信號(hào)或命令的轉(zhuǎn)換算法。在研究工作中相當(dāng)重要的部分就是調(diào)整人腦和 BCI 系統(tǒng)之間的相互適應(yīng)關(guān)系,也就是尋找合適的信號(hào)處理與轉(zhuǎn)換算法,使得神經(jīng)電信號(hào)能夠?qū)崟r(shí)、快速、準(zhǔn)確地通過(guò) BCI 系統(tǒng)轉(zhuǎn)換成可以被計(jì)算機(jī)識(shí)別的命令或操作信號(hào)。
說(shuō)到底,腦機(jī)接口是個(gè)巨大的方向,我們學(xué)識(shí)有限,在此方向中,我們機(jī)械臂目前的應(yīng)用是幫助殘疾人安裝神經(jīng)假體,以恢復(fù)手臂運(yùn)動(dòng)功能,而殘疾人缺失運(yùn)動(dòng)功能,往往是感知功能。
《國(guó)家科學(xué)評(píng)論》(National Science Review,NSR)采訪了卡耐基梅隆大學(xué)生物醫(yī)學(xué)工程系主任賀斌。賀斌是非侵入性腦機(jī)接口領(lǐng)域的優(yōu)秀科學(xué)家,2013年,他的研究團(tuán)隊(duì)利用非侵入性腦機(jī)接口技術(shù),實(shí)現(xiàn)了意念控制無(wú)人機(jī)飛行并跨越障礙,2019年,他的團(tuán)隊(duì)又實(shí)現(xiàn)了意念控制下機(jī)械臂對(duì)運(yùn)動(dòng)光標(biāo)的連續(xù)追蹤。在這次訪談中,賀斌談到了腦機(jī)接口技術(shù)的歷史與未來(lái)應(yīng)用方向,并著重介紹了非侵入性腦機(jī)接口相關(guān)的機(jī)遇與挑戰(zhàn)。
在2019年將該研究成果已經(jīng)在Nature 旗下期刊 ScientificReports公開(kāi)發(fā)表,題為《非侵入性神經(jīng)成像可增強(qiáng)連續(xù)神經(jīng)跟蹤,實(shí)現(xiàn)機(jī)器人設(shè)備控制》(Noninvasive neuroimaging enhances continuous neuraltracking for robotic device control)。世界上首次實(shí)現(xiàn)了人腦在不植入情況下來(lái)控制機(jī)械臂,實(shí)現(xiàn)憑借“意念”控制機(jī)械臂在三維空間抓取、放置物體和控制飛行器飛行。
傳送門:www.science.org/doi/10.1126/scirobotics.aaw6844
通過(guò)腦-計(jì)算機(jī)接口(BCI)技術(shù)檢測(cè)心理意圖和控制外部設(shè)備,為改善包括肌萎縮側(cè)索硬化癥和脊髓損傷在內(nèi)的各種神經(jīng)疾病患者的生活打開(kāi)了大門。這些認(rèn)識(shí)使患者能夠與實(shí)驗(yàn)室里的臨床醫(yī)生和研究人員進(jìn)行交流,只需簡(jiǎn)單地想象不同身體部位的動(dòng)作。BCI都恢復(fù)了曾經(jīng)失去的身體功能,包括獨(dú)立行走、手的功能操作和語(yǔ)言交流。
(以下圖片來(lái)源于Noninvasive neuroimaging enhances continuous neuraltracking for robotic device control)
早在2012年,浙大團(tuán)隊(duì)就在猴子腦中植入微電極陣列,運(yùn)用計(jì)算機(jī)信息技術(shù)成功提取并破譯了猴子大腦關(guān)于抓、勾、握、捏四種手勢(shì)的神經(jīng)信號(hào),使猴子能通過(guò)自身“意念”直接控制外部機(jī)械手臂。進(jìn)一步的在2014年,浙大團(tuán)隊(duì)在人腦內(nèi)植入皮層腦電微電極,實(shí)現(xiàn)“意念”控制機(jī)械手完成高難度的“石頭、剪刀、布”手指運(yùn)動(dòng),創(chuàng)造了當(dāng)時(shí)的國(guó)內(nèi)第一。
去年1月16日,浙江大學(xué)對(duì)外宣布“雙腦計(jì)劃”重要科研成果,該校求是高等研究院“腦機(jī)接口”團(tuán)隊(duì)與浙江大學(xué)醫(yī)學(xué)院附屬第二醫(yī)院神經(jīng)外科合作完成國(guó)內(nèi)第一例植入式腦機(jī)接口臨床研究,患者可以完全利用大腦運(yùn)動(dòng)皮層信號(hào)精準(zhǔn)控制外部機(jī)械臂與機(jī)械手實(shí)現(xiàn)三維空間的運(yùn)動(dòng),同時(shí)首次證明高齡患者利用植入式腦機(jī)接口進(jìn)行復(fù)雜而有效的運(yùn)動(dòng)控制是可行的。
浙大求是高等研究院教授王躍明說(shuō),腦機(jī)接口領(lǐng)域的研究需要神經(jīng)科學(xué)、信息科學(xué)、機(jī)械工程和醫(yī)學(xué)等多個(gè)學(xué)科的緊密合作,而浙江大學(xué)綜合性大學(xué)的特征為學(xué)科交叉提供了很好的土壤。
從最初實(shí)現(xiàn)電極植入大鼠腦部的“動(dòng)物導(dǎo)航系統(tǒng)”到腦機(jī)接口應(yīng)用在人的大腦上,團(tuán)隊(duì)花了十余年的時(shí)間。而今天的這項(xiàng)研究也意味著浙江大學(xué)的腦機(jī)接口技術(shù)已經(jīng)可以躋身世界最先進(jìn)水平。
(以上摘于浙江大學(xué)求是新聞網(wǎng))
例舉的兩個(gè)案例,表明了一樣的原理:
讀取神經(jīng)活動(dòng)信息
探測(cè)中樞神經(jīng)的某些神經(jīng)元,探測(cè)器進(jìn)入到神經(jīng)活動(dòng)中。
傳輸神經(jīng)活動(dòng)信息
映射神經(jīng)活動(dòng)信息
將神經(jīng)活動(dòng)信息映射為機(jī)器運(yùn)動(dòng)模式,當(dāng)完成后,通過(guò)無(wú)線傳輸?shù)綑C(jī)械臂。
傳輸機(jī)器運(yùn)動(dòng)信息
執(zhí)行機(jī)器運(yùn)動(dòng)指令
在機(jī)械臂接收到指令開(kāi)始運(yùn)動(dòng),在運(yùn)動(dòng)中接觸到某些物體,臂會(huì)給物體產(chǎn)生一些壓力,反之物體也會(huì)給臂一些反作用力。這些反作用力可以通過(guò)手臂上的壓力傳感器接收,再經(jīng)過(guò)無(wú)線傳輸?shù)竭_(dá)身體某一部位的皮膚上后,傳輸?shù)缴窠?jīng)系統(tǒng),產(chǎn)生響應(yīng)的感距。
感知運(yùn)動(dòng)反饋信息
傳輸運(yùn)動(dòng)及感覺(jué)運(yùn)動(dòng)反饋信息
講了這么多,機(jī)械臂的運(yùn)用無(wú)非是感受到指令到執(zhí)行指令,但這小小的一個(gè)動(dòng)作,需要科學(xué)家們耗時(shí)數(shù)十年研究而得來(lái),致敬科研工作者!同時(shí),希望機(jī)械臂更快的走向醫(yī)療轉(zhuǎn)化,為更多康復(fù)患者帶去希望!