台北瘦身美容交流論壇

標題: 借助RNN 從脑電波還原语音,Nature 論文呈上新款「脑機接口」 [打印本頁]

作者: admin 時間: 2022-5-11 17:26
標題: 借助RNN 從脑電波還原语音,Nature 論文呈上新款「脑機接口」
雷锋網運彩官網，AI 科技评論按：近日，来自加州大學旧金山分校的研讨者斥地出了一种能将大脑旗帜暗号转换為语音的虚拟假體语音系统，可帮手癫痫和其他防脫髮洗髮精,神經性疾病患者還原语音能力。這项研讨成果于 4 月呼啦圈, 24 日颁布在《自然》杂志上，并得到了多家媒體的报道，其中就包括《纽约時报》。雷锋網 AI 科技评論将《纽约時报》的這篇报道编译如下。

「我在脑海中将每一個句子都过十遍，或删掉一個单词，或再添加一個形容词，并經过進程背诵来逐段地琢磨我的文字。」Jean-Dominique B去腳臭噴霧,auby 在他的回忆录《潜水钟和蝴蝶》中這样写道。作為一位记者兼编辑，Bauby 在這本书里回忆了那次讓他的全身都几乎無法滚動的瘫痪性中風@以%92Pv4%前和以%1xp75%後@的生活。他眨着眼皮，逐字将书中的内容读出来。

不可胜数的人由于在事變或争斗中受伤，或得中風或肌萎缩侧索硬化（ALS）等神經退行性疾病而丧失说话能力，都同样地蒙受着沟通逆境。

而現在，科學家們在报告中提出，他們已斥地了一种虚拟的假體语音系统，该系统可以也许解码大脑的说话意圖，并将它們转化為根底可以理解的言语，而不需要移動任何肌肉，甚至是口腔内的肌肉。（物理學家兼作家斯蒂芬 · 霍金，曾就操纵他脸颊上的肌肉在键盘上打出字符，然後计算機再将這些字符合成為语音。）

佛罗里达州杰克逊维尔市梅奥醫學中心（Mayo clinic）的神經科醫生兼神經科學家 Anthony Ritaccio 博士其实不是该研讨组的成員，他表示：「這（AI 科技评論注：解码大脑旗帜暗号）是一项艰巨的事變，它敦促我們進入了语音還原的此外一個层次」。

实際上，此前研讨人員就已斥地出了其他的虚拟语音辅助工具。它們都經过進程解码负责识别字母和单词和口頭表示的大脑旗帜暗号来实現语音辅助，但是這些辦法在自然措辞表达的速度和勾當性上尚显不足。

這個新系统的相關事變于周三颁布在《自然》杂志上，它译解了大脑在说话期間用来指导声带勾當（如舌頭與口腔的碰撞、嘴唇缩窄等）的控制呼吁，產生的句子在可理解的同時，也挨近于说话者自然的说话節奏。

專家們認為，這项新的事變成果代表了一次「事理論证」，它预示着某些變乱經过進一步的履行和提升後可能实現的目标。研讨者在能正常说话的人身上测试了该系统，不过還尚未将其放在那些身患造成解码难度或無法实現的神經性疾病或重伤（例如常見的中風）的患者身上進行测试。

针對新的实行，加州大學旧金山分校和加州大學伯克利分校的科學家們招募了五名在醫院接收癫痫手術评估的患者。

ECoG 電极矩阵由可以也许记录大脑活動的颅内電极组成（圖源：加州大學旧金山分校）

Gopala Anumanchipalli 是加州大學旧金山分校的神經學家，他正拿着一個跟在當前研讨中所操纵的電极矩阵非常雷同的電极矩阵（圖源：加州大學旧金山分校）

不少癫痫患者都由于药物治療成果不佳而選择接收脑部手術。在手術前，醫生必须治療痛風,首先找到癫痫在每個人的大脑中暴發的「热點外送茶,」，這經过進程在大脑中或大脑表面上放置電极，并听取明显的電風暴 (electrical storms) 来完成。

對此位置举辦精确定位可能需要耗费数周時辰。在此期間，患者經过進程TU娛樂城,在涉及到勾當和听觉旗帜暗号的大脑區域里面或附近植入電极来度日。這些患者經常會同意在這些植入物體上搭载其他额外的履行。

加州大學旧金山分校的這五名此類患者就接收在他們身上测试虚拟语音生成器。研讨者在他們每個人的大脑中都植入了一個或两個電极矩阵：邮票大小的衬垫包裹了数百個被放置在大脑表层的微小電极。

當每個志愿者在背诵数百個句子時，電极就會记录下勾當皮层中神經元的發射模式。研讨人員将機能性纖維產品,這些模式與患者在自然说话期間所發生的嘴唇、舌頭、喉部和下颌的奇妙勾當联系起来。今後，研讨團队再将這些勾當转译為成口頭表达的句子。

别的在履行中，研讨者還讓以英语為母语的人听取句子来测试虚拟语音生成器的流畅度，最终發現虚拟系统说出生髪推薦,的 70% 的内容都是可理解的。

Edwar電動起子,d Chang 博士致力于研讨大脑如何產生和分析语音，他斥地了一個為癫痫和其他神經性疾病患者還原语音能力的假體。（圖源：加州大學旧金山分校）

這项新研讨事變的論文作者、加州大學旧金山分校神經外科教授 Edward Chang 博士表示，「履行显示，我們經过進程解码指导發音的大脑活動模拟出来的语音，比依照從大脑中提取出来的声音表示而合成的语音改正确，也更自然。」Edward Chang 博士的同事是同在加州大學旧金山分校的 Gopala K. Anumanchipalli 和同時在加州大學旧金山分校和加州大學伯克利分校任教的 Josh Chartier。

以前基于植入物的通信系统，每分钟可生成大约 8 個单词。而這项新成果每分钟能以自然的说话節奏生成约 150 個单词。

研讨人員還發現，其他人可以使用和调处基于某個人的大脑活動的合成语音系统——這就暗示着現有的虚拟系统在未来某一天均可以也许對外開放。

该團队正计劃展開临床实行以進一步测试该系统。而临床实行面临的最大挑战，可能是寻找合适的患者：讓人類丧失说活能力的中風，經常也會陵犯或影响到支持语音發音的大脑區域。

固然如此，妇孺皆知，脑器接口技術（相關技術可查察雷锋網 AI 科技评論此前的一篇相關报道）范围正在麻利發展，世界各地的研讨團队也正在改進這项技術，未来有可能实現對特定伤患举辦脑器接口技術的量身定制。

埃默里大學、佐治亚理工學院的生物醫學工程师 Chethan Pandarinath 和 Yahia H. Ali 在一篇附随评論中写道：「随着這项新技術的持续進步，我們可以也许期待有言语障碍的人可以也许（凭借這项技術）重新获得自由表达個人想法的能力，并與其附近的世界重新建立联系。」

論文：《Speech synthesis from neural decoding of spoken sentences》

下载地址：

摘要：将神經活動转换成语音的技術對于因神經系统损伤而無法正常互换的人来说，是革命性的。從神經勾傍邊解码语音极具挑战性，因為说话者需要對声道發声举辦非常精准、快速的多维度控制。這项新研讨設計了一個神經解码器，以显式地把持人類大脑皮层勾傍邊举辦了编码的勾當表示和声音表示来合成语音。首先，用循环神經采集直接将记录的大脑皮层活動解码為發音勾當的表示，然後将這些表示转换為语音。在封闭的词汇测试中，听众可以识别和转录出把持大脑皮层活動合成的语音。中間的發音動态即使在数占据限的情况下也能帮手提升性能。讲话者可以较大程度地保存經过解码的發音勾當表示，從而使得解码器的组件可在不同参與者之間迁移。此外，该解码器還可以在参與者默念句子時合成语音。這些發現都提升了操纵神經假體技術還原语音互换能力的临床可行性。

via：

歡迎光臨台北瘦身美容交流論壇 (https://bbs.nicebotox.com.tw/)