便携式无创人工智能“读脑术”将脑波转换成文字

悉尼科技大学（UTS）GrapheneX-UTS以人类为中心的人工智能中心（GrapheneX-UTS Human-centric Artificial Intelligence Centre）的研究人员开发了一种便携式非侵入式系统，可以解码无声的想法，并将其转化为文本，这在世界上尚属首次。

这项技术可以帮助那些因中风或瘫痪等疾病或受伤而无法说话的人进行沟通。它还可以实现人与机器之间的无障碍交流，例如仿生手臂或机器人的操作。

这项研究在新奥尔良举行的神经信息处理系统大会（NeurIPS conference）上被评选为焦点论文。神经信息处理系统大会是为展示世界领先的人工智能和机器学习研究而举行的顶级年度盛会。

这项研究由人工智能中心主任特聘教授CT Lin、论文第一作者Yiqun Duan和UTS工程与IT学部的博士学生Jinzhou Zhou共同领导。

在这项研究中，参与者戴上帽子，同时默读文本段落，帽子将通过脑电图（EEG）记录头部的脑电活动。

脑电波被分割成不同的单元，从人脑中捕捉特定的特征和模式。这项工作是由研究人员开发的一个名为DeWave的人工智能模型来完成。DeWave通过从大量的脑电图数据中学习，将脑电图信号翻译成单词和句子。

特聘教授Lin说：“这项研究代表了将原始脑电波直接翻译成语言的开创性努力，标志着该领域的重大突破。”

他说：“这是第一次将离散编码技术纳入从大脑到文本的翻译过程，引入了一种创新的神经解码方法。与大型语言模型的整合也为神经科学和人工智能开辟了全新的领域。”

以前将大脑信号转换为语言的技术要么需要进行在大脑中植入电极的手术，比如Elon Musk的脑机接口技术（Neuralink）；要么需要在MRI机器中进行扫描，但MRI机器体积大、价格昂贵，而且难以在日常生活中使用。

这些方法在没有眼球追踪等辅助手段的情况下很难将大脑信号转换为单词级别的片断，这就限制了这些系统的实际应用，而这项新技术可以在有或没有眼球追踪的情况下使用。

悉尼科技大学的这项研究共有29名参与者。这意味着，这项研究可能比以前只在一两个人身上测试过的解码技术更强大、更具适应性，因为脑电波在个体之间是不同的。

通过帽子接收脑电图信号，而不是通过植入大脑的电极接收，这意味着该项研究中所使用的信号更嘈杂。然而，在脑电图翻译方面，这项研究达到了最先进的水平，超过了先前的基准。

论文第一作者Yiqun Duan说：“这个模型更擅长匹配动词而不是名词。然而，当涉及到名词时，我们发现更容易使用同义词，而不是精确的翻译，比如使用“这个人”而不是“这个作者”

他说：“我们认为，这是因为当大脑处理这些单词时，语义相近的单词可能会产生相似的脑电波模式。尽管存在挑战，我们的模型还是产生了有意义的结果，对齐了关键词并形成了相似的句子结构。”

在该项研究中，BLEU-1的翻译准确率目前约为40%。BLEU分数是一个介于0和1之间的数字，用于衡量机器翻译文本与一组高质量参考翻译的相近程度。研究人员希望这一水平能提高到与传统语言翻译或语音识别程序相当的水平，即接近90%的水平。

这项研究是在先前悉尼科技大学与澳大利亚国防军(Australian Defence Force)联合开发的脑机接口技术的基础上进行的，该项技术可以使用脑电波指挥四足机器人。