今日在《自然》子刊Nature Neuroscience上发表的一项研究得到了上百家新闻媒体的关注和报道。在这项研究中，德克萨斯大学奥斯汀分校（University of Texas at Austin）的研究团队在大型语言模型的助力下，开发出一款现代“读心机”。它是一种可以将大脑活动转换为持续语言输出的脑机接口。以往的脑机接口需要直接在参与者大脑表面或内部植入电极获取大脑活动的信息，而这款解码器只需要分析功能磁共振成像（fMRI）数据，就可以以非侵入性的方式，将参与者大脑中所想的故事甚至图像用语言描述出来。研究人员指出，这一系统可能让那些失去说话能力，但是神智依然清醒的患者（比如中风患者或者肌萎缩侧索硬化患者）重新获得表达的能力。

在这项研究中，科学家们让志愿者躺在MRI机器中，在接受fMRI扫描的同时从耳机中听取播客（Podcast）故事。在训练阶段，研究人员利用基于GPT-1的大型语言模型，将参与者fMRI数据显示的大脑活动，与播客故事里的语言特征联系起来。GPT-1是如今火爆全网的ChatGPT的早期模型。

▲研究人员为收集大脑活动数据做准备（图片来源：Nolan Zunk/The University of Texas at Austin）

接受几十个小时播客故事产生的大脑活动数据训练之后，研究人员让志愿者听一个全新的故事，这一次，他们要求解码器根据志愿者的大脑活动，输出语言来描述志愿者听到的故事。实验结果显示，这一系统能够仅根据志愿者的fMRI数据，描述出志愿者听到的故事，虽然达不到100%的准确性，但是它能够读出志愿者大脑中想到的故事的大意。比如在这项实验中，志愿者听到的话是“我还没有拿到驾照”，他们大脑活动的解码结果是“她还没有开始学开车”。

▲志愿者听到的语句（左）和解码器根据大脑活动解读的语句（右），蓝色代表完全一致的词汇，紫色代表大意准确的词汇（图片来源：参考资料[3]）

这一系统不但能够将患者听到的故事解读出来，还能够解读不包含任何语句的图像内容。在实验中，研究人员让参与者观看一小段动画视频，这段视频中没有任何语音。然而解码器可以根据参与者的大脑活动，输出语言描述视频中发生的事件。值得一提的是，在实验中，研究人员并没有指引志愿者在大脑中“描述”看到的视频，但是解码器仍然可以通过大脑活动解读出视频的内容。

▲这一解码系统在实验中将志愿者看到的视频中发生的故事用语言描述出来（图片来源：参考资料[6]）

在人工智能飞速发展的今天，通过分析大脑活动，用机器读出志愿者大脑中所想的故事或者图片已经不再是只在科幻故事中会发生的事。今年3月，日本的两位学者同样使用fMRI数据，利用经过训练的图像人工智能系统，还原了志愿者看到的图片的主要特征。

▲日本科学家开发的图像解码器根据志愿者大脑的fMRI数据，还原志愿者看到的图片特征（图片来源：参考资料[4]）

这些基于AI技术的现代“读心术”也让人们产生了忧虑，未来的机器是否真的能够收集我们的大脑数据，监视我们的一举一动，甚至是大脑中隐秘的想法？在这项在Nature Neurosicence上发表研究中，科学家们也研究了这种解码器对个人隐私的解读。他们的实验发现，这一解码系统如果想要获得准确的结果，必须需要志愿者的配合。志愿者需要在训练AI系统的时候注意听播客故事，而不能走神。接受一名志愿者数据训练的系统无法用于解读另外一名志愿者的大脑活动，而且志愿者可以通过故意去想其它事情，来阻止系统读出正确的结果。“不断评估新的大脑解码器对心理隐私的影响至关重要。”文章的第一作者Jerry Tang博士说。目前的结果显示，这一技术尚不能用于侵犯个人的心理隐私。

不过它可能给那些因为疾病而丧失说话能力的患者带来新希望。研究人员表示，虽然因为需要参与者一动不动地躺在MRI机器里才能收集到可靠的数据，目前这一系统在实验室外使用并不现实，但是，它也可以分析更为便携的大脑成像系统产生的数据，比如功能性近红外广谱（fNIRS）技术。“fNIRS检测大脑在不同时间点的血流，fMRI检测的是同样类型的数据。”这一研究的资深作者，德克萨斯大学奥斯汀分校的神经科学和计算科学教授Alex Huth说。基于便携式大脑成像技术开发的解码器可能给因为疾病无法说话的患者表达心声的新途径。

[1] In a small new study, scientists working on an AI ‘brain decoder’ inch closer than ever to reading minds. Retrieved May 1, 2023, from https://www.statnews.com/2023/05/01/brain-scans-mri-gpt-decoder/

[2] Brain scans can translate a person’s thoughts into words. Retrieved May 1, 2023, from https://www.technologyreview.com/2023/05/01/1072471/brain-scans-can-translate-a-persons-thoughts-into-words/

[3] Brain Activity Decoder Can Reveal Stories in People’s Minds. Retrieved May 1, 2023, from https://news.utexas.edu/2023/05/01/brain-activity-decoder-can-reveal-stories-in-peoples-minds/

[4] High-resolution image reconstruction with latent diffusion models from human brain activity. Retrieved May 1, 2023, from https://sites.google.com/view/stablediffusion-with-brain/?pli=1

[5] Brain Activity Decoder Can Reveal Stories in People’s Minds. Retrieved May 1, 2023, from https://cns.utexas.edu/news/podcast/brain-activity-decoder-can-reveal-stories-peoples-minds

[6] Tang et al.,（2023）. Semantic reconstruction of continuous language from non-invasive brain recordings. Nat Neurosci（2023）. https://doi.org/10.1038/s41593-023-01304-9