一段视频展示了一种新的语言解码过程的程式化描述。解码器生成多个单词序列(纸条)，并通过将用户大脑反应的预测与实际记录的反应进行比较，预测每个候选单词序列与实际单词序列的相似程度。Credit: Jerry Tang/Alexander Huth

像ChatGPT这样的人工智能程序可以根据一个作家的想法创造出原创故事。现在，一个新的系统可以构建一个故事--通过阅读一个人的思想。德克萨斯大学奥斯汀分校的研究人员创造了一个能够 "解码 "大脑活动的人工智能系统。这个系统可以记录并解码人在头脑中关注的内容。简单地说，人工智能可能最终能够阅读我们的思想。

语义解码器在一个人听故事或看视频时翻译他们的大脑活动。这项新工作使用了一个Transformer模型，该模型类似于为OpenAI的ChatGPT提供动力的那些模型。这个复杂的聊天机器人可以利用其巨大的数据库迅速将问题和想法转化为形式良好的脚本。

语义解码器不需要在大脑里植入东西来读取某人的思想。相反，科学家使用fMRI扫描测量大脑活动。具体来说，在这项研究中，研究人员让参与者在fMRI扫描仪中听了共计16个小时的播客，研究人员利用fMRI收集了这些参与者在听叙事故事的大脑活动，然后训练解码器识别每个人的大脑模式。AI程序能够仅从他们的大脑活动中生成相应的文本--基本上可以解码出这个人在听播客时的想象。

研究作者说，语义解码器提供了某人所想的基本 "要点"，它仍然不完善。当研究人员根据参与者的大脑活动对人工智能进行训练时，解码器提供的文本大约有一半的时间与用户对原始单词的意思非常吻合。

在实验中，一个参与者在听播客时说“我还没有驾照”，他们的想法被翻译成“她甚至还没有开始学开车。”

这张图片显示了解码器从用户听四个故事时收集的大脑记录中做出的预测。示例片段是手动选择和注释的，以演示典型的解码器行为。解码器准确地复制了一些单词和短语，并捕获了更多的要点。资料来源:德克萨斯大学奥斯汀分校

研究人员使用相同的方法来解码参与者仅凭想象讲述的故事。他们让参与者想象自己在讲述一个详细的故事。虽然解码器的准确性有所下降，不过与随机概率相比，它的效果仍然好于预期。这表明相似的大脑区域涉及想象某事而不是简单地感知它。将想象中的语音翻译成文字的能力对于为无法使用语言交流的人设计脑机接口至关重要。

另外，研究人员还让参与者在扫描仪中观看没有声音的动画短片。解码器可以从观看无声电影的参与者的脑部扫描中破译故事。“比起想象中的演讲，我对视频更感到惊讶，因为电影是静音的。我认为我们正在解码比语言更深层次的东西，”Huth表示。

UT Austin的神经科学和计算机科学助理教授Alex Huth说："对于一种非侵入性的方法来说，与之前所做的相比，这是一个真正的飞跃，以前的方法通常是单个单词或短句，我们正在让这个模型对复杂的想法进行长时间的连续语言解码。"

不过这项技术距离被用作日常生活中的脑机接口还有很长的路要走。一方面，fMRI扫描设备不便于携带，而且还昂贵，耗资数百万美元。但是 Huth 的团队正在努力将这些发现应用到现有的大脑成像系统中，这些系统可以像帽子一样佩戴，例如功能性近红外光谱 (fNIRS) 和脑电图 (EEG)。

参考来源：

https://studyfinds.org/chatgpt-brain-activity-decoder/

https://www.nature.com/articles/s41593-023-01304-9.

https://www.scientificamerican.com/article/a-brain-scanner-combined-with-an-ai-language-model-can-provide-a-glimpse-into-your-thoughts/

—— End ——

仅用于学术分享，若侵权请留言，即时删侵！

更多阅读

他山之石丨Nature：AI模型越大越好吗?

Nature子刊：硬膜外刺激脊髓治疗脑卒中

意念控物——让科幻变成现实

上海交大教授卢策吾深度解读“具身智能”

预见2023：《2023年中国脑机接口行业全景图谱》

这个脑机接口实现每分钟超60个单词的意念说话

人类意识的大脑模式

   加入社群  

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

加QQ群：913607986

  欢迎来稿  

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

2.加入社区成为兼职创作者，请联系微信：RoseBCI

一键三连「分享」、「点赞」和「在看」

不错每一条脑机前沿进展 ~