2019/04/22 08/24/01　　【丹佛斯变频器 www.dfsbp.com】蓝色所示的体素是使用较短语境建模效果最好的，而红色所示的是使用长语境建模效果最好的。

　　新的深度学习系统能够以高精度预测不同脑区如何响应特定的词语。”

　　得克萨斯大学奥斯汀分校（ＵＴ　ＡＵＳＴＩＮ），得克萨斯高级计算中心

　　参考文献：

　　“ＡＲＥ　ＷＥ　ＲＥＡＤＹ　ＦＯＲ　ＲＥＡＬ－ＷＯＲＬＤ　ＮＥＵＲＯＳＣＩＥＮＣＥ？”

　　ＰＡＷＥＬ　Ｊ．　ＭＡＴＵＳＺ，　ＳＵＺＡＮＮＥ　ＤＩＫＫＥＲ，　ＡＬＥＸＡＮＤＥＲ　Ｇ．　ＨＵＴＨ，　ＡＮＤ　ＣＡＴＨＥＲＩＮＥ　ＰＥＲＲＯＤＩＮ．　ＪＯＵＲＮＡＬ　ＯＦ　ＣＯＧＮＩＴＩＶＥ　ＮＥＵＲＯＳＣＩＥＮＣＥ　２０１９　３１：３，　３２７－３３８　ＤＯＩ：１０．１１６２／ＪＯＣＮ＿Ｅ＿

　　作者信息

　　前　文　阅　读

　　１，《科学》重磅：小鼠研究提示氯胺酮可以修复抑郁“损伤”的大脑！

　　２，绝命毒师的“平反”？ＮＡＴＵＲＥ：　ＭＤＭＡ可以重启催产素介导的社会奖励学习的关键阶段

　　。

　　“我们的分析表明如果ＬＳＴＭ理解的词语越多，那么它预测下一个词语的能力就越好，”ＪＡＩＮ说道，“这就意味着必须包括过去所有词语的信息。研究人员相信他们的基于ＬＳＴＭ的语言模型能够对这些领域有所帮助。

　　研究人员通过向模型中输入提取自ＲＥＤＤＩＴ帖子中的上千万词语来训练语言模型。

　　“这个想法丹佛斯就是，理解生物和人工认知系统，并且使用它们来理解和构建更好的机器。

　　“如果这起到作用了，那么这种网络像大脑那样学习阅读文本或吸收语言便成为可能，”ＨＵＴＨ说道，“想象一下谷歌翻译，它能理解你正在说什么，而不是简单地学习一些规则而已。他们称之为“ＥＮＤ－ＴＯ－ＥＮＤ”系统，并希望能够在将来的研究中应用。”ＨＵＴＨ说道，“比如，哪些词语倾向于跟在其它词语后边。

　　利用得克萨斯高级计算中心的超级计算机，他们使用ＬＳＴＭ方法训练了一个语言模型，该模型能够有效预测下一步将出现的词语——类似于ＧＯＯＧＬＥ自动完成搜索的任务，这是人类大脑特别擅长的。这可以作为语言概念在大脑中所被表达的对应部分。他们使用了ＦＭＲＩ数据来获取大脑中血氧水平的变化情况，这种数据反映了神经元集群的活跃程度。

　　“人工网络的层次结构和大脑的层次结构之间存在非常好的对应关系，我们发现它们很有趣，”ＨＵＴＨ说道。比如，他们发现位于听觉皮层的概念会更少地依赖于语境信息。（在《认知神经科学》期刊２０１９年３月的论文中ＨＵＴＨ描述了进行“真实世界神经科学”的重要性。

　　“如果你听到“小狗”这个词，那么这个区域（指听觉皮层）并不在乎之前出现过的１０个词语是什么，它只会对“小狗”这个词语的声音作出响应”，ＨＵＴＨ解释道。

　　因为他们对语境信息长度的作用以及神经网络中各层的作用都很感兴趣，所以他们给每个被试测试了６０个不同参数（２０个语境保留长度和３组不同的层维度）。

　　自然语言处理（ＮＬＰ）近年来已取得了极大的进步。”

　　他们进行了进一步的研究，探索了哪些脑区对所包含的语境信息更加敏感。就像生物学里的任何东西一样，很难将其简化为一组简单的方程式。

　　在２０１８年神经信息处理系统大会（ＮＥＵＲＩＰＳ）上的一篇论文中，学者们描述了使用人工神经网络预测不同脑区如何响应特定词语的实验结果，取得了比以往都要好的精度。对一个被试中的每个体素计算其语境长度偏好的索引，并将其投射到该被试的皮质表面。人工智能（ＡＩ）能够帮助我们理解大脑如何理解语言变频器维修 吗？神经科学能够帮助我们理解为什么ＡＩ和神经网络在预测人类感知方面是有效的吗？

　　来自得克萨斯大学奥斯汀分校的ＡＬＥＸＡＮＤＥＲ　ＨＵＴＨ　和ＳＨＡＩＬＥＥ　ＪＡＩＮ的研究表明以上两个问题都是可能的。

　　“为了尝试预测下一个词语，这个模型必须隐含地学习所有关于语言如何工作的其他东西，而不是实际访问大脑或任何关于大脑的数据。这个模型能够直接改善其对大脑响应的表现。然而，新研究表明在添加语境元素——提前出现多达２０个词语的情况下，添加语境元素能够极大地促进大脑活动的预测效果。他们发现即使只使用了少量的上下文（语境），预测也能够改善。同时，他们也从实验中获得了对神经科学和人工智能的理解。“似乎应变频器维修 该存在一些专门的系统，但实际上，那并不是语言的工作方式。

　　跨皮质的语境长度偏好。这支持了关于心智和语言理解的理论。所提供的上下文（语境）越多，预测的精度就越好。

　　ＬＳＴＭ（以及一般的神经网络）通过将高维空间中的值分配给各个组件（此处为单词）来工作，这样每个组件都可以通过其与许多其他事物的数千种不同关系而得到定义。

　　“大脑是一个高效的计算机器，而人工智能的目标就是构建一个像大脑一样处理各种任务的机器，”不过，我们对大脑理解甚少。）

　　在这项工作中，研究人员进行了实验去测试并最终预测了当听到不同故事（具体说，即ＭＯＴＨ　ＲＡＤＩＯ　ＨＯＵＲ，一个广播节目）的时候不同脑区将作何响应。然后他们的系统预测了六个被试的大脑中数千个体素（ＶＯＧＥＬＳ，三维像素）对模型和被试之前都没听说过的第二组故事作何响应。但当涉及到回答问题、进行自然对话或者分析文本中的情绪时，ＮＬＰ仍然有很长的路要走。”

　　基于这个语言模型和ＦＭＲＩ数据，他们训练出了这样一个系统——当大脑首次听到新故事中每个单词的时候它能够预测出大脑变得作出响应。如果进行处理，需要耗费大量的成本和时间，但现实并不允许他们这么做。对大脑活动的错误预测会反馈到模型中并得到改进。

　　另一方面，当包括更多语境信息时，处理更高级思维的脑区更容易准确响应。

　　过去的研究表明高效定位大脑的语言响应是可行的。

　　这听上去很清晰，但数十年来神经科学实验只考虑了大脑对单个词语的响应，却忽视了单词之间能够形成单词链或语句的连接关系。

　　“当词语进入我们大脑中，我们知道了某人正在跟我们说些什么，而我们想要理解大脑内部是如何形成的，”　ＨＵＴＨ说道，一位来自ＵＴ　ＡＵＳＴＩＮ神经科学与计算机科学系的助理教授。

　　以上这些措施使得计算问题规模巨大，需要大量的计算能力、内存，存储和数据检索。该模型还发现位于听觉皮层的概念较少依赖于语境信息。”

　　通过这样一种系统，ＨＵＴＨ相信一个可将大脑活动转译成语言的“读心”系统的实现只是时间问题。因此，我们尝试使用人工智能去探究变频器维修大脑的工作机制，然后基于我们通过这种研究方法所获得的理解，以及理论神经科学，我们可以使用这些结果来开发更好的人工智能。”

　　这项工作使用了一种被称为长短期记忆（ＬＯＮＧ　ＳＨＯＲＴ－ＴＥＲＭ　ＭＥＭＯＲＹ　，ＬＳＴＭ）的循环神经网络（ＲＥＣＵＲＲＥＮＴ　ＮＥＵＲＡＬ　ＮＥＴＷＯＲＫ），它在计算中包括了每个单词与之前所出现单词的关系从而更好地保存上下文的内容（语境）。该图片属于ＨＵＴＨ　实验室，ＵＴ　ＡＵＳＴＩＮ。这使得ＨＵＴＨ和ＪＡＩＮ考虑一种更简化的系统版本，从而取代开发一种语言预测模型并能将其应用于大脑。

　　他们开发了一款能够直接预测大脑响应的模型

20190422082401