深度神经网络在作为人类听觉模型方面显示出了前景

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/
?

?嘿小伙伴们!你听到最火的AI耳朵没?

模仿人耳结构和功能的计算模型能帮助研究人员设计更好的助听器、人工耳蜗和大脑机接口。麻省理工最新研究表明,来自机器学习的现代计算模型离这个目标越来越近咯~

这项迄今为止最大的深度神经网络训练研究表明,大多训练用于听觉任务的模型能生成与人脑在听同样声音时高度相似的内部表征呢!研究还发现,含背景噪声的听觉输入模型更能模拟人听觉皮层的激活模式哟!

“这项研究比以往更全面地将这类模型与听觉系统进行了比较。”项目高级作者、麻省理工大脑与认知科学副教授Josh McDermott说,“研究表明,来自机器学习的模型朝正确方向发展,为我们提供了一些使它们成为更好的大脑模型的线索。”

麻省理工研究生Greta Tuckute和博士毕业生Jenelle Feather为这篇今天发表在《PLOS Biology》的开放获取论文的主要作者。

听觉模型

深度神经网络由多层信息处理单元组成,可以在海量数据上训练以执行特定任务。这种模型已经被广泛用于许多应用领域。神经科学家也开始探索这些系统是否也可以用来描述人类大脑执行某些任务的方式。

“这些利用机器学习构建的模型能实现之前模型难以达到的规模的行为,这引发了人们对模型中的表征是否能捕捉到大脑中发生的事情的兴趣。” Tuckute说。

当神经网络执行一个任务时,其处理单元对每个接收到的音频输入(如词或其他声音)都会生成激活模式。可以将这些模型对输入的表征与人们听同一输入时fMRI大脑扫描获得的激活模式进行比较。

McDermott和其时研究生Alexander Kell在2018年报告说,当他们训练神经网络执行听觉任务(如从音频信号中识别单词)时,模型生成的内部表征与人们听同样声音的fMRI扫描中看到的模式有相似之处。

自那以后,这种模型已经被广泛使用,所以McDermott的研究小组决定评估更大的模型集,看这种逼近人类大脑神经表征的能力是否是这些模型的通用特征。

在这项研究中,研究人员分析了9个公开可用的、用于执行听觉任务的深度神经网络模型,并基于两种不同体系结构构建了14个自己的模型。这些模型大多被训练来执行单一任务——识别词汇、识别说话人、识别环境声音和识别音乐流派——而其中两个模型被训练来执行多个任务。

当研究人员向这些模型输入曾在人类fMRI实验中用作刺激的自然声音时,发现这些模型的内部表征倾向于与人脑生成的表征相似。最像大脑的模型是那些训练了多个任务且包含背景噪声的听觉输入进行训练的模型。

“如果在噪声中训练模型,它们能得到比不训练的模型更好的大脑预测,这在直观上是合理的,因为很多真实的听觉都是在噪声中进行的,这可能是听觉系统适应的东西。”Feather说。

层次化处理

这项新研究还支持人类听觉皮层存在某种程度的层次结构这一观点,其中处理被划分为支持不同计算功能的不同阶段。与2018年的研究一样,研究人员发现模型前期阶段生成的表征与在一级听觉皮层中看到的表征最为接近,而模型后期阶段生成的表征则更接近一级皮层之外的大脑区域生成的表征。

此外,研究人员还发现,训练不同任务的模型更能复制听觉的不同方面。例如,训练语音相关任务的模型更接近语音选择区域。

“即使模型看到了完全相同的训练数据,架构也相同,但当你优化某一特定任务时,你可以看到它选择性地解释大脑中的特定调谐属性。” Tuckute说。

McDermott的实验室现在计划利用他们的发现尝试开发出更成功地重现人类大脑反应的模型。除了帮助科学家进一步了解大脑的可能组织方式外,这种模型还可以用于帮助开发更好的助听器、人工耳蜗和大脑机接口。

“我们这个领域的目标是最终拥有一个可以预测大脑反应和行为的计算机模型。如果我们成功实现这个目标,将开启许多大门。” McDermott说。