发布:2026-08-01 浏览:211 次
科学家长期以来认为学习速度主要取决于我们的经验——我们尝试和成功的次数——而非奖励的大小。我们打扑克变得更好是因为我们不断玩并获胜,无论奖金是100美元还是1亿美元。但新的研究表明,奖励的大小比之前认为的更为重要。
2026年,研究人员在《Science》上发表了题为“Reward magnitude determines reinforcement learning efficiency”的研究。该研究通过五个行为范式的系统实验,发现将奖励分配为少数几次大额奖励(而非大量小额奖励)可大幅提升小鼠的学习效率。例如,在隐藏目标导航任务中,接受每次100微升大额奖励的小鼠在不到10次奖励后即可在一天内学会任务,而接受标准5微升小额奖励的小鼠需要数百甚至数千次奖励、耗时数周才能达到同等水平。大额奖励通过延长腹侧被盖区多巴胺神经元的激活时程,同时提升了三个关键学习组分:单次试验的学习速率、跨会话学习成果的保存能力以及任务参与度。其中,任务参与度是决定个体学习速度差异的最大因素。研究还利用光遗传学技术,人为延长标准奖励所伴随的多巴胺信号,同样能够加速学习。该研究证明,传统实验范式可能严重低估了动物的学习效率,而合理分配奖励大小可为复杂认知任务的训练提供新策略。
奖励大小如何影响学习速度
与其他所有神经科学实验室一样,Dudman实验室一直认为动物学习缓慢,即使是学习简单任务也需要数百次重复,每次都有小额奖励。神经科学家从未想过要检验奖励的大小是否会影响学习。“整个领域几十年来都是这么做的,我是说字面意义上的,从来没有人检查过,”研究人员提到。
当团队决定验证这一假设时,结果令人震惊。口渴的小鼠如果被奖励几大口水作为任务奖励,学得比只喝多口小口的小鼠快得多——这就像给人类一块饼干和一块M&M的区别。动物们没有花上几天时间通过成千上万的小奖励来学习任务,而是在一天内学会了,且获得的奖励少于10个。
令人惊讶的是,尽管动物对该任务的经验较少,个体之间的变异性也大幅下降。通常情况下,一只小鼠可能在一周内成为专家,而另一只需要一个月才能学会同样的任务。有了更大的奖励,所有动物都在几天内学会了任务。
从少量的非常大的奖励中学习可以非常快
“作为神经科学家,我们习惯于接受这样一个事实:我们需要训练这只动物几周,最终它们会开始看起来像是知道怎么回事,”研究人员说。“但现在,一天后,我只能看这些老鼠完美地完成任务。”
多巴胺如何控制学习速度
研究人员发现,大额奖励增加了三个影响动物学习速度的组分:
l每次重复中学到的量
l每天学习成果的保持程度
l每个学习过程中的参与度
与较小的奖励相比,更大的奖励产生了更大的多巴胺升高——多巴胺是大脑中帮助调节学习和动机的化学信使。重要的是,研究团队还发现,与更大奖励相关的多巴胺信号持续时间更长。当他们人为延长与小奖励相关的多巴胺信号时,他们发现学习也加速了。
研究团队发现,更长的多巴胺信号使动物在每次试验中学到更多,并保持更高的任务参与度,从而导致更快的学习。任务参与度也是个体学习差异的最大决定因素。
“我们认为,当我们在这些实验中使多巴胺反应变得更大时,我们正在把我们‘教室’里所有的‘孩子’变成真正投入的学生,” 研究人员说。
交替的大奖励加快复杂决策任务的学习
对神经科学研究的启示
这项新工作可能改变神经科学家研究技能学习的方式。使用大额奖励可以缩短训练时间和变异性,使学习过程更容易研究。Dudman实验室已经在他们的工作中使用大额奖励。“它或多或少地改变了我们目前所有项目的进行方式,” 研究人员说。
这也表明,小鼠有可能被训练完成比以前认为的更复杂的任务,使研究人员能够探索以前无法企及的学习和认知问题。“除了非常真实的实践层面,我们可能最终还会研究以前未意识到可以在小鼠身上研究的认知新方面,” 研究人员说。“如果我们能让他们适当地参与任务,谁知道他们能学到什么。
参考文献
资讯来源