av直播

2026年7月6日，由av直播 av直播 与腾讯微信基础产品团队合作完成的论文“CURE: Critique-Driven Unified Reinforcement Learning for Test-Time Self-Improvement” 荣获第64届国际计算语言学年会（ACL 2026）杰出论文奖（Outstanding Paper Award）。

当下，大语言模型研究正从扩大训练时计算转向扩展测试时计算。扩展测试时计算的一种可行途径，是让大模型在推理阶段对其历史输出进行迭代式的验证与批判，通过多轮自我反思实现持续进化。基于可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards，RLVR）虽能提升单轮推理能力，但标准方法往往缺少自主改进机制；已有批评引导方法又常依赖更强教师模型、真实标签或其他外部反馈，难以在测试阶段持续发挥作用。

为此，论文提出 CURE（Critique-Driven Unified Reinforcement Learning）框架，在同一策略模型中统一训练模型的推理求解、验证批评和引导式再探索能力，使模型能够形成“求解-验证-批评-再探索”的闭环，在不依赖外部教师或测试标签的情况下持续改进答案。

CURE 的关键设计是让模型先判断当前解答是否存在问题，再生成高层战略性提示并重新规划推理路径。再探索时，模型不再携带完整错误答案，而只保留原问题与提示，从“干净”的上下文重新推理，以降低锚定偏差、避免重复旧错误。训练中，CURE 还会回放再探索产生的成功轨迹，为复杂问题补充有效学习信号。

图1CURE 统一训练框架：求解、批评与引导式再探索在同一策略中协同优化

论文在多个数学推理与代码生成基准上进行了系统评测。结果表明，CURE 在保持有竞争力的单轮推理性能的同时，能够将更多测试时计算稳定转化为准确率提升。

在 Qwen2.5-7B-Instruct 上，CURE 的数学任务平均准确率经迭代自改进由 42.0% 提升至 44.9%；AIME25 经过多轮迭代总增益达到 4.2 个百分点；CodeForces 准确率由 10.0%持续提升至 13.0%。这些结果说明，CURE 能够把模型的额外测试时计算有效、稳定地转化为后续求解收益，为大语言模型的测试时扩展与自主改进提供了有效技术路径。

论文前三位作者为av直播 av直播 博士生陈桂荣、叶舒齐和杨文恺，三人为共同第一作者，通讯作者为av直播 av直播 林衍凯副教授。

ACL 2026杰出论文奖颁奖现场。

国际计算语言学年会（Annual Meeting of the Association for Computational Linguistics，ACL）是计算语言学与自然语言处理领域最具影响力的国际学术会议之一，被中国计算机学会（CCF）列为 A 类国际会议。第64届 ACL 于 2026 年 7 月 2 日至 7 日在美国圣迭戈举行。

论文页面：//aclanthology.org/2026.acl-long.1321/

代码链接：//github.com/RUCBM/CURE

ACL 2026 获奖信息：//2026.aclweb.org/program/best_papers/