[论文] Calibrating Criterion Revision in LLM Agents: Failure Modes and a Trace-Anchored Protocol
来源:arXiv AI 论文收录:2026/8/24
✦ AI 解读
本文研究LLM智能体在失败后如何修正其成功标准(criterion revision)的问题。作者提出五个非补偿性条件来判定系统是否形成并持续使用新标准K1:标准失败检测、模型提出建议、新回合迁移、对声称载体的干预敏感性以及保持性。在CMB-0.1数据集上,通过12个跨领域案例和四种实验设置(无状态推理、追加历史、模型生成但由框架管理的状态、评估者编写的真实状态)进行评估,共84次确定性评分试验,并使用了四个本地量化模型。该研究为智能体自我修正机制提供了严谨的分析框架。
Language-model agents can improve after failure or carry text across episodes without revising what counts as success. We study the narrower attribution problem of criterion revision: when criterion K0 accepts an outcome violating a broader commitment B, what observations justify saying that the system formed and persistently used K1? We require five non-compensatory conditions: criterion-failure detection, a model-emitted proposal, new-episode transfer, intervention sensitivity on the claimed carrier, and preservation. We evaluate CMB-0.1 on twelve cross-domain cases and four arms: stateless inference, append-only history, model-generated but harness-committed state, and evaluator-written oracle state. Seven mechanism fixtures yield 84 deterministic scorer trials; four local quantized art
相关推荐
Risk of transmission of amyloid β pathology via transfused blood products
✦ AI 摘要该研究探讨了通过输血传播淀粉样β病理的风险,发表于《柳叶刀》。研究可能涉及朊病毒样传播机制,对血液制品安全性和阿尔茨海默病预防有重要启示。内容来自顶级医学期刊,但属于医学领域,与AI从业者直接关联较低。
NanoGPT Speedrun Frontier
✦ AI 摘要Prime Intellect发布NanoGPT Speedrun Frontier,展示在单台GPU上以极低成本训练GPT-2级别模型的优化技术。文章详细介绍了训练速度提升的多种策略,包括数据加载、混合精度、内核优化等,并提供了可复现的代码。该研究对资源有限的AI开发者具有重要参考价值,引发社区广泛讨论。
[论文] TurboBias 2.0: Streaming Context-Biasing for Production-Efficient ASR Systems
✦ AI 摘要TurboBias 2.0 是一个面向生产环境的 ASR 系统上下文偏置框架,旨在解决流式推理、批量解码、用户特定上下文列表和低运行时开销等实际需求。它扩展了 GPU 加速的 TurboBias,引入不区分大小写的提升图和每流批量解码,使批次中的每个话语都能使用独立的上下文配置,从而实现个性化上下文处理,提升识别准确率并保持高效。