[论文] TreeWY: Speculative Verification for Gated DeltaNet Hybrids
来源：arXiv AI 论文收录：2026/8/24
✦ AI 解读
TreeWY提出了一种针对Gated DeltaNet混合模型的投机验证方法。传统方法需在每个草稿位置保存完整循环状态快照，导致树形草稿内存开销大。TreeWY利用树结构WY变换，通过单次三角求解计算所有草稿节点输出，仅提交时重建接受状态，存储小型伪值矩阵，显著降低内存占用，使宽树高接受率场景可行。
Modern open models are hybrids: most layers are linear-attention (Gated DeltaNet, GDN) layers carrying a small fixed-size recurrent state instead of a growing key-value (KV) cache. This makes ordinary decoding memory-efficient, but hurts speculative decoding. To verify a batch of draft tokens and then roll back the rejected ones, today's systems snapshot the full recurrent state at every draft position for GDN layers, and those snapshots cannot be shared across branches of a draft tree, so a wide, high-acceptance tree becomes memory-infeasible. We remove the snapshots. Using a tree-structured WY transform of the gated delta rule, we compute every draft node's output with a single triangular solve and reconstruct only the one accepted state on commit, storing a small pseudo-value matrix ins
相关推荐
Risk of transmission of amyloid β pathology via transfused blood products
✦ AI 摘要该研究探讨了通过输血传播淀粉样β病理的风险，发表于《柳叶刀》。研究可能涉及朊病毒样传播机制，对血液制品安全性和阿尔茨海默病预防有重要启示。内容来自顶级医学期刊，但属于医学领域，与AI从业者直接关联较低。
NanoGPT Speedrun Frontier
✦ AI 摘要Prime Intellect发布NanoGPT Speedrun Frontier，展示在单台GPU上以极低成本训练GPT-2级别模型的优化技术。文章详细介绍了训练速度提升的多种策略，包括数据加载、混合精度、内核优化等，并提供了可复现的代码。该研究对资源有限的AI开发者具有重要参考价值，引发社区广泛讨论。
[论文] TurboBias 2.0: Streaming Context-Biasing for Production-Efficient ASR Systems
✦ AI 摘要TurboBias 2.0 是一个面向生产环境的 ASR 系统上下文偏置框架，旨在解决流式推理、批量解码、用户特定上下文列表和低运行时开销等实际需求。它扩展了 GPU 加速的 TurboBias，引入不区分大小写的提升图和每流批量解码，使批次中的每个话语都能使用独立的上下文配置，从而实现个性化上下文处理，提升识别准确率并保持高效。