(来源:机器之心)

用 Agent 跑长程任务时,模型推理和工具调用的历史轨迹会随着任务进行越积越多。超长的历史轨迹会显著拖慢模型的速度并带来高昂的费用。

目前常见的上下文工程(Context Engineering),主要通过裁剪 [1] 或总结 [2] 来压缩历史文本。然而,早期文本一旦被修改,模型已经计算的后续缓存(KV cache)会随即失效,剩余文本必须重新输入模型计算(re-prefill),引入额外延时和成本。此外,压缩也会丢失历史信息,影响 Agent 任务的成功率。

针对这一问题,清华与香港中文大学的研究团队提出了缓存工程(Cache Engineering),并开源了对应的推理系统 AKV。缓存工程不压缩历史文本,而是允许 Agent 直接管理后续推理使用的缓存(KV Cache),同时加速运行、降低成本并提高任务成功率。在三个模型、四个 Agent 任务的评测中,缓存工程相比上下文工程,平均推理成本降低 27.7%,平均任务成功率提升 1.7%。

本文的共同第一作者为清华大学电子系 NICS-EFC 实验室的博士生傅天予、本科生王若溪和闵子涵。

  • 论文标题:Cache Engineering for Agents

  • 论文链接:arxiv.org/abs/2610.28577

  • 项目主页:fuvty.github.io/thinking_yard_project_page/projects/akv/

  • 开源代码:github.com/thu-nics/AKV

上下文工程:重算缓存引入额外代价

以「通过多轮网页搜索回答用户问题」为例,上下文工程的做法是删掉已阅读的旧网页。这看起来只是少了一些文字,但后续推理的 KV 缓存,是在「读过这段网页」的条件下算出来的。删掉前文后,就得把保留部分重新算一遍,这就是 re-prefill。

论文发现,在 BrowseComp-Plus 任务上,如果只保留最近 12 轮工具调用的结果,总推理成本反而会达到完整上下文的 1.85 倍。这揭示了上下文工程的主要问题:直接修改上下文,导致缓存重算,引入的额外成本有时反而超过其省下的成本。

研究团队因此把关注点转向缓存本身:能否少读一些缓存,同时让已经算好的状态继续用?

缓存工程:直接管理缓存,避免缓存重算

相比上下文工程的文本修改,缓存工程保留所有历史文本,直接缩减不再需要的 KV,继续复用其余缓存。

保留下来的 KV 还可能携带已移除历史的信息。例如,旧网页参与过后续推理,即使网页自身的 KV 缓存被移除,后续推理的 KV 缓存仍可能保留其中的部分信息。

在缓存工程中,团队提供了三种操作:

Append:追加 KV。 计算新 token 并将其加入缓存。

Drop:移除 KV。 让选中的 KV 退出后续计算,减少后续计算。

Repos:位置编码重排。 调整保留缓存的位置编码,避免超出模型支持范围。

与操作文本不同的是,直接操作缓存能够复用已经计算过的缓存,并不需要缓存的重算。

Agent 与 Harness 可以根据任务进展组合缓存操作,决定每一步实际使用哪些缓存。

AKV:支持缓存操作的推理服务系统

为了实现缓存操作,研究员团队基于 SGLang [3] 开发了对应的模型推理系统 AKV。对使用者来说,AKV 的接口很简单:照常提交完整消息历史,再附上缓存操作记录,说明何时移除哪些 KV、何时重排位置。

论文中的请求示例。messages 保留完整消息历史,cache.drop 指定缓存移除操作,cache.reposition 指定位置重排操作。右侧标注用于解释,不属于实际请求 JSON

图中的 messages 保留完整消息历史;cache.drop 中的 "1": [0],表示处理完消息 m₁ 后移除消息 m₀ 的 KV;cache.reposition 中的 [2],表示处理完消息 m₂ 后执行 Repos。

这样,Agent 可以专注于「保留什么、何时移除」,具体如何复用、释放和恢复缓存,由 AKV 负责所有细节,包括:

  • 判断哪些缓存可以复用。 同时核对文本与操作历史,避免把不同来源的状态混用。

  • 释放不再需要的缓存。 某个请求移除了 KV,也要确认其他请求是否还需要它,才能回收对应存储。

  • 恢复缺失的状态。 在一次 prefill 中重建所需缓存。

要实现支持缓存操作的推理系统,团队主要解决了缓存状态匹配的问题。同样的文本,经历不同的操作顺序,可能对应不同的 KV 状态。如下图所示,对 A、B、C 三段信息,先生成 C 再移除 A 的缓存,与先移除 A 的缓存再生成 C,最后都留下 B 和 C,但 C 生成时能看到的缓存不同,最后得到的 C 的状态也就不一样。AKV 通过扩展的 radix tree(如下图 c)能够正确高效处理所有的缓存操作。

实验结果:任务表现与服务效率

研究团队在 MiniMax-M2.7 [4]、GPT-OSS-120B [5] 和 MiroThinker-1.7-Mini [6] 上进行评测,覆盖 BrowseComp-Plus [7]、GAIA-Text [8]、SWE-bench Verified [9] 和 xbench-DeepSearch-2510 [10] 四个 Agent benchmark,包含搜索与软件工程任务。

在这组评测中,相比 Standard,AKV 的平均推理成本降低 27.7%,平均成功率提升 1.7 个百分点;相比 Text Engineering,平均成本也降低了 21.9%。

这些结果来自三种设置的比较。其中,Standard 和 Text Engineering 属于 Context Engineering,AKV 使用 Cache Engineering:

  • Standard: 达到较高上下文阈值后触发摘要。

  • Text Engineering: 采用与 Standard 相同的摘要策略,但将触发阈值统一降低到 48K token。

  • AKV: 保留推理状态和最近 12 条工具回复的 KV。

推理服务速度也有提升:在 8 张 A800-80GB GPU 上,研究团队使用 GPT-OSS-120B,AKV 的输出吞吐量达到 Standard 的 1.18 倍,P95 请求延迟缩短约三分之一,对应约 1.51 倍加速。

这些收益也体现在实际完成任务的过程中。在另一组 SWE-bench Verified 的任务中,AKV 用更少的 GPU 时间达到了更高的成功率。

RSI:让 Agent 自己改进缓存策略

保留最近 12 条工具回复只是 Cache Engineering 的一个起点。不同任务需要的信息并不一样,哪些状态值得多留一会儿,哪些可以早点移除,也可以交给 Agent 去探索。

研究团队进一步开展了 RSI 实验,让 MiniMax-M2.7 在 20 个 BrowseComp-Plus 任务上搜索、评估并迭代缓存策略,再用独立的 100 个任务检验效果。

在与 Standard 准确率持平的同时,Agent 找到的策略相比人工设计策略进一步降低 7.1% 的成本。

有了可操作的接口,Agent 也就能尝试不同的缓存用法,再根据任务表现和成本继续调整。

总结与展望

这项工作的核心,是提出缓存工程,把 KV 缓存也变成 Agent 和 Harness 可以直接管理的对象。

为了便于探索这一维度,研究团队实现了 AKV 推理服务系统,通过简单的接口开放缓存操作。开发者因此可以把精力放在策略本身:哪些信息值得保留、何时移除旧缓存,以及如何根据任务进展调整这些决策。

文中的滚动删除策略和 RSI 实验,是沿着这一方向做出的初步探索。借助 Cache Engineering 和 AKV,开发者可以面向不同模型、任务和预算,探索更丰富的 KV cache 操作及其组合,为 Agent 与 Harness 设计更合适的上下文管理策略。

参考文献

[1] Lindenbauer, T., Slinko, I., Felder, L., et al. The Complexity Trap: Simple Observation Masking Is as Efficient as LLM Summarization for Agent Context Management. arXiv:2508.21433, 2026.

[2] Wu, X., Li, K., Zhao, Y., et al. ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization. arXiv:2509.13313, 2026.

[3] Zheng, L., Yin, L., Xie, Z., et al. SGLang: Efficient Execution of Structured Language Model Programs. NeurIPS, 2024.

[4] Chen, A., Li, A., Zhou, B., et al. The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence. arXiv:2605.26494, 2026.

[5] Agarwal, S., Ahmad, L., Ai, J., et al. gpt-oss-120b & gpt-oss-20b Model Card. arXiv:2508.10925, 2026.

[6] MiroMind Team. MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification. arXiv:2603.15726, 2026.

[7] Chen, Z., Ma, X., Zhuang, S., et al. BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent. arXiv:2508.06600, 2026.

[8] Mialon, G., Fourrier, C., Swift, C., et al. GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983, 2023.

[9] OpenAI. Introducing SWE-bench Verified. 2024.

[10] xbench. xbench-DeepSearch-2510. Hugging Face dataset, 2026.