来源。 https://moonshotai.github.io/Kimi-Researcher/（June 20, 2025）
相关学术论文为 *Kimi k1.5: Scaling Reinforcement Learning with LLMs*（arXiv:2501.12599，Submitted 22 Jan 2025，last revised 3 Jun 2025，v4）。其标题并非 “Kimi-Researcher”。下文引用取自该报告。
摘要
Meet Kimi-Researcher, an autonomous agent that excels at multi-turn search and reasoning. It performs an average of 23 reasoning steps and explores over 200 URLs per task. Built on an internal version of the Kimi k-series model and trained entirely through end-to-end agentic reinforcement learning (RL), it achieved a Pass@1 score of 26.9%—a state-of-the-art result—on Humanity's Last Exam, and Pass@4 accuracy of 40.17%. Starting from an initial HLE score of 8.6%, Kimi-Researcher reached 26.9% almost entirely through end-to-end RL training, providing compelling evidence that end-to-end agentic RL can significantly advance agent intelligence.
开篇给出系统形态与主要数字：平均 23 步推理、每任务检索超过 200 个 URL；Humanity's Last Exam 上 Pass@1 为 26.9%、Pass@4 为 40.17%；由 8.6% 升至 26.9%，报告将其归因于端到端 Agent 强化学习。
总结
报告描述的是闭环研究型 Agent，而不是一次检索后的摘要。给定问题后，策略阅读已有证据，选择搜索、浏览或执行代码，保留有用观察，并在给出答案时停止。训练被表述为端到端 Agent 强化学习：控制轨迹的策略由学习得到，配合结果奖励、on-policy rollout、上下文管理与异步基础设施。Humanity’s Last Exam 报告为 Pass@1 26.9%、Pass@4 40.17%，起点为 8.6%。这些数字描述该基准上的训练结果，并非产品准确率。报告未公开全部训练数据、完整奖励细节、权重与整条评估流水线。
详细解读
“端到端”所指为何
End-to-end agentic reinforcement learning trains a single model to solve problems holistically: given a query, the agent explores a large number of possible strategies, receives rewards for correct solutions, and learns from the full trajectory.
该表述并不意味着系统中没有工具，而是指控制轨迹的策略由训练得到，而不是由固定工作流拼接。规划、感知与工具使用被一并优化。训练数据经合成与过滤：需要工具的题目，以及需要多步推理的题目。含糊、过易与答案错误的样本被剔除。Pass@N 用作难度过滤。
模型主要以 REINFORCE 训练。格式惩罚作用于非法工具调用，以及超出上下文或轮次上限的轨迹。正确性在格式有效时，将最终答案与核验过的标准答案比较。成功轨迹加入 gamma 衰减，使较短的正确路径优于较长路径。
On-policy 生成与记忆
During training, we disable LLM engine mechanisms like toolcall format enforcers to ensure each trajectory is generated entirely based on the model's own probability distribution.
因此，rollout 来自当前模型。若训练仅使用格式正确的工具调用，策略将无法遇到其实际产生的错误。过多负样本可能压低 token 概率并导致熵坍缩；报告丢弃部分负样本以保持探索。
To address this, we design a context-management mechanism that allows the model to retain important information while discarding unnecessary documents, thereby extending a single rollout trajectory to over 50 iterations.
持续追加全部文档的朴素 Agent 约在 10 轮内触及上下文上限。早期消融报告，使用上下文管理后迭代约增加 30%，表现随之提高。较大的上下文窗口只是存储。Agent 记忆是关于下一步仍应可见哪些论点、证据与来源线索的决定。
基础设施与结果解读
We implement a fully asynchronous rollout system with extensible Gym-like interfaces.
任务时长差异很大。同步批次会使加速器等待最慢的轨迹。报告采用全异步 rollout、轮次级部分 rollout（超时任务被保存，稍后以更新后的权重继续）以及带状态的工具会话沙箱。
Combined with adapted algorithms, this mechanism delivers substantial rollout acceleration (at least 1.5x).
xbench-DeepSearch 报告为四次平均 Pass@1 69%。FRAMES、Seal-0 与 SimpleQA 被描述为表现较强。报告同时说明：搜索工具随时间变化，部分小规模集合经过平均，答案由 o3-mini 评分，对照数字来自论文或排行榜。协调冲突来源、寻求额外核验等行为被描述为更为常见。较为谨慎的读法是：环境对这些策略给予了奖励。这并不意味着意识。
证据边界
报告未公开全部训练数据、完整奖励细节、权重与整条评估流水线。底座为 k 系列内部检查点。增加搜索可能提高时延而不提高可靠性。结果奖励未必指出中间哪一陈述首先出错。压缩上下文可能删除关键证据。训练方向可概括为：可核验的困难任务、on-policy 探索、结果奖励、受管理的上下文，以及异步基础设施。在这一论述中，研究型 Agent 并非仅仅存储更多事实的模型，而是被训练为发现证据不足、收集证据、比较备选方案，并在答案可被支持时停止的系统。