Blog
技术实践、长期思考,以及生活中的小发现。
评测 AI 插件:为什么运行框架会改变结果?
从 BLS 插件案例理解三层评测、工具调用轨迹和模型与运行框架的兼容性。
Harness 工程如何推动自我改进:Lilian Weng 双语阅读
从工作流、文件记忆与子智能体出发,梳理 Harness 如何成为自我改进的对象;附完整英文、中文译文、图表、公式与参考文献。
评测意识与目标意识:原文、中文译文与阅读批注
对照阅读 OpenAI 关于评测与实际部署行为差距的研究:英文在左、中文在右,顶部保留阅读笔记,点击高亮内容查看讨论解答。
Anthropic Eval / Data 技术文章索引与中文摘要
汇总 22 篇与模型评测、数据集、数据质量及合成数据相关的官方和研究员文章,按发布日期倒序提供原文链接与中文导读。
Google 与 Google DeepMind Eval / Data 技术文章索引与中文摘要
汇总 42 篇与模型评测、数据集、数据质量及合成数据相关的官方和研究员文章,按发布日期倒序提供原文链接与中文导读。
OpenAI Eval / Data 技术文章索引与中文摘要
汇总 70 篇与模型评测、数据集、数据质量及合成数据相关的官方和研究员文章,按发布日期倒序提供原文链接与中文导读。
没有第二次预训练:读懂 801 的自我改进、记忆与智能体数据
沿着 801 技术报告,梳理三类改进循环、后训练潜力和 PR 轨迹数据,并保留关于 Muon、DP/EP、框架与采样温度的阅读问答。
Agent Substrate 阅读笔记:让智能体等待时释放计算资源
按 Google Cloud 原文梳理执行隔离、快速挂起恢复、Kubernetes 分工与共享存储,并辨清密度、延迟和可用范围的含义。
怎样监控一个会行动的 AI?带着问题读 OpenAI 对齐监控
沿原文顺序整理 OpenAI 的前沿模型监控,结合 14 个阅读疑问,厘清 L1/L2、升级标准、召回率与思维链监控。
为什么我现阶段把方向放在后训练数据上
结合近期阅读和自己的现实条件,我把技术方向逐渐收拢到后训练数据的生产与评测。这篇文章记录我目前的判断。