Auto Research（下）：Can We have Kaiming as Personal Advisor

在处理完各种事项后终于有机会把之前的文章收尾，上篇参见

引子：从 Harness Engineering 谈起

在上一篇里，我们梳理了 Auto Research 在真实工作流里的几个主要瓶颈：文献调研偷懒、缺乏科研 taste、长任务容易失忆，以及模型经常在审计环节假装打卡。当时很多人的直觉反应是：这些问题，难道不能靠更严密的工程系统兜住吗？ 这其实也是过去大半年整个社区的重心所在。翁荔（Lilian Weng）在她 RSI 的文章里表达过类似的核心思路：既然基座大模型的单体能力短期内看不到跳跃式提升，那不如把重心放在模型外部的运行时脚手架（Harness）上——通过更严格的上下文管理、确定性的环境检查和审计拦截，让 Agent 能够稳定地跑完长任务。从 Claude Code 到 ARIS 的原生 CLI，再到各种面向科研流程的代码仓库，大家做的事情大体一致：给 Agent 打补丁、立规矩。经过这些工程改造，早期的很多基础 bug 确实被解决了：

防止长任务失忆：把所有状态和实验记录强行卸载到本地磁盘，目录为空直接报错；
防止跳过论文审计：直接在调用链路上挂 Bash 脚本，检查不通过就返回 Exit 1 强行阻断；
防止额度失控：在后台跑守护进程监控 GPU 和显存，同时把简单的格式任务分流给便宜模型。这些工作非常扎实，它把早期到处报错的 demo 变成了一个能在服务器后台稳定运行几天的工程系统。它极大消除了科研流程中的许多不确定性。但当大家真正把这套 Harness 跑顺了之后，一个更深层的问题暴露了出来：

核心困境：Agent 确实变老实了、不撒谎了、按部就班把实验和代码都跑完了，但产出来的研究内容，依然绝大多数都非常平庸。

这也暴露了整个技术圈对 Auto-Research 的一种认知错位：大家似乎都在拼命把 Agent 训练成一个“24 小时不知疲倦、能批量水论文的初级研究生”；但任何一个在一线做过科研的人都清楚，我们真正梦寐以求的，从来不是多雇十个按部就班的机械牛马，而是身边能坐着一个Kaiming级别的 Personal Advisor——在我们面对崩溃的曲线一筹莫展时，看一眼动力学就能指出最本质、最优雅的物理直觉。

一、Harness 解决了工程问题，但解决不了平庸的Taste

1. 本质是控制论系统

剥开各种花哨的 Agent 框架宣传，目前所有科研智能体的核心循环依然非常简单： 执行工具 → 拿到输出 → 塞进上下文 → 预测下一个 Token。在这套循环外包裹一层 Harness，本质上是在搭建一个控制论系统：通过外部规则、日志捕获和负反馈，约束大模型自回归生成时的随机漂移。在这个框架下，Agent 确实成了一个合格的执行工具：它 24 小时在线，老老实实配环境，写完代码自己跑 baseline，看到报错自己根据 trace 修改，甚至能自动把消融实验的折线图画好，按格式填进 LaTeX 模板。单看执行力，它确实挑不出大毛病。

2. 现实情况：产出平庸成果的速度变快了

但当你真正去看它提交的实验方案和论文初稿时，问题就很明显了：Harness 解决了执行流程的可靠性，但解决不了科学想法本身的平庸。系统所做的尝试，基本局限在已知模块的机械排列组合：

把 ViT 里的某个 LayerNorm 换成 RMSNorm，换个名字叫“视觉方差归一化探索”；
在一个已经调优得很充分的 baseline 上，硬塞一个没有太多理论依据的门控模块，跑完几十组超参后发现指标微涨 0.05%；
把在领域 A 常见的方法（比如持续学习），生搬硬套到领域 B（比如知识图谱推理），完全不考虑这个任务在真实场景中是否有意义。这就引出了一个现实矛盾：工程系统越稳定，这种平庸工作的产出速度反而越快。 Agent Loop 本质上只是一个执行通道。输入端的想法如果缺乏深度，外部脚手架搭得再严密，产出的也只是排版工整但缺乏科学价值的代码和文字。

二、为什么纯文本 AutoResearch 注定是在“买彩票”？

这就回到了上篇留下的那个问题：为什么 Agent 缺乏科研 Taste（品味）？

1. 规则化 Taste 的困境

有人曾试图把“品味”显式化：

微调审稿模型：把 OpenReview 上的几十万条 review 和评分拿来微调模型，让它当评审裁判。但实际效果并不理想：模型很难学到深刻的洞察力，反而容易过拟合审稿套话——偏爱复杂的公式推导，看到实验没对比最新顶会就机械扣分。真正有创新但有争议的想法，往往最容易被这种评审模型筛掉。
机构声誉代理：用知名机构作为质量加权。工程上这可以作为特征，但在逻辑上因果倒置：知名机构之所以有声誉，是因为顶尖学者做出了突破，而不是反过来。用机构标签当标准，Agent 学到的只是圈子偏好。

2. 认知模态的视角：Six Bets on Auto-Research

在探讨科研能力能否被自动化时，物理学家、AI 研究者刘子鸣曾提出过一个很有启发的认知坐标系：将科研能力拆解为两个核心维度：

是否可显式化（Explicit）：这种能力能不能被清晰地写成公式、规则或自然语言，还是说属于难以言传的隐性直觉？
是否可外化（Externalized）：这种能力能不能脱离具体的个人存在，被其他人或机器无损继承？围绕这两个维度，可以梳理出六种不同的技术假设与路线押注（Bets）。目前主流的 Auto-Research 路线，本质上押注的都是第一种（Bet 1）： | 认知范畴 | Bet | 认知假设 | 对应技术路线 | 底层逻辑与现状评价 | | :— | :— | :— | :— | :— | | 显性知识 (Explicit) | Bet 1 | 可显式化 + 已充分外化 | 主流 LLM 搜论文
(ArXiv 文本采样) | 认为知识已在公开论文中。刘子鸣直言：“In some sense, this is using an LLM to buy lottery tickets.” | | 显性知识 (Explicit) | Bet 2 | 可显式化 + 尚未完全外化 | AI 科学教材
(Science of AI) | 当前 AI 处于亚里士多德阶段，需人机协同将经验总结为如牛顿力学般的符号系统。 | | 显性知识 (Explicit) | Bet 3 | 可显式化 + 不可外化 | 脑机接口
(BCI) | 认为直觉依赖物理大脑生物载体，无法脱离个体，只能通过高带宽神经接口直接读取。 | | 隐性知识 (Tacit) | Bet 4 | 不可显式化 + 可外化到机器 | 元世界模型
(Meta Model) | 核心探索方向：不强求将直觉翻译成文字，而是复刻形成直觉的过程，让机器在动力学中自发涌现直觉。 | | 隐性知识 (Tacit) | Bet 5 | 不可显式化 + 可外化到人类 | 科研游戏
(AI Game) | 通过极高反馈密度、可成瘾的游戏机制，将海量训练动态注入人类大脑，高频迭代人脑直觉。 | | 隐性知识 (Tacit) | Bet 6 | 不可显式化 + 不可外化 | 悲观假设 | 科研能力属于不可复制的天才偶发物，自动化与规模化科研在物理上不可行。 |

3. 语言空间采样为什么很难带来真正突破？

为什么光靠在论文文本空间里重组，很难抽中真正的创新？主要有三个现实原因： 第一，顶尖学者的核心直觉是写不进论文的“隐性知识”（Tacit Knowledge）。以Kaiming为例，从 ResNet、Mask R-CNN 到 MAE，他的工作往往具有极其清晰朴素的物理直觉——别人都在堆叠复杂度导致梯度发散时，他提出学残差；别人把自监督对比学习做得眼花缭乱时，他直接把 75% 的图像像素盖住做还原。Kaiming 对架构稳定性的判断、对表征塌缩的敏感度，在论文里写清楚了吗？没有。很多时候连作者自己都很难把长年实验内化出的直觉完全用自然语言形式化。既然顶尖学者自己都写不出来，论文里根本没有这部分数据，那只读过论文文本的大模型自然无从学起。 第二，论文从来不是科研过程本身，而是事后的“合理化包装”。一篇顶会论文的诞生，通常是作者在拿到理想实验结果后，经过筛选和整理出来的事后合理化叙事（Post-hoc Rationalization）。中间走错的弯路、草稿纸上被推翻的无数假设、靠经验调出来的超参，大部分都不会出现在正文里。把这些经过脱水的美化材料当作科研知识的全部，让 Agent 在其中切片组合，很容易变成无源之水。 第三，深度学习本身尚未建立起成熟的“科学语言”。今天的 AI 领域，有些类似牛顿力学建立之前的物理学。在亚里士多德时代，人们积累了大量经验：知道重物下落快、知道杠杆原理，甚至能造出复杂的机械。但那时候没有微积分，没有力学三定律，物理经验并没有形成严密的理论体系。深度学习也是如此。我们知道一堆调参技巧，但人类至今连一本真正的《Science of AI》教科书都还没写出来。当人类自己都还没给深度学习发明出成熟的理论工具时，指望一个基于词频统计概率的大模型跨越历史阶段自主搞出大突破，是不现实的。既然在语言空间抽彩票的 Bet 1 注定是死胡同，破局的方向究竟在哪？答案其实就在我们前面的表 1 里——Bet 4：元世界模型（Meta Model）。我们不该强求把专家的隐性直觉翻译成自然语言，而是要让机器直接在物理动力学中复刻这种直觉。这促使我们不得不重新思考科研 AI 的底层范式。

三、范式转移 —— AI4AI 需要自己的“世界模型”

1. 直觉的本质是动力学预测（Vibe Training）

在实际工作中，经验丰富的研究者看模型训练往往有一种直觉：实验不需要完全跑完，甚至只看了前几十步的梯度和 loss 变化，就能大致判断出这组实验最终会不会崩溃，或者方向对不对。圈内常有人开玩笑把这种直觉称为 “Vibe Training”。但抛开玄学外衣，它的本质是研究者大脑里对模型训练过程建立的一套隐式动力学世界模型。在他们眼里，神经网络是一个随时间动态演化的物理系统，能够据此推演微观轨迹。而现有的科研 Agent 对训练过程是缺乏微观感知的。把脚本扔到后台，Agent 就进入了漫长的等待。在这期间，特征流形有没有塌缩、注意力有没有失效，它完全看不到。它只能等几千步全部跑完，读取最终的验证集指标，然后记录一个好坏。只要 Agent 无法在训练中途感知动力学的变化趋势，给它再长的上下文，它也很难掌握这种实验判断力。

2. 人类专家的局限：样本量极小的欠预训练模型

那为什么不把专家的经验全写成规则交给 Agent？现实是：人类专家自己的大脑，在数据量上也极其有限。算一下账就很直观：一个博士生全职做实验五年，每天能完整观察并深入分析的训练过程，平均也就 3 到 5 次。五年下来见过的完整训练动态通常也就几千次。如果是百亿千亿级的大模型，很多工程师一生参与的完整预训练可能只有几次。在机器学习的视角下，只见过几千条样本的系统，显然是一个严重欠预训练（Under-pretrained）的状态。这就导致人类经验常常伴随着局部过拟合：在计算机视觉（CNN）时代积累的直觉，搬到 NLP 的 Transformer 上很多直接失效；在 1B 模型上有效的技巧，放大到 70B 时可能会引发未预期的异常。人类自身的经验库容量有限，光靠人工总结规则，覆盖面远远不够。

3. 破局路径：玩具模型（Toy Models）作为合成数据

如果人类经验不够，文本重组又存在天花板，还有什么可行的路径？具身智能领域的做法提供了一个参考：仿真器与合成数据。物理机械臂在现实世界中收集数据成本极高，具身智能很大程度上依赖于 Isaac Sim 或 MuJoCo 等仿真环境：在数字空间中加速运行，生成大规模物理交互数据，完成低成本的技能预训练。在 AI4AI 领域，模块化的“玩具模型”（Toy Models）可以扮演合成数据的角色。过去，Toy Model 往往只是写论文时用来做机理说明的小实验。但在自动化视角下，可以建立玩具模型的自动生成管线：

自动拼接各种基础架构模块（不同的非线性激活、残差连接路径、归一化位置）；
配合不同的合成任务（模加法、合成逻辑树、符号对称性）；
快速遍历超参组合。一个玩具模型几百毫秒就能跑完一个训练周期。一块普通 GPU，一天能跑完数百万条微观动力学演化轨迹。在这个环境里，Agent 学习的目标不是在特定任务上刷准确率，而是学习模型配置到训练动力学之间的映射规律：输入是架构拓扑与超参，输出是梯度信噪比、注意力熵、特征流形维度在训练过程中的演化轨迹。通过在海量玩具模型上的预训练，让系统逐步建立起自己的 AI 动力学世界模型（Meta Model）。在面对真实任务时，它就可以提前进行微观推演，预判哪些改动更有可能稳定收敛。许多习惯了大模型工程的人第一反应会质疑：玩具模型未免太简陋了，这能外推到真实的大规模网络吗？但在严谨的物理科学史中，伽利略研究自由落体并不是直接去测空气中飘落的羽毛，而是从阻力极小的光滑斜面滚铁球开始；孟德尔发现遗传规律也是从数豌豆起步。玩具模型的目的从来不是去复刻 GPT-4 的参数量级，而是以极低的算力成本剥离现实噪音，去提炼特征流形坍缩、谱有效秩演化等基础动力学规律的“物理不变量”。

四、工程重构：从黑盒训练到微观动力学诊断

1. 宏观规律与微观诊断的互补

讨论微观机制时，不能走向另一个极端去否定 Scaling Law。Scaling Law 是深度学习中极其坚实的宏观经验法则。它就像天文学中的开普勒定律：用简洁优美的幂律量化了算力、参数与 Loss 的宏观演化趋势，为大模型工程提供了清晰的参考基准。但宏观法则回答不了微观层面的具体故障。天文学史上，开普勒能够总结出三定律的前提，是第谷用极高精度记录了海量行星运动的反常数据。没有高精度的微观观测，规律与机制就缺少落地的抓手。在模型训练中也是类似的逻辑：Scaling Law 能给出算力扩展下的全局预期，但它无法直接解释具体的工程疑难：为什么训到特定 Step 会突然发生数值溢出？为什么某种新设计的架构在小模型上表现亮眼，尺度放大后却发生特征退化？长期以来，大多数实验的监控手段依然比较粗糙，往往主要观察 train_loss 和 val_loss 两条折线。在两个最终标量面前，模型内部发生的一切依然是黑盒。

2. 引入内部物理可观测量（Observables）

要让上一章提到的“AI 动力学世界模型”真正运转起来，首先得给它装上感知微观环境的“眼睛”。正如自动驾驶的物理世界模型需要激光雷达和速度计一样，AI 动力学世界模型同样需要自己的状态变量（State Variables）——这就是liuziming的实验里 100 多个内部物理可观测量（Observables）的真正使命。它们不是画在看板上给人看热闹的，而是构成世界模型的微观感受野： | 微观物理域 | 探针维度 | 物理可观测量 (Probes) | 微观诊断目标与相变信号 | | :— | :— | :— | :— | | 优化动力学 | 梯度动力学
(Gradients) | 梯度谱有效秩 (Spectral Rank)
梯度信噪比 (GSNR) | 监控反向传播中跨层梯度的各向异性分布，微秒级捕捉梯度消失、爆炸或秩塌缩前兆。 | | 优化动力学 | 曲面几何
(Curvature) | Hessian 锐度与最大特征值
(Hessian Sharpness / $\lambda_{\max}$) | 轻量化动态估计局部损失曲率，精确判断模型是否正处于“稳定性边缘 (Edge of Stability)”。 | | 网络表征与几何 | 表征流形
(Representation) | 参与比 (Participation Ratio)
注意力矩阵熵 (Attention Entropy) | 量化隐藏层特征空间的实际有效几何维度；实时监控注意力从均匀弥散向聚焦的相变跃迁。 | | 网络表征与几何 | 权重演化
(Weights) | 权重范数漂移率
参数更新角速度 (Angular Drift) | 监控参数在平坦极小值与尖锐鞍点之间的迁移速度，感知深层对称性破缺。 | 装上这些探针之后，训练过程在研究者和系统面前才真正变得透明。修改一个模块，不必等几千步全部跑完去看验证集，而是在前几十步就能清晰捕捉到：梯度的信噪比是高是低？隐藏层特征的有效维度有没有坍缩？局部损失曲率是在平缓区域还是处于发散边缘？很多异常在萌芽阶段就能通过探针被定位，而不是只能在训练炸掉后盲目回滚重试。

3. 实证案例：从盲目试错到动力学闭环

针对 Grokking（顿悟）现象的机理探索与加速实验便是一个直观的案例（参考刘子鸣的博客《Discovering 108 tricks that accelerate grokking》）。在算法推理任务中，模型常常出现一种特殊状态：训练集准确率早已达到 100%，但测试集准确率却长期在 0% 徘徊，直到几万步后才突然顿悟。在只看准确率的传统视角下，那段漫长的平缓期就像是死胡同，研究者很容易判定模型陷入了过拟合而提前放弃。但在引入可观测量后，内部过程就清晰了：虽然测试集准确率没有变化，但隐藏层的权重范数一直在持续衰减，表征流形的有效秩也在悄悄变化，模型正在从“死记硬背”向具备泛化能力的几何表征平滑过渡。有了这些可观测信号，自动化探索才有了明确的牵引目标。系统不再是在参数空间里做无头苍蝇式的暴力搜索，而是能够形成一个严密的科研闭环： 监控动力学特征 → 定位演化瓶颈 → 针对性提出干预假设 → 微调结构或超参 → 验证因果响应。沿着这种白盒诊断思路，研究者系统性挖掘出了 108 个能够加速顿悟相变的技巧（涵盖权重衰减策略、归一化微调、初始化分布等）。更重要的是，这种探索模式推动了科研产出形态的重构：自动科研的核心沉淀，不一定非要局限于 8 页的 PDF 论文，而是一套包含实验因果链、可复现节点的结构化知识图谱与模块化实验流图（类似 ComfyUI 的可视化 DSL）。每一次尝试都是对知识图谱的增量扩充，可复现、抗遗忘。

五、重新思考人机协作：理解先于自动化

1. 审视商业“保发 CCF-A”系统

理解了技术本质之后，再去看市面上一些号称“全自动保发顶会”的商业系统，其内在逻辑就会非常清晰。这些系统并不是在科研机制上取得了突破，而主要是利用学术同行评审机制（Peer Review）的实际漏洞进行工程套利：

寻找冷门切口：检索顶会边缘领域，挑选缺乏充分同行防守的细分任务；
常规模块拼装：将成熟的开源模块、常见的损失函数与归一化方式进行组合；
挑选有利结果：跑多个随机种子，挑选局部测试集上微弱领先 0.1% 左右的指标，同时不深入优化 baseline；
规范化文本生成：利用前沿语言模型生成格式严密、表达流畅的 LaTeX 初稿；
DDoS攻击：总有不负责的审稿人。这本质上是对学术评价规则的工程套利，而不是科学发现的自动化。如果 Auto Research 的尽头只是流水线式生成这种无人问津的论文，那它从一开始就走偏了。

2. 人机协作的分工边界

尾声：Can We have Kaiming as Personal Advisor?

回到最初那个听上去有些美好的问题：我们到底能不能拥有一个Kaiming级别的 Personal Advisor？ 如果你的期望是今天市面上流行的各类 Auto-Research 系统——给它一个 GitHub 链接和几百美金 API 额度，指望它几天后自动交出一篇能中顶会的论文，那答案显然是否定的。你得到的不会是一个Kaiming，而是一个表面上任劳任怨、实际上缺乏判断力且需要你不断给它擦屁股的初级实习生。因为顶尖学者之所以不可替代，从来不是因为他们写代码的速度有多快，也不是因为他们刷消融实验的精力有多充沛，而是那种面对复杂系统时化繁为简的Taste：

当大家都在想方设法加深网络却饱受梯度发散困扰时，他敏锐地抓住本质：为什么非要网络逼近恒等映射，为什么不直接学残差？（ResNet）
当大家把自监督对比学习的数据增强搞得眼花缭乱时，他选择剥离所有复杂操作：为什么不干脆把 75% 的像素盖住做直接重建？（MAE）这种洞察力深植于对模型内部表征与训练物理的深厚直觉中，它写不进公开论文的公式推导里，更无法通过在纯文本空间里算概率被简单采样出来。圈内其实一直有一种针锋相对的争论：在算力扩展与高通量搜索面前，所谓的“科研 Taste”真的有那么重要吗？比如翁家翌曾表达过类似的务实观点，认为不必过度神化 Taste，算力与工程搜索才是主导。但在我看来，这很大程度上源于一种顶级实验室的“幸存者偏差”——当你身处全世界人才密度最高的机构之一，周围每个人都具备顶尖的科研素养时，Taste 就成了大家呼吸的空气，稀缺的反而是算力与工程吞吐。而在更广泛的绝大多数科研场景下，Taste 依然是极其稀缺的决定性杠杆。没有穿透复杂系统的直觉，算力越大、工具越自动化，往往只是生产平庸垃圾的速度越快。正因如此，只要底层的范式还是“拿着语言模型在 ArXiv 文本空间里买彩票”，外面包裹再多层的 Harness，也绝不可能凭空孕育出一个高水平的科研顾问。但这并不意味着我们永远无法让机器具备顾问级的智慧。恰恰相反，当我们将范式从“纯文本生成”转向“动力学世界模型”时，一条全新的路径正在铺开：
给模型装上百余个内部物理探针，让机器拥有观测微观演化的眼睛；
在海量玩具模型（Toy Models）的合成空间里高速推演，让系统逐步建立起对实验配置与训练动力学的因果世界模型；
用模块化的实验流图与结构化知识图谱，替代注水格式化的 PDF 作为科研资产的沉淀。到了那一天，机器可能依然不会去写花哨的八股引言，但当你把一个训练发散的实验抛给它时，它能够像一个真正的 Advisor 一样，结合动力学图谱平静地指出核心症结所在：“别在外面加复杂的注意力了，第 1200 步流形秩就已经塌缩了，调整一下归一化尺度，明天就能收敛。” 理解先于自动化。在人类尚未摸透热力学原理之前，高效的热机无从谈起；在尚未厘清半导体物理之前，现代集成电路也无法诞生。AI4AI 亦是如此：只有把深度学习本身当作一门严密的实验物理科学来对待，自动化科研才能从虚浮的文本套利走向坚实的机理发现。在这个人机协作新范式的黎明前夜，打磨属于自己的科学品味，学会像物理学家一样去观测真实反常——你的判断力，依然是这个时代最稀缺、最不可被替代的资产。