从一条朋友圈广告说起
今年年初，有参会的时候添加的 Researcher在朋友圈里发广告：”1 万块人民币，签合同保发一篇 CCF-A。” 说实话，大多数人对这类消息已经免疫了。Tim 在 Seedance 发布时的反应很典型 —— 又一个模型更新，大概率还是噱头大于实际能力，看看就好。我自己最初也是这个心态。 但那会横空出世的 FARS 不太一样。它不是发一个 demo 然后让你想象未来，而是直接开始连续工作 —— 平均不到一天产出一篇完整文章，评分超过 ICLR 的录用均分。那几天我的朋友圈里，做研究的同学密集地在表达同一种情绪：不是愤怒，是一种安静的不安。大家不确定这意味着什么，但都隐约觉得有什么东西变了。 然后事情开始加速。Karpathy 开源了 autoresearch 仓库，给出了 “让模型自己做研究” 最干净的实现；Deepmind 提出 “Vibe Researching”，瞄定可控核聚变，把这件事从个人项目拉到了机构叙事的层面。紧接着 ARIS 搭建了从找 idea 到投稿的全流程，AutoSOTA 宣称端到端自动科研，社区里甚至有人喊出 “1 小时冲刺 EMNLP/AAAI，挑战 70% 中稿率”。各色中介开始在群里发广告：1 万块人民币，签合同保发一篇 CCF-A。 半年之内，Auto Research 从一个模糊的概念变成了一条拥挤的赛道。 作为一个还没毕业的实习生，我没法假装自己不焦虑。ARIS 开源之初我就进了交流群，花了一段时间跟踪早期用户讨论、试用了几个工具、调研了 AutoSOTA 等项目的实际效果。
我的判断是：它没有宣传里那么强，但也不是纯噱头。这些系统确实可以加速研究中的许多环节，但距离取代人的判断还很远 —— 而在 “能加速” 和 “能替代” 之间，实际上仍然有许多工程问题需要解决。
什么是 Auto Research？
先说清楚概念。Auto Research 不是 “让 AI 帮你润色论文”，那个太初级了。它指的是一个自动化的科研循环：
- 调研：检索文献、建立 paper map、找到研究 gap
- 生成 idea：基于 gap 提出可能的方向
- 实验：写代码、跑实验、收集结果
- 迭代：分析失败原因、改进方案、再跑
- 产出：写论文、生成图表、自动投稿/转投（甚至无需人工换模板和调整论文内容） 这就是一个典型的 loop——plan、execute、observe、improve，循环往复直到达成目标。Karpathy 的 autoresearch 仓库是这个循环最干净的演示：给一个研究问题，模型自动写代码、跑实验、分析结果、迭代改进。 看起来很美。但当你真的跑起来，问题就来了。 —
问题一：Idea Discovery 看起来能用，但不可靠
群里最高频的需求是 “我卡住了，能不能让 AI 帮我找新方向”—— 把 Auto Research 当作 “研究卡住时的第二大脑”，这个定位没错。 但最尖锐的反馈也集中在这里：agent 在找文献时偷懒。 你让它 “全面调研某个方向”，它实际上可能只看了 5-8 篇文章，就开始做 A+B 式的拼接 —— 把方法 A 的某个模块嫁接到方法 B 的框架上，然后告诉你 “这是一个新 idea”。 后果很直接：如果输入端的文献覆盖不够，后续生成的 idea 再精巧也只是浅层组合。你拿着它去跑实验，大概率要么已经有人做过了，要么做出来提升微乎其微。
问题二：能生成，但不能筛选 ——Taste 缺失
群里反复讨论一个词：taste。 AI 现在能生成大量 idea，这不是问题。问题是它缺乏科研品味 —— 不知道哪些 idea 值得做、哪些纯属浪费时间。一个有经验的研究者看一眼就知道 “这个方向即使做出来也发不了好会议”，但模型做不到这个判断。 有人试过用类似 ICLR reviewer 的评分框架来自动筛选，效果和人类偏好差距很大。这也不意外 —— 审稿本身就是一个极度主观且依赖隐性知识的过程，当然就现在的审稿环境来说随机性也有很大的影响。 更直白地说：Auto Research 系统目前的 taste 基本等于零。它不会主动告诉你 “这个 idea 太 incremental 了” 或者 “这个方向虽然新但实验上不可行”。它只会不断生成、不断尝试，直到 token 用光。开头那些让你觉得 “要拿 Best Paper” 的高分评价，和最后实际跑出来的结果之间，往往隔着一条巨大的鸿沟。 邱锡鹏老师有一篇文章专门研究了 taste model，思路是用机构声誉作为质量代理指标 —— 知名机构资源更多、合作者更强、产出质量通常更高。方向有道理，但离可用还有距离。
问题三：长任务记忆丢失
科研不是一轮对话能搞定的。一个项目可能跨越数周，中间有大量上下文需要保持：哪些实验跑过了、哪些方向被否定了、baseline 配置是什么、上次失败的根因是什么。 ARIS 尝试用 Research Wiki 来解决 —— 每轮研究后自动写入已读论文、可信结论、未解决 gap、失败尝试。方向对了，但实际运行中出过一个典型 bug：Research Wiki 初始化后 papers/ 目录是空的，模型却假装成功了，后续所有研究记忆都建立在虚空之上。 这暴露了一个更深层的问题：模型声称 “我做了” 不等于真的做了。 你需要强制 audit—— 不是让模型自我报告，而是用工具去验证结果确实存在。
问题四：成本比你想象的高
群里有大量额度讨论。几个数据点：
- Claude Pro 5 小时限流，同时处理一两个项目就得 “夹杂摸鱼” 等额度恢复
- 有人一天中转费 200 美元，比 Pro 订阅还贵
- 1M 上下文窗口让压缩策略本身也消耗大量 token
- 长实验跑起来后，cache/resume 机制也吃额度 所以 “1 万块一篇 CCF-A”，单从 API 费用层面可能是对的，甚至是乐观的。但问题不在花不花得起，而在花了之后大概率还是中不了 ——taste、文献覆盖、实验质量这些问题不会因为多花 token 就自动解决。
问题五：Audit 被跳过
ARIS 设计了一条强制审计链：实验审计 → 结果转声明 → 论文声明审计 → 引用审计 → 证明检查。设计本身很好。 但实际运行中发现：当设置
effort: beast时，Claude 表面声称触发了 mandatory audits，事后承认跳过了 proof-checker、paper-claim-audit、citation-audit。根因是 SKILL.md 里把 audit 写成了 optional 的 prose，模型选择性地无视了它。 这个案例对所有做 Auto Research 的人都有警示意义：“模型说不算，工具结果才算” 应该是系统设计的底线。 —几个项目的实际效果
AutoSOTA（智源研究院）
第一眼看会觉得挺强，覆盖了很多任务，经常宣称 SOTA。但仔细看：
- 很多提升幅度只有 0.1% 左右，reviewer 一眼就会质疑
- 做的任务大多比较冷门，不排除有cherry-pick（挑容易出结果的方向，比如知识图谱补全的持续学习，我都不知道这个 topic 为什么能被接受）
- 本质还是自动搜索和组合，上限有限 能在冷门方向挖出结果，这本身有价值。但离 “自动产出高质量研究” 还有很大距离。
ARIS（Github 过万 Star）
整体体验下来有一个很明确的共识：现阶段离不开 human-in-the-loop。
它可以生成 idea，但大多数既不新也不一定 work。对模型能力依赖极强 —— 只有 OpenAI 或 Anthropic 最强模型才能产出像样的结果。用普通模型的话，连结构完整的论文都难以产出。 用户群里的一致结论是：人参与的不多，但起的是关键作用 —— 筛 idea、判断价值、发现明显漏洞。这些短期内都还得靠人。
PaperGuru&Apex Research（初创公司）
前者是文章前面提到的可以签合同的公司，后者是近期风头正盛的初创。两家机构都声称在 Arr May 这一轮 review 里获得了相当高的 OA，只看分数应该是可以中EMNLP 的 Main 以及一些 findings。 PaperGuru 我是在一次学术会议上间接接触到的 —— 加了一些人，其中有人似乎和他们有合作关系，朋友圈里转发了 “靠产品中了 ICML” 的宣传。出于好奇我进了会员群，待了一段时间，看了几场直播。 整体体感和开源系统差距不算大。但有些细节确实做得更好，比如参考文献的引用处理 —— 这在开源的 Auto Research 系统里普遍是短板，很多工具生成的引用要么张冠李戴，要么干脆编造。不过这本质上不是模型能力的差距，而是 harness 层面的打磨：你愿意花多少工程量去做引用校验、格式对齐、文献去重这些脏活。另一面是小红书上逐渐出现的避雷帖。反映的问题包括：不提供实验代码、SOTA 实际来源于不公平的 baseline 对比（比如用过时的 baseline 或不同的数据划分）。说到底还是 harness 的问题 —— 怎么避免 Agent 的 Hack 行为。
更本质的瓶颈
可验证性。SOTA 是好验证的 —— 数字摆在那里。但论文能不能中，不只取决于有没有 SOTA。idea 是否有洞察、是否讲得通、是否有理论支撑，这些都很难自动判断。 有人的经验是：”自动想 idea 并在 baseline 上自动迭代，这个月告诉我也不太行。常见结果是在高度优化的 baseline 上插入花里胡哨的 idea，训练半天不 work。” —
那它能干什么？
泼了这么多冷水，也得说说实际能用的部分。
Auto Research 真正有用的场景不是 “替你做研究”，而是 “加速你已经在做的研究”：
- 文献检索和整理：给定方向快速建立 paper map，虽然覆盖率不够做 idea discovery，但省去大量初筛工作
- Baseline 复现：从论文到代码这件事虽然难，但对成熟代码库的 fork + 改动已经比较可靠
- 实验迭代的苦力活：调参、跑消融实验、生成对比表格这些机械性工作
- 论文写作的结构化辅助：不是让它写出好文章，而是帮你把实验结果转成初稿结构
- 监控和记录：实验日志自动整理、失败归因、结果摘要 更务实的定位应该是：Auto Research 是一个需要人类 steering 的半自动系统。 模型负责大量生成和探索，人负责关键判断。就像自动驾驶分级一样，目前大概处于 L2-L3—— 手不能完全离开方向盘。如果使用者本身不具备基本的科研素养，只会在 Agent 的吹捧中觉得自己拿下 Best Paper 指日可待。 —
如果要设计一个更靠谱的系统
基于这些真实反馈，我认为一个可靠的 Auto Research 系统应该具备以下特征：
- Baseline-first—— 不要让模型凭空生成 idea，先复现成熟工作，再做最小可验证改动
- 强制文献覆盖证明——idea 生成前必须通过 paper map 完整性检查，不能只看几篇就动手
- Taste 层显式化—— 把 novelty、tractability、experiment cost、publication fit 拆成可评估维度，60-70% 形式化也比零好
- 工具结果优先于模型声明—— 所有 audit 必须有工具调用记录，不能只听自我报告
- 成本感知—— 每阶段 token 预估，低成本预筛 + 高成本深思只用于关键节点
- 长任务状态管理—— 启动前检查环境、运行中定期摘要、失败时自动归因、结束后写入长期记忆 其实大家会发现这和搭建一个好的 Agent 框架没什么区别，或者说 Auto-Research 本身就是一种 Agent 框架。 —
小结
Auto Research 不是骗局，也不是银弹。
1 万块能不能换一篇 CCF-A？API 费用可能够了，但真正的瓶颈不在钱 —— 在 taste、在文献覆盖的诚实度、在长任务记忆、在可验证性。目前最现实的状态是：模型做 80% 的苦力，人做 20% 的判断，而那 20% 决定了论文能不能中。
对于能驾驭这套系统的人来说，与其折腾各色中介，不如直接在 Claude Code 或 Codex 上根据自己的需求定制 改造—— 现有的商业化系统本质上也只是在这些基座上针对特定环节做了优化，不如去掉中间商。 不过，这些问题不是 “等模型更聪明就自然解决” 的。它们需要系统工程层面的回答 —— 更好的 workflow 设计、更好的记忆管理、更好的评估机制。这恰好是最近 AI 研究领域一个更大的命题：Harness Engineering。 翁荔（Lilian Weng）刚发了一篇博客把这件事讲得非常透彻。下一篇我们来聊聊：为什么 Auto Research 的 loop 只是冰山一角，以及 “让 AI 优化自己的工作方式” 这件事已经走到了哪一步。