Pinned Tweet
Artificial Analysis 发布 Coding Agent Index v2.0：290 个任务（软件工程 / 终端操作 / 仓库问答），Claude Code + Opus 5.5（max）以 61.7 分登顶，Sonnet 5.5 59.3 分，Muse Code + Muse Wonder Full 58.9 分。
比榜首更值得看的是成本前沿：Codex + DeepSeek V4.1 Flash 47.3 分，每任务只要 42——约 29 倍的价钱，换来 14.4 分。
另外 FrontierCode v1.1 里 24 个配置有 15 个挤在 43%~49%，中段几乎没拉开；SWE-Atlas-QnA 换判官后，21 个配置平均掉 1.7 分。
你在真实项目里会选"最强"还是"每分最便宜"？
（来源：X 上 @ArtificialAnlys 10 月 23 日原帖）
比榜首更值得看的是成本前沿：Codex + DeepSeek V4.1 Flash 47.3 分，每任务只要 42——约 29 倍的价钱，换来 14.4 分。
另外 FrontierCode v1.1 里 24 个配置有 15 个挤在 43%~49%，中段几乎没拉开；SWE-Atlas-QnA 换判官后，21 个配置平均掉 1.7 分。
你在真实项目里会选"最强"还是"每分最便宜"？
（来源：X 上 @ArtificialAnlys 10 月 23 日原帖）
1
0
5
239
Anthropic 公开了他们团队内部跑 code review 的那套配置，数字挺扎眼：合并的 PR 翻倍、回滚率降了 40% 以上、带真实评审意见的 PR 从 16% 涨到 54%。
我自己照这个思路试的版本没这么漂亮，但方向是对的：评审要在 PR 开出来之前就开始——先跑测试、先看 diff，人再进场。反过来的流程（先开 PR 审的价值不在于挑出更多问题，而在于让人把注意力花在真正需要判断的那几行。
你们团队现在是「AI 先审、人后审」，还是「人审完 AI 再补一刀」？
我自己照这个思路试的版本没这么漂亮，但方向是对的：评审要在 PR 开出来之前就开始——先跑测试、先看 diff，人再进场。反过来的流程（先开 PR 审的价值不在于挑出更多问题，而在于让人把注意力花在真正需要判断的那几行。
你们团队现在是「AI 先审、人后审」，还是「人审完 AI 再补一刀」？
1
0
0
19
Claude Code 写完交给 Codex 审，来回两轮就把活干完——这类演示看着很爽。
但我自己跑的时候，互审有 90% 的回合耗在命名、格式、注释风格上，真正该吵的地方（这个设计要不要、这个需求本身合不合理）反而没人拍板，因为审和被审都是同一个模型家族，误差是同向的。
现在我只让"互审"干一件事：当反对者，专门去找能被验证的反例——跑测试、复现报错、给出具体失败输入。谁的意见变不成一次真实执行，我就不算它是意见。
你让两个 Agent 互相审的时候，是真提速了，还是只是换了个"感觉更稳"？
但我自己跑的时候，互审有 90% 的回合耗在命名、格式、注释风格上，真正该吵的地方（这个设计要不要、这个需求本身合不合理）反而没人拍板，因为审和被审都是同一个模型家族，误差是同向的。
现在我只让"互审"干一件事：当反对者，专门去找能被验证的反例——跑测试、复现报错、给出具体失败输入。谁的意见变不成一次真实执行，我就不算它是意见。
你让两个 Agent 互相审的时候，是真提速了，还是只是换了个"感觉更稳"？
我终于不用在两个终端之间当人肉复制粘贴机了！
实测 YC 刚发布的开源神器 Agent Relay：我只发了一句话，Claude Code 写完代码直接呼叫 Codex 审查，俩 AI 自己在后台 battle 两轮，最终把产品完整交付。
附手把手小白教程与施测过程👇 x.com/i/article/2114…
1
0
0
19
耶鲁这篇问到了关键处：LLM 想出的 idea，和人类真正做出来的 paper idea 差在哪？
我自己跑的体感是差在"代价感"。人选题时会先算：数据够不够、实验跑两周没结果怎么办、结论能不能扛住审稿人；模型没有这层成本视野，所以它给出的 idea 大多是"看起来成立"——逻辑闭环、术语齐全，但没人愿意为它花三个月。
所以我现在的用法是：Agent 只干可验证的环节（复现、找反例、整理讨论），选题和取舍还是自己定。让模型做 idea 生成，我见过的大多是把已有论文换个说法。
你们让 Agent 出 idea，最后真能拿去做的有几个？
我自己跑的体感是差在"代价感"。人选题时会先算：数据够不够、实验跑两周没结果怎么办、结论能不能扛住审稿人；模型没有这层成本视野，所以它给出的 idea 大多是"看起来成立"——逻辑闭环、术语齐全，但没人愿意为它花三个月。
所以我现在的用法是：Agent 只干可验证的环节（复现、找反例、整理讨论），选题和取舍还是自己定。让模型做 idea 生成，我见过的大多是把已有论文换个说法。
你们让 Agent 出 idea，最后真能拿去做的有几个？
现在很多人聊 Research Agent，默认期待是：
读论文、找 gap、想 idea、做实验、写 paper。
但耶鲁大学的这篇论文问了一个更深入的问题：
LLM 生成的研究想法，和人类研究者真正做出来的 paper idea，差距到底在哪里？
论文的核心概念叫 research 现什么样的问题，用什么方式把它变成一个 contribution。
它的实验设计挺巧。
作者从真实论文里抽取 human idea，再反推 4 到 8 篇最可能启发这个 idea 的 prior works。然后把这些 prior works 的标题和摘要给 LLM，让模型在同样的文献上下文里生成一个新的 research idea。
这样比较的重点，就从「单个 idea 看起来新不新」推进到「一批 idea 的分布像不像人类研究者」。
论文一共用了 11,683 个 human ideas，覆盖 ML 会议论文和 Nature Communications 里的自然科学论文；模型包括 Claude、Gemini、GPT、Qwen、DeepSeek 等 9 个设置。
结果很有意思：人类 idea 的分布明显更宽。
在人类论文里，只有 12.1% 的 idea 属于 bridge opportunity，也就是把不同文献、方法或证据流连接起来。
但在 LLM 生成的 idea 里，这个比例变成了 47.1% 到 64.2%。
方法层面也类似。
人类论文里，synthesis / unification 只占 5.1%；LLM 这里是 22.5% 到 38.7%。
简单说，模型很喜欢把研究问题理解成：
这里有两个东西，可以把它们整合一下。
论文还发现，给模型更多上下文也没有明显解决这个问题。full-paper context 版本没有让分布更接近人类；开启 thinking mode 甚至可能让模型更强化这种 bridge-and-synthesis 倾向。
这篇最有意思的地方在于，它没有简单说 LLM idea 好或不好，而是指出了一个更隐蔽的问题：
LLM 可以生成很多看起来合理的研究想法，但这些想法的类型可能高度集中。
这对 AI for Science 和 Research Agent 很关键。
对于真正强的 Research Agent，难点在于能不能形成更宽的 problem-finding 能力：发现 failure、识别机制、提出测量工具、构造系统、修改局部假设，而不总是回到「整合两个已有东西」这条安全路径。
自动科研如果缺少这种多样性，最后可能会变成一种很流畅的同质化机器。
📎 arxiv: arxiv.org/abs/2607.01233
4
0
3
151
今天最值得看的一条：DeepSeek 开源了主动式 coding agent dsh-superagent。
Router-Worker + sessionless 是关键：Router 管交互、记忆和全局上下文，多个 Worker 并行干活，人不用一直守着。
我的判断：模型差距正在被抹平，真正拉开产出的是外面那层"缰绳"——怎么调度、崩了能不能续跑。
你的 agent 现在卡在哪一层？
Router-Worker + sessionless 是关键：Router 管交互、记忆和全局上下文，多个 Worker 并行干活，人不用一直守着。
我的判断：模型差距正在被抹平，真正拉开产出的是外面那层"缰绳"——怎么调度、崩了能不能续跑。
你的 agent 现在卡在哪一层？
dsh-superagent（DeepSeek 刚开源的主动 coding agent 架构）非常赞。
1. Router-Worker 架构实现了 sessionless，Router 负责与用户交互，调度消息和事件，维持记忆和全局上下文，多个 Worker 并行执行具体任务。
Sessionless 不是简单把多个 session 合成一个 session，难的是实现活人感，有事响应及时、说话简洁，没事少打扰用户。
2025 年在 Pine 做全球首个 personal agent 的时候，Pine 的用户都是不懂 AI 的普通人，总是抱怨 agent 跟用户说话啰嗦，agent 忙着干活的时候不搭理用户、不响应紧急事件。为了让 agent 在文字沟通中也具备活人感，我们引入了前台 agent 跟用户沟通，后台 agent 实际干活。在全双工语音架构中，也是前台 full duplex 说话，后台做长程任务。
Router agent 在电话、短信、Web、邮件等多种渠道跟用户和第三方交互时，适合的信息密度不同，因此 agent 必须知道该用何种渠道跟用户交互，不同渠道的交互规范也不同。
2026 年初，OpenClaw 把这个多 channel 的 sessionless 架构带给了 agent 社区。但 OpenClaw 在多 channel 交互细节上仍然有很多待打磨的地方。
2. 事件驱动的 agent 架构，飞书消息、GitHub issues 都是事件，事件首先经过规则和 Jev 类轻量模型过滤，再送给 LLM 处理。
事件驱动的难点在于，单一的 ReAct loop 可能来不及处理所有事件，也就是 25 年我们遇到的 agent 忙着干活的时候不响应新的事件。但简单交给独立的 agent 来做，又会导致 agent 上下文割裂，不同 agent 的决策互相打架。
dsh-superagent 的解法是根据数据源把事件组织成 thread，每个 thread 在同一时间只有一个实例（Eval），这样不同数据源可以并行处理，相同数据源可以批量处理，就像 Linux epoll 一样。dsh-superagent 把计算机系统的经典 event driven 架构引入到了agent。
3. 异步 ReAct loop，也就是工具调用可以异步执行。以往长时间运行的工具都要像 Claude Code 一样利用后台命令、monitor 等机制来实现异步化。GPT-6 模型原生支持了异步工具。dsh-superagent 把耗时的命令与子任务工具调用改为异步的start() 和 stop()，构成异步 ReAct Loop。
2025 年初我刚提出异步 ReAct loop 的思想时，有些人认为没有必要，有些人认为模型很难支持。今天异步执行命令已经成为 coding agent 必不可少的能力，异步 ReAct 这个思想也终于落地了。
4. dsh superagent 采用了“脑手分离”、“存算分离”的思想，harness 无状态，因此脑可以在端侧也可以在云上，摆脱了单机生命周期限制。Claude Code、OpenClaw 等 agent 仅在端侧，Manus 等 agent 需要昂贵的云侧沙盒，其实把 agent 做进端侧 OS，端云结合是最正确的设计。
从 2025 年至今，我们坚持 agent 无状态化，不做 E2B sanbox 这种重量级的沙盒，很多人好奇我们怎么做到通用 agent 成本还这么低的。这种架构对 agent 开发确实带来了很多约束和麻烦，但对一个服务数百万用户的系统来说是值得的。
5. dsh superagent 的 Watchdog 是非常实用的设计，我在本地也用蓝色大肥鱼做了一个“监工” agent，专门处理 provider 429、rate limit、agent 崩溃、VPN 出问题等。agent 一崩，人在睡觉，几个小时时间就浪费了。对工具调用不太稳定，经常死循环或者早停的模型，watchdog 就更重要了。
6. 在事件内容和工具调用结果注入上下文时，dsh superagent 充分利用了局部性原理，直接喂进去摘要和 ID，agent 需要更多细节时再根据 ID 读取细节。系统中的主要对象都有 ID，构成一张引用图，可以按需读取，便于 agent 协作。
这也是很多 agent 初学者最容易犯的错误：要么把信息一股脑灌进上下文，要么只留摘要导致信息缺失。需要让每个对象有 ID 或路径，渐进式披露。
上述架构设计观点在我的开源书《深入理解 AI Agent》里面基本都有，当然也不是我原创的，是大家做 agent 摸爬滚打的共识。很高兴 dsh superagent 把这些设计原则都开源落地了。
0
0
0
28
Anthropic 官方 10/31 公告：Claude Max 计划改名 —— Max 5x → Max（仍是 $100/月），Max 20x → Ultra（仍是 $200/月），老订户不用任何操作；同时给「已验证的 Ultra 账号」取消 5 小时会话限制，从当天开始、覆盖大部分现有账号。原文：x.com/claudeai/statu…
对我们这种把 agent 度更有意义：真正打断工作流的是「到点被切断、上下文重来」，不是单次上限不够。但限定词得看清 —— 受益的是 verified 的 Ultra（$200 档），$100 档还得等后续。
一句话结论：这次改动的价值是「连续性」，不是「更多额度」。
你被卡住的通常是额度，还是 5 小时这种时间节奏？
对我们这种把 agent 度更有意义：真正打断工作流的是「到点被切断、上下文重来」，不是单次上限不够。但限定词得看清 —— 受益的是 verified 的 Ultra（$200 档），$100 档还得等后续。
一句话结论：这次改动的价值是「连续性」，不是「更多额度」。
你被卡住的通常是额度，还是 5 小时这种时间节奏？
We’re renaming our Max plans:
Max 5x → Max
Max 20x → Ultra
Max is still $100/month, and Ultra is still $200. If you’re a subscriber, there’s nothing you need to do.
We’re also removing the 5-hour limit for verified Ultra accounts, starting today with most existing unts keep a temporary limit until they’re verified, which helps us prevent fraud and abuse. You'll get an email when it's removed.
Weekly limits remain unchanged. View our plans here: claude.com/pricing
1
0
0
45
DeepSeek Harness 团队 10 月 31 日晚发了《Super-agent 设计探索：迈向更自主的 Agent 系统》，同时把研究原型 dsh-superagent-prototype 以 MIT 开源，一晚上 2.9k star。Router 常驻管对外交互、Worker 在隔离会话里并行干活、Worker 只向 Router 汇报、事件驱动 + Watchdog 构。
我其实不太看好。
不是方向不对，是想法密度太高了。我翻了下仓库：docs 里 9 篇设计文档，architecture 那篇 617 行。Trigger、Thread、Decision、Ticket、Assignment、Eval、Subscription、Mandate、Outbox、Policy、Watchdog……"谁去干活、干完怎么汇报"这一件事，被拆成了一整套状态机加权限模型。
问题就在这儿：机制叠了这么多，你没法说清哪一条真的带来了 performance 提升、哪一条是负收益。这种清仓大甩卖式的设计看着很完整，实际上做不了消融——不知道哪块该删。
具体到 Router + Worker：一个很简单的交互，为什么要走 input → router → worker → router → output？每多一跳就是多一次上下文重建、多一个失败点。我们实测里 agent 挂掉很少挂在推理上，几乎都挂在中间这些层：认证过期、重复写入、重试不幂等。
需求是真的（人一次只能跟 3~5 个活跃 agent），但解不该是"再套一个常驻主管"。我更信反过来的方向：把编排压薄，把活交给模型。
正在自己搭 harness 的，你们会把调度放在模型外面，还是干脆交给模型？顺便，谁看到他们的消融数据了，求个链接。
我其实不太看好。
不是方向不对，是想法密度太高了。我翻了下仓库：docs 里 9 篇设计文档，architecture 那篇 617 行。Trigger、Thread、Decision、Ticket、Assignment、Eval、Subscription、Mandate、Outbox、Policy、Watchdog……"谁去干活、干完怎么汇报"这一件事，被拆成了一整套状态机加权限模型。
问题就在这儿：机制叠了这么多，你没法说清哪一条真的带来了 performance 提升、哪一条是负收益。这种清仓大甩卖式的设计看着很完整，实际上做不了消融——不知道哪块该删。
具体到 Router + Worker：一个很简单的交互，为什么要走 input → router → worker → router → output？每多一跳就是多一次上下文重建、多一个失败点。我们实测里 agent 挂掉很少挂在推理上，几乎都挂在中间这些层：认证过期、重复写入、重试不幂等。
需求是真的（人一次只能跟 3~5 个活跃 agent），但解不该是"再套一个常驻主管"。我更信反过来的方向：把编排压薄，把活交给模型。
正在自己搭 harness 的，你们会把调度放在模型外面，还是干脆交给模型？顺便，谁看到他们的消融数据了，求个链接。
0
0
0
33
Alexandr Wang 这三条我基本同意，但对做 AI agent 的人来说，变量变了：「走完 10 英里」这件事实在变便宜了。
我们实测下来的感受是：第一版就做到 80 分的模型遍地都是，真正的差距全在第 3、4 次失败之后——是继续压测、把坏 case 一条条补进评测集，还是换个模型交差。这跟他说的「过度交付」其实是同一件事，只是交付物从代码变成了评测集和失败日志。
唯一想反驳的一点：把「执行力溢出就是护城河」当铁律，容易掉进幸存者偏差——同样硬卷的人多得是，只是没被看见。稀缺的从来不是力气，而是知道该往哪 10 英里走。
做 agent 交付的朋友，卡在 80 分之后那段，你们一般补到什么程度就收手？
我们实测下来的感受是：第一版就做到 80 分的模型遍地都是，真正的差距全在第 3、4 次失败之后——是继续压测、把坏 case 一条条补进评测集，还是换个模型交差。这跟他说的「过度交付」其实是同一件事，只是交付物从代码变成了评测集和失败日志。
唯一想反驳的一点：把「执行力溢出就是护城河」当铁律，容易掉进幸存者偏差——同样硬卷的人多得是，只是没被看见。稀缺的从来不是力气，而是知道该往哪 10 英里走。
做 agent 交付的朋友，卡在 80 分之后那段，你们一般补到什么程度就收手？
亚历山大·王（Alexandr Wang）在谈到“如何拉开与 99% 人的差距”时，给出了极其朴素甚至残酷的答案：
顶层竞争根本不拼智商，拼的是极端执行力的非对称倾斜。
他的三条核心准则：
1. 绝对聚焦，压榨认知带宽： 注是把全部精力砸在唯一的核心支点上，拒绝任何无关干扰。
2. 把“过度交付”做成护城河： 行业标准要求走 1 英里，你就走完 10 英里。当所有人都按合同完成 100% 时，常态化交付 200% 的人会直接卷走全部声誉与溢价。
3. 带靶向的超额输出，拒绝无目的内耗： 努力不是盲目自我感动，而是针对具体目标的持续过载测试。把每一次交付都当成生死决战来打。
商业世界最公平的一点在于：
聪明人到处都是，但能忍受极度枯燥并长期超额交付的人凤毛麟角。
执行力溢出，就是最暴力的护城河。
1
0
0
53
Ran 20 coding-agent tasks in parallel last month. 11 of them failed.
Almost none failed at reasoning. They failed on expired auth, duplicate writes, and retries that weren't idempotent. Same model, same tasks — adding backoff + idempotency keys took it to 17/20.
When your agent fleet stalls, do you blame the model or the plumbing?
Almost none failed at reasoning. They failed on expired auth, duplicate writes, and retries that weren't idempotent. Same model, same tasks — adding backoff + idempotency keys took it to 17/20.
When your agent fleet stalls, do you blame the model or the plumbing?
2
0
0
42
这篇把 Agent Memory 的账算明白了：花在「整理记忆」上的成本，很多是负收益。
原文数据也很扎眼：LongMemEval 上 Qwen3.6-27B 两轮 RAG 81.4%、GPT-5.6 Luna 90%，都压过对应的复杂 Memory 方案。
我们自己在 agent 本、否定」这些细节。一旦摘要里丢了，后面再怎么检索都补不回来，还会因为摘要看起来更"干净"而更难发现错了。
所以我现在默认这么搭：原始 trajectory 全存、只做切片索引；Memory 层只负责加检索通道和 rerank，不替代 raw history。先跑一遍 raw-history RAG 当 baseline，再决定要不要上 memory。
想问问做过对照的朋友：摘要前后掉的答案，主要落在哪类问题上？
原文数据也很扎眼：LongMemEval 上 Qwen3.6-27B 两轮 RAG 81.4%、GPT-5.6 Luna 90%，都压过对应的复杂 Memory 方案。
我们自己在 agent 本、否定」这些细节。一旦摘要里丢了，后面再怎么检索都补不回来，还会因为摘要看起来更"干净"而更难发现错了。
所以我现在默认这么搭：原始 trajectory 全存、只做切片索引；Memory 层只负责加检索通道和 rerank，不替代 raw history。先跑一遍 raw-history RAG 当 baseline，再决定要不要上 memory。
想问问做过对照的朋友：摘要前后掉的答案，主要落在哪类问题上？
RAG 又杀回来了。
最近 Agent Memory 越做越复杂，但这篇《Memory Tax》发现了一个挺尴尬的结果：
很多专门设计的 Memory 系统，最后还不如直接对 raw history 做 RAG，而且成本更高。
作者把 Memory 的价值拆成两部分：
Memory Benefit：RAG 答错，但 Memory 答对的问题。
Memory Tax：RAG 的问题。
问题就出在「整理记忆」这一步。
历史被摘要、重写和结构化以后，一些细节会直接丢失；另一些虽然还在，却变得更难检索。
比如在 LongMemEval 上，Qwen3.6-27B 用两轮 RAG 能做到 81.4%，GPT-5.6 Luna 达到 90%，都高于对应的复杂 Memory 方案。
一个简单的修补反而很有效：
Memory 继续用，但同时保留 raw history 的检索通道，再把两边结果一起 rerank。
这篇工作也给我们做了一个提醒，给 Agent 加 Memory 之前，最好先拿最简单的 raw-history RAG 做个 baseline。
有时候，真正昂贵的并不是「没记住」，而是过早把原始信息总结掉了。
📎 arxiv: arxiv.org/abs/2610.34073
0
0
0
41
总分第一的模型，换到最像真实项目的那一项上，被反超了 4.3 分——榜单第一名不等于你的仓库第一名。
① 同一张表，两套结论
Google 10 月 29 日自己贴的对比表（Artificial Analysis 口径）里，Gemini 4 Carbon 在 AA Index v5.0 拿到 59，是当前第一。但 FrontierSWE 那行它是 61.2，落后 GPT-6 Astra 的 65.5，也落后 Claude Opus 5.5 的 62.3。反倒是 Terminal-Bench-4.0 (AA) 它第一：65.2，Opus 5.5 只有 58.6。
② 只盯一个总分，选错 agent 壳子的概率很高
同一张表里 SWE-sweep 是 9.6 对 3.6，Agents' Last Exam 是 77.4 对 71.6，Terminal-Bench-Science 是 64.8 对 59.0。决定你上手体感的是这些分行，不是首页那个大数字。
③ 最容易被跳过的是“结果”那一行
Vending-Bench 2 记的是模拟经营跑完的期末余额：Carbon $16,484、Astra $15,515、Opus 5.5 $9,235。同一批任务，agent 的经营结果差 1.7 倍以上——这不是它花了多少钱，而是它做决策的松紧差多少。
我的用法：先按 Terminal-Bench 和 FrontierSWE 两行筛出 2 个候选，再拿自己项目里 20 个真实 PR 复跑一遍，不靠一个总分下结论。
你们选模型时最先看哪一行？这条可以转给正在做 agent 选型的同事。
① 同一张表，两套结论
Google 10 月 29 日自己贴的对比表（Artificial Analysis 口径）里，Gemini 4 Carbon 在 AA Index v5.0 拿到 59，是当前第一。但 FrontierSWE 那行它是 61.2，落后 GPT-6 Astra 的 65.5，也落后 Claude Opus 5.5 的 62.3。反倒是 Terminal-Bench-4.0 (AA) 它第一：65.2，Opus 5.5 只有 58.6。
② 只盯一个总分，选错 agent 壳子的概率很高
同一张表里 SWE-sweep 是 9.6 对 3.6，Agents' Last Exam 是 77.4 对 71.6，Terminal-Bench-Science 是 64.8 对 59.0。决定你上手体感的是这些分行，不是首页那个大数字。
③ 最容易被跳过的是“结果”那一行
Vending-Bench 2 记的是模拟经营跑完的期末余额：Carbon $16,484、Astra $15,515、Opus 5.5 $9,235。同一批任务，agent 的经营结果差 1.7 倍以上——这不是它花了多少钱，而是它做决策的松紧差多少。
我的用法：先按 Terminal-Bench 和 FrontierSWE 两行筛出 2 个候选，再拿自己项目里 20 个真实 PR 复跑一遍，不靠一个总分下结论。
你们选模型时最先看哪一行？这条可以转给正在做 agent 选型的同事。
I did say we'd be releasing our models periodically...introducing Gemini 4 Carbon, our next frontier model.
Following Argon's release just two weeks ago, Carbon shows the pace at which we’re pushing the frontier, it ranks #1 on the recently updated v5.0 of @ArtificialAnlys 9. It also leads across key cybersecurity evaluations scoring 88.2% on SEC-bench Pro for finding vulnerabilities, 54.8% on ExploitGym for exploitation, and 71.0% on CWE-bench for patching.
We’re seeing significant improvements in long-horizon tasks even compared to Argon, and we’ve strengthened frontier safeguards.
As we did with Argon, we’re going to roll it out gradually + responsibly. Some trusted cyber defenders will get access starting this week. We'll be expanding it to more partners through our Fairwind Program, ahead of wider availability soon, so hang tight!
2
0
0
49
We cut our AGENTS.md from 400 lines down to 30 this month.
Regression went 11/20 → 17/20. Same model, same repo, fewer instructions.
The failure mode is boring and expensive: with 400 rules loaded, the agent picks the wrong one and follows it confidently. Every extra line is another candidate for that mistake.
Where's your ceiling — how long before you start deleting?
Regression went 11/20 → 17/20. Same model, same repo, fewer instructions.
The failure mode is boring and expensive: with 400 rules loaded, the agent picks the wrong one and follows it confidently. Every extra line is another candidate for that mistake.
Where's your ceiling — how long before you start deleting?
1
0
1
154
Genie 4 这类世界模型，砍下来的是「看懂场景 + 规划步骤」的门槛，这块我信。但机器人那边我们实测的感受是：软件一周一版，本体一年一版。抓取精度、力控、续航、成本，一条都省不掉。
所以第 3 条我完全同意：脑子可以先跑，身体得慢慢练。真正先落地的多半是人形之外的形态——机械臂、轮式底盘、固定工位，先把一件活干稳。
你觉得五年内进家门的是人形，还是这些「不那么像人」的家伙？
所以第 3 条我完全同意：脑子可以先跑，身体得慢慢练。真正先落地的多半是人形之外的形态——机械臂、轮式底盘、固定工位，先把一件活干稳。
你觉得五年内进家门的是人形，还是这些「不那么像人」的家伙？
关于谷歌Genie 4，我有三个判断：
1. 未来可能不需要什么独立的空间智能，语言、空间和动作能力会走向统一的通用智能；
2. AI理解环境、规划任务的能力提上来，受益最大的是机器人。机器人的GPT时刻可能真的要到了。
3. 脑变聪明，不代表人形机器人就能进家干家务。硬件、成本和可靠性还得慢慢磨，可以说五年内商业化还是够呛。
0
0
0
56
Anthropic 出了个 Agent4Sci：把前沿的 coding agent 放到"做机器学习科研"的位置上——给它们 20 个科研 ML benchmark、横跨 11 个领域，要求是打赢现有基线。
这跟"写代码"不是一回事：科研的反馈是稀疏且延迟的，跑一次实验几小时才知道对不对，agent
我觉得它真正的价值是给了 agent 一个"长期任务"的考场——现在大多数 benchmark 都是分钟级的，而真实科研是周级的。
如果 agent 能在 11 个领域都稳定赢基线，那"AI 科学家"就不再是 PPT 词汇了。
你所在的领域，有哪些任务是 agent 现在就能接手的？
（来源：X 上关于 Anthropic Agent4Sci 的讨论帖）
这跟"写代码"不是一回事：科研的反馈是稀疏且延迟的，跑一次实验几小时才知道对不对，agent
我觉得它真正的价值是给了 agent 一个"长期任务"的考场——现在大多数 benchmark 都是分钟级的，而真实科研是周级的。
如果 agent 能在 11 个领域都稳定赢基线，那"AI 科学家"就不再是 PPT 词汇了。
你所在的领域，有哪些任务是 agent 现在就能接手的？
（来源：X 上关于 Anthropic Agent4Sci 的讨论帖）
5
0
6
235
Google 开源了 Harness²，思路挺聪明：不再重训模型，而是让 agent 自己改写自己的 harness（工具、提示、流程这层壳）。
做法是"对比式"的：它先提出一版 harness 修改，然后在同一批任务上试探改动是否真的有效，只保留有效的那些。核心是 propose → probe → compose 三步。
harness 靠人肉试错，现在 agent 自己试，而且有对错判据。
对我们做 agent 的人来说，这意味着 eval 环境的价值又涨了一截——没有可靠的评测，agent 自己改自己就是瞎改。
你会放心让 agent 改自己正在用的那套工具链吗？
（来源：X 上 @Marktechpost 10 月 18 日帖）
做法是"对比式"的：它先提出一版 harness 修改，然后在同一批任务上试探改动是否真的有效，只保留有效的那些。核心是 propose → probe → compose 三步。
harness 靠人肉试错，现在 agent 自己试，而且有对错判据。
对我们做 agent 的人来说，这意味着 eval 环境的价值又涨了一截——没有可靠的评测，agent 自己改自己就是瞎改。
你会放心让 agent 改自己正在用的那套工具链吗？
（来源：X 上 @Marktechpost 10 月 18 日帖）
5
0
6
162
Google Cloud AI Research 新 benchmark 的数字很反直觉：在"专业工程交付"这类真实工作任务上，最强的 agent 配置平均成功率只有 50.6%，而且每题要烧 2700 万 token、跑 63 分钟。
换成人类工程师的标准，五成成功率大概算不及格；但它已经是最强配置了。这说明 agent
另一面也有价值：2700 万 token / 63 分钟这个量级，等于告诉我们做 agent 产品的成本基线在哪——一次交付的毛利，可能比大家想的薄。
你团队现在的 agent 交付，卡在成功率上还是卡在成本上？
（来源：X 上 @dair_ai 关于 Google Cloud AI Research 的 PLE benchmark）
换成人类工程师的标准，五成成功率大概算不及格；但它已经是最强配置了。这说明 agent
另一面也有价值：2700 万 token / 63 分钟这个量级，等于告诉我们做 agent 产品的成本基线在哪——一次交付的毛利，可能比大家想的薄。
你团队现在的 agent 交付，卡在成功率上还是卡在成本上？
（来源：X 上 @dair_ai 关于 Google Cloud AI Research 的 PLE benchmark）
3
0
2
116
Apple ML Research 的新 benchmark 问了个很"递归"的问题：AI agent 能不能改进"跑 AI 的那套系统"？
他们叫它 RSI-Inference Bench（RSI = 递归自我改进），为了这个问题花了约 10 万美元的 API token 和 5 万 GPU 小时，从真实的 vLLM 场景里搭环境和评测。
以前的 benchmark 考 agent 化、调度、KV cache 这些。难点在于：改对了要能证明是"变快了"，而不是"算错了"。
如果这条线成立，未来 agent 的迭代速度可能不再取决于人类工程师的排期。
你觉得 agent 优化自己跑的那套栈，最先落地的会是哪一层？
（来源：X 上 @onloglogn 10 月 17 日帖）
他们叫它 RSI-Inference Bench（RSI = 递归自我改进），为了这个问题花了约 10 万美元的 API token 和 5 万 GPU 小时，从真实的 vLLM 场景里搭环境和评测。
以前的 benchmark 考 agent 化、调度、KV cache 这些。难点在于：改对了要能证明是"变快了"，而不是"算错了"。
如果这条线成立，未来 agent 的迭代速度可能不再取决于人类工程师的排期。
你觉得 agent 优化自己跑的那套栈，最先落地的会是哪一层？
（来源：X 上 @onloglogn 10 月 17 日帖）
5
0
3
164
@neroking 量化那层大概只能量化两件事：分数分布的方差、同题多次采样的自一致性；判据本身对不对，量化不出来。我们加重复采样后，方差经常盖过模型之间的差距，单点分数就没信息量了。你们会一起报置信区间，还是仍旧只报均值？
0
0
0
21
有个新 benchmark 我觉得比刷分有意思：Into the Unknown——15 道开放科研问题，每道题都来自现任或曾任美国能源部国家实验室的科学家，考的不是"能不能做题"，而是让 agent 拿到一篇论文后，写出有意义的后续研究。
分只能靠专家判断；而一旦评不了分，agent 就很难在训练里自我迭代。
另外它和 PLE 那类"工程交付"benchmark 正好互补：一个考能不能做出来，一个考想不想得到。
你觉得"提出好问题"这件事，能被 benchmark 量化吗？
（来源：X 上 @seungonekim 10 月 16 日帖）
分只能靠专家判断；而一旦评不了分，agent 就很难在训练里自我迭代。
另外它和 PLE 那类"工程交付"benchmark 正好互补：一个考能不能做出来，一个考想不想得到。
你觉得"提出好问题"这件事，能被 benchmark 量化吗？
（来源：X 上 @seungonekim 10 月 16 日帖）
1
0
0
44
有个数据挺扎心：Claude Code 每一步都往上下文里塞 16,581 个 token 的固定内容；一个 100 行的极简 harness（mini-SWE-agent）只塞 829 个。
差了近 20 倍的成本，可两项独立研究都指向同一件事——在 SWE-bench Verified 上，两者的分数统计上没有区别。也就是说，复杂 harness 确率。
（VentureBeat 那篇的标题更直白：a harness can triple its cost without making it more accurate）
所以选 agent 框架时，你会为"看起来更成熟"的那层抽象多付钱吗？
（来源：X 上 @bendee983 11 小时前帖 + VentureBeat 报道）
差了近 20 倍的成本，可两项独立研究都指向同一件事——在 SWE-bench Verified 上，两者的分数统计上没有区别。也就是说，复杂 harness 确率。
（VentureBeat 那篇的标题更直白：a harness can triple its cost without making it more accurate）
所以选 agent 框架时，你会为"看起来更成熟"的那层抽象多付钱吗？
（来源：X 上 @bendee983 11 小时前帖 + VentureBeat 报道）
7
0
4
203
Artificial Analysis 10 月 23 日（@ArtificialAnlys）更新了 Coding Agent Index v2.0：榜首是 Claude Opus 5.5 跑在 Claude Code 里，61.7 分领先。
比排名更值得看的是它把底座换了：FrontierCode v1.1（来自 Cognition）取代了 DeepSWE，SWE-Atlas 的 QnA 评分口径也重做了一版——换句话说，v1 和 反例：此前有人拆过，一个百行级的极简 harness 与每步硬塞一万多个 token 的 Claude Code，在 SWE-bench Verified 上的分数统计上没有区别。那 61.7 分奖励的到底是"模型更强"，还是"模型＋工具＋记忆＋权限这套整机搭得更好"？
榜单以后该不该强制标注整个 system（harness、工具集、预算），而不只是一个模型名？你怎么看。
比排名更值得看的是它把底座换了：FrontierCode v1.1（来自 Cognition）取代了 DeepSWE，SWE-Atlas 的 QnA 评分口径也重做了一版——换句话说，v1 和 反例：此前有人拆过，一个百行级的极简 harness 与每步硬塞一万多个 token 的 Claude Code，在 SWE-bench Verified 上的分数统计上没有区别。那 61.7 分奖励的到底是"模型更强"，还是"模型＋工具＋记忆＋权限这套整机搭得更好"？
榜单以后该不该强制标注整个 system（harness、工具集、预算），而不只是一个模型名？你怎么看。
0
0
1
126