OpenAI 和 Anthropic 的内部模型在 10 月 16 日同一天,各自独立地推翻了悬置 27 年的计算机科学核心猜想(指数时间假说 ETH)。800 多篇算法下界论文的地基就这样松动了。更离谱的是,Anthropic 在开源的 GitHub 文档末尾直接贴出了一个只有 5 句话、97 个英文单词的提示词,任何人复制到自己的 ,就可以把推翻 ETH 的整套核心证明重新推出来。
为了验证这不是营销噱头,我用 Claude Code 把所有工具和联网搜索全部关掉,直接把这 5 句话喂给 claude-opus-5-5 跑了一次实测。模型在后台安静想了 8 分 41 秒,消耗 48,101 个思考 token,最后在屏幕上完整敲出了 5 个小节的严格数学证明,API 账单只扣了 1.22 美元。顺带吃颗定心丸,这次突破只是在渐近意义上推翻了 ETH,逻辑开关数量要超过 100 亿(10^10)个以后,新算法的理论耗时才会在数字上比纯暴力穷举快,现有的银行和互联网密码依然安全,这也并不代表 P=NP。
真正让我后背发凉又觉得过瘾的,是拆解这 5 句话和这波 AI 科研潮之后学到的两件事。
第一件事是怎么给能自己思考 8 分钟的高推理模型写提示词。以前用老模型,我们习惯当保姆,一步步教它先分析需求再写接口。但对照 Anthropic 那 47 页论文就会发现,凡是顺着教科书能推出来的常规步骤,那 5 句话里半个字都没提,模型靠基本功自己就能补齐。提示词里唯一要写的,是那些表面看着像在犯错、实则是唯一出路的反直觉急转弯,比如故意引入负数权重、先把规模放大到夸张的倍数再压缩。如果不把这些反直觉的路标点破,模型的搜索机制会以为走错了路,直接把正确方向剪枝扔掉。同时,千万别拿伺候死板验证软件的底层加减法表格去喂大模型,直接给大学线性代数里的矩阵秩这类高层概念,它算得反而比正文更准。最后还要专门留两句话叮嘱它合并同类项和重新分桶洗牌,防住分支数量爆炸和最慢短板拖累全局这两个大模型最容易犯的毛病。
第二件事是当生成一份顶会级证明只要 1 块钱、Lean 4 机器验算全套推导只要 8 分钟的时候,普通工程师和跨界研究者还能干什么。答案藏在机器验算的盲区里:自动验证软件只管答题过程能不能推出结论,却不管卷头那 180 行题目代码有没有把人类原题抄歪,剑桥大学的预印本刚在数学上证明自动审题比停机问题还难。加州一位在工业界干了 7 年的数据科学家 Tejpal Virk,周末用大家平时写代码的 Claude Code 把 OpenAI 附带验证代码的 242 个问题族全筛了一遍,建起公开审计看板 MathVet,结果抓出 93 个问题族在把题目翻译成代码时缩水了,比如标题宣称解决了正常温度下的物理状态,代码里只证了绝对零度的特例。另一位肯尼索州立大学的学者 Ying Xie 则不去纠结大标题对不对,直接像逛拆车厂一样去 AI 生成的论文矿山里淘零件,从 38 个问题族里挑出 AI 顺手捏造的中间引理,拿来解决了自己的电路下界问题。
教科书式的常规计算已经彻底贬值,而基于领域知识在起点给出反直觉路标、用工程工具在终点帮人审题与淘金,才刚刚起步。
我把这 5 句话的完整原文、1.22 美元的实测过程和背后的提示词拆解都写成了长文,感兴趣的朋友可以看看:
yage.ai/share/opus-eth…
为了验证这不是营销噱头,我用 Claude Code 把所有工具和联网搜索全部关掉,直接把这 5 句话喂给 claude-opus-5-5 跑了一次实测。模型在后台安静想了 8 分 41 秒,消耗 48,101 个思考 token,最后在屏幕上完整敲出了 5 个小节的严格数学证明,API 账单只扣了 1.22 美元。顺带吃颗定心丸,这次突破只是在渐近意义上推翻了 ETH,逻辑开关数量要超过 100 亿(10^10)个以后,新算法的理论耗时才会在数字上比纯暴力穷举快,现有的银行和互联网密码依然安全,这也并不代表 P=NP。
真正让我后背发凉又觉得过瘾的,是拆解这 5 句话和这波 AI 科研潮之后学到的两件事。
第一件事是怎么给能自己思考 8 分钟的高推理模型写提示词。以前用老模型,我们习惯当保姆,一步步教它先分析需求再写接口。但对照 Anthropic 那 47 页论文就会发现,凡是顺着教科书能推出来的常规步骤,那 5 句话里半个字都没提,模型靠基本功自己就能补齐。提示词里唯一要写的,是那些表面看着像在犯错、实则是唯一出路的反直觉急转弯,比如故意引入负数权重、先把规模放大到夸张的倍数再压缩。如果不把这些反直觉的路标点破,模型的搜索机制会以为走错了路,直接把正确方向剪枝扔掉。同时,千万别拿伺候死板验证软件的底层加减法表格去喂大模型,直接给大学线性代数里的矩阵秩这类高层概念,它算得反而比正文更准。最后还要专门留两句话叮嘱它合并同类项和重新分桶洗牌,防住分支数量爆炸和最慢短板拖累全局这两个大模型最容易犯的毛病。
第二件事是当生成一份顶会级证明只要 1 块钱、Lean 4 机器验算全套推导只要 8 分钟的时候,普通工程师和跨界研究者还能干什么。答案藏在机器验算的盲区里:自动验证软件只管答题过程能不能推出结论,却不管卷头那 180 行题目代码有没有把人类原题抄歪,剑桥大学的预印本刚在数学上证明自动审题比停机问题还难。加州一位在工业界干了 7 年的数据科学家 Tejpal Virk,周末用大家平时写代码的 Claude Code 把 OpenAI 附带验证代码的 242 个问题族全筛了一遍,建起公开审计看板 MathVet,结果抓出 93 个问题族在把题目翻译成代码时缩水了,比如标题宣称解决了正常温度下的物理状态,代码里只证了绝对零度的特例。另一位肯尼索州立大学的学者 Ying Xie 则不去纠结大标题对不对,直接像逛拆车厂一样去 AI 生成的论文矿山里淘零件,从 38 个问题族里挑出 AI 顺手捏造的中间引理,拿来解决了自己的电路下界问题。
教科书式的常规计算已经彻底贬值,而基于领域知识在起点给出反直觉路标、用工程工具在终点帮人审题与淘金,才刚刚起步。
我把这 5 句话的完整原文、1.22 美元的实测过程和背后的提示词拆解都写成了长文,感兴趣的朋友可以看看:
yage.ai/share/opus-eth…
2
0
4
734
大多数人在电脑上用 Ollama 跑 20 :刚下载完看到终端每秒输出上百个词元会很兴奋,但真用起来就会发现,问一些稍微冷门的知识,它就开始胡说八道;给它塞一份几万字的长文档,它会漏掉里面的关键数字;要求按指定格式调外部接口,它又会漏掉必填参数。玩上十分钟后,基本就放进硬盘吃灰了。
端侧小模型老成玩具,是因为云端的千亿参数大模型把我们胃口养刁了,总想把那个能背百科、能看长文、能看图听声的全能通才塞进 20 亿参数(2B)的壳子里。最近 Liquid AI 开源的新一代 LFM3 家族一口气发了六个 2B 级别的模型,最让人眼前一亮的不是跑分,而是它彻底换了一套端侧生存策略。
Liquid AI 在底层做了六胞胎共享母体:六个模型完全共用同一组预训练数据、同一套训练管线和同一个 17.3 亿参数的基础权重。上层他们果断放弃单模型全能,沿着三条线做减法:把看图、听声和纯文本拆成专用分支,避免小脑容量互相挤占;用强化学习重罚瞎猜,哪怕闭卷百科准确率压到只有 7%,也要换取近 93% 的未知拒答率与越级的工具调用表现;甚至在右支拆出两个完全不吐自然语言词元的决策模型 d1-2B,只跑一次前向计算,十几毫秒直接输出分类概率、原文起止位置和画面目标框。为了省内存,它还砍掉四分之三的全局注意力,用 64K 之后的长文检索退化换取平时极小的内存开销。
老实说,这些 LFM3 模型未必会大红大紫,但它验证的这套工程思路非常有启发:底层把数据和基底权重复用到极致,上层放弃全能执念、主动接受偏科,不管黑猫白猫抓到老鼠就是好猫。无论你是在微调自己的大小模型,还是在搭日常的智能体流水线,这种敢于用非核心能力换取核心动作高可靠的拆法都非常值得借鉴:yage.ai/share/liquid-l…
端侧小模型老成玩具,是因为云端的千亿参数大模型把我们胃口养刁了,总想把那个能背百科、能看长文、能看图听声的全能通才塞进 20 亿参数(2B)的壳子里。最近 Liquid AI 开源的新一代 LFM3 家族一口气发了六个 2B 级别的模型,最让人眼前一亮的不是跑分,而是它彻底换了一套端侧生存策略。
Liquid AI 在底层做了六胞胎共享母体:六个模型完全共用同一组预训练数据、同一套训练管线和同一个 17.3 亿参数的基础权重。上层他们果断放弃单模型全能,沿着三条线做减法:把看图、听声和纯文本拆成专用分支,避免小脑容量互相挤占;用强化学习重罚瞎猜,哪怕闭卷百科准确率压到只有 7%,也要换取近 93% 的未知拒答率与越级的工具调用表现;甚至在右支拆出两个完全不吐自然语言词元的决策模型 d1-2B,只跑一次前向计算,十几毫秒直接输出分类概率、原文起止位置和画面目标框。为了省内存,它还砍掉四分之三的全局注意力,用 64K 之后的长文检索退化换取平时极小的内存开销。
老实说,这些 LFM3 模型未必会大红大紫,但它验证的这套工程思路非常有启发:底层把数据和基底权重复用到极致,上层放弃全能执念、主动接受偏科,不管黑猫白猫抓到老鼠就是好猫。无论你是在微调自己的大小模型,还是在搭日常的智能体流水线,这种敢于用非核心能力换取核心动作高可靠的拆法都非常值得借鉴:yage.ai/share/liquid-l…
2
0
6
1,043
很多人认为OpenAI和Anthropic都是印钞机一样的顶级软件公司,只要养几百个天才研究员,训练出最强的模型,然后在API上出售,就能像SaaS一样躺着赚取80%以上的毛利。
但如果你去看 Anthropic 刚交上去的 S-1 上市招股书,会发现里面的真实账本完全不同。
虽然用已经训练好的模型给付费客户回答问题,上半年纯推理的毛利率确实高达 85.4%。但传统软件写好可以卖十年,最前沿的大模型却是保质期只有半年的生鲜。招股书披露,今年三季度超过八成的收入都来自过去六个月发布的新模型。一旦停止迭代,半年后收入会迅速塌方。
如果把新模型训练的65.65亿美元算力成本加回去,半年算力支出冲到89.45亿美元,真实算力毛利瞬间降到45.1%。再考虑到公司48%的销售额要在亚马逊、谷歌、微软云商城上结算,上半年还给亚马逊和谷歌交了30.53亿美元的渠道费。三刀砍下来,100美元营收最终只剩下26.3美元用来发工资和维持运营。
更可怕的是,光有优秀模型根本活不下去。两年前Claude 3.5 口碑已经碾压,但当时纯推理毛利-94.8%,每收客户一美元,光是跑推理就要倒贴九毛五。接下来一年半,付费token消耗涨了 100 倍,营收暴涨 86 倍。如果公司里只有算法研究员,早就巨亏或者全网算力缺货停摆。
招股书里真正亮眼的是,它摊开了把大模型从亏损深渊拉出来的那群非算法专家:
1. 跨三套异构芯片的推理与编译器工程:全行业唯一把同一代主力模型同时跑在超 50 万块亚马逊 Trainium2、超 1 吉瓦谷歌 TPU 和英伟达 GPU 三套完全不兼容的硬件底座上,硬生生把纯推理毛利从 -94.8% 救回 85.4%。
2. 8,551 亿美元保底算力死约与法务走钢丝:为了在明后年并网 4 到 10 吉瓦电力(相当于四到十座大型核电站),公司背上了最高 8,551 亿美元的照付不议算力承诺。算力晚到半年客户跑光,早到半年闲置罚款抽干现金。金融与法务团队一边跟博通签 1,612 亿美元五年期定制芯片租约,一边跟马斯克旗下 SpaceXAI 签最高 1,205 亿美元燃气轮机算力合同救急,还在条款里埋入明年初之后提前 90 天通知即可无责退租的逃生门。
3. 六个月回本倒计时下的计费杠杆与反蒸馏:为在半年内赚回几十亿训练费,产品团队把企业 SSO 和审计日志挡在 200 美元个人套餐外,逼企业走无上限 API,全公司八成收入来自按量计费,重度 Claude Code 用户花费达企业客户中位数的 20 倍。同时 API 默认上下文缓存只活 5 分钟,而交互式智能体近八成时间在等人类阅读和输入,程序员停笔想方案超 5 分钟,敲下回车就触发一次 12 到 15 美元的长上下文全价重读。另一边,安全团队在八九月份主动封杀了占总收入 5% 到 7%(近 20 亿美元)的灰产号池与同行蒸馏账号,宁可让单月环比增速降到 3% 到 7% 也要保住模型半年的领先身位。
4. 内部算力费正式超过工资总额:从今年 4 月起,公司花在内部员工使用 Claude 上的算力成本,已经正式超过全公司 5,300 名员工的现金薪资与福利总和。内部超 90% 代码由 Claude 编写,人均日提交量是两年前的 45 倍以上,工程团队甚至重写了内部版本控制系统 Scion 来扛每天 3 万次代码合并,并斥资近 5 亿美元接连买下 Bun 和 Stainless。
甚至在招股书的风险章节里,公司第一次承认在内部自动化安全评测中,真有四款前沿模型突破了评测沙盒限制,在被发现前连入真实外网长达 10 到 34 小时。
把这份招股书拆完,文章对唯模型论、API缓存断崖和沙盒安全总结出三条给AI Builder的实战心得,详见:
yage.ai/share/anthropi…
但如果你去看 Anthropic 刚交上去的 S-1 上市招股书,会发现里面的真实账本完全不同。
虽然用已经训练好的模型给付费客户回答问题,上半年纯推理的毛利率确实高达 85.4%。但传统软件写好可以卖十年,最前沿的大模型却是保质期只有半年的生鲜。招股书披露,今年三季度超过八成的收入都来自过去六个月发布的新模型。一旦停止迭代,半年后收入会迅速塌方。
如果把新模型训练的65.65亿美元算力成本加回去,半年算力支出冲到89.45亿美元,真实算力毛利瞬间降到45.1%。再考虑到公司48%的销售额要在亚马逊、谷歌、微软云商城上结算,上半年还给亚马逊和谷歌交了30.53亿美元的渠道费。三刀砍下来,100美元营收最终只剩下26.3美元用来发工资和维持运营。
更可怕的是,光有优秀模型根本活不下去。两年前Claude 3.5 口碑已经碾压,但当时纯推理毛利-94.8%,每收客户一美元,光是跑推理就要倒贴九毛五。接下来一年半,付费token消耗涨了 100 倍,营收暴涨 86 倍。如果公司里只有算法研究员,早就巨亏或者全网算力缺货停摆。
招股书里真正亮眼的是,它摊开了把大模型从亏损深渊拉出来的那群非算法专家:
1. 跨三套异构芯片的推理与编译器工程:全行业唯一把同一代主力模型同时跑在超 50 万块亚马逊 Trainium2、超 1 吉瓦谷歌 TPU 和英伟达 GPU 三套完全不兼容的硬件底座上,硬生生把纯推理毛利从 -94.8% 救回 85.4%。
2. 8,551 亿美元保底算力死约与法务走钢丝:为了在明后年并网 4 到 10 吉瓦电力(相当于四到十座大型核电站),公司背上了最高 8,551 亿美元的照付不议算力承诺。算力晚到半年客户跑光,早到半年闲置罚款抽干现金。金融与法务团队一边跟博通签 1,612 亿美元五年期定制芯片租约,一边跟马斯克旗下 SpaceXAI 签最高 1,205 亿美元燃气轮机算力合同救急,还在条款里埋入明年初之后提前 90 天通知即可无责退租的逃生门。
3. 六个月回本倒计时下的计费杠杆与反蒸馏:为在半年内赚回几十亿训练费,产品团队把企业 SSO 和审计日志挡在 200 美元个人套餐外,逼企业走无上限 API,全公司八成收入来自按量计费,重度 Claude Code 用户花费达企业客户中位数的 20 倍。同时 API 默认上下文缓存只活 5 分钟,而交互式智能体近八成时间在等人类阅读和输入,程序员停笔想方案超 5 分钟,敲下回车就触发一次 12 到 15 美元的长上下文全价重读。另一边,安全团队在八九月份主动封杀了占总收入 5% 到 7%(近 20 亿美元)的灰产号池与同行蒸馏账号,宁可让单月环比增速降到 3% 到 7% 也要保住模型半年的领先身位。
4. 内部算力费正式超过工资总额:从今年 4 月起,公司花在内部员工使用 Claude 上的算力成本,已经正式超过全公司 5,300 名员工的现金薪资与福利总和。内部超 90% 代码由 Claude 编写,人均日提交量是两年前的 45 倍以上,工程团队甚至重写了内部版本控制系统 Scion 来扛每天 3 万次代码合并,并斥资近 5 亿美元接连买下 Bun 和 Stainless。
甚至在招股书的风险章节里,公司第一次承认在内部自动化安全评测中,真有四款前沿模型突破了评测沙盒限制,在被发现前连入真实外网长达 10 到 34 小时。
把这份招股书拆完,文章对唯模型论、API缓存断崖和沙盒安全总结出三条给AI Builder的实战心得,详见:
yage.ai/share/anthropi…
55
57
436
86,130
10月27日,Google DeepMind 发布了第四代世界模型 Genie 4。它可以用键盘或者说话的方式实时修改画面内容,并且首次支持了同步语音输出。单次连续交互时间从一分钟提升到了两分钟,官方还发布了一个展示人形机器人下跳棋的视频。
但如果你仔细阅读它的技术介绍的话,会发现一个非常有趣的变化:它之所以能完成这些复杂的任务,并不是靠视频模型自己学会了物理和逻辑。恰恰相反,DeepMind 在 Genie 4 外面套了三个不同的 Gemini 语言模型,一个在训练阶段补充常识,一个在运行阶段看着屏幕把任务拆成小步,还有一个专门替那个机器人计算跳棋走法。
这件事仔细想一下很有意思。如果只是为了解决碰撞检测与物理模拟的话,传统的三维建模加物理引擎早就做得很精确了。为什么大家如此期待世界模型、愿意投下几十亿美元,是因为相信这种涌现出来的智能:不需要人工去做三维建模、去写物理公式,只要让一个模型看网上的海量视频,就像语言模型看海量文章一样,它可以靠预测下一帧画面自己悟出物理定律和因果关系。
现在就连 DeepMind 这样的顶尖实验室都开始从单模型端到端涌现的优雅路线,退回到多模型串联的流水线,也侧面说明单纯靠视频生成去涌现物理规律,在现有技术框架下已经遇到了瓶颈。
另一个现实问题是算力成本。传统游戏在玩家本地显卡上渲染,游戏公司多服务一小时的边际成本几乎为零,即便是 GeForce NOW 这样的传统云游戏,分摊下来的每小时成本也只要零点三到零点五美元。但实时世界模型每一秒都在云端机房跑大模型推理,按公开推理平台 fal 或初创公司 Decart 的实时接口算下来,跑一小时要消耗 72 到 288 美元。玩一小时消耗的算力成本,已经够在 Steam 上直接买断一款顶级游戏大作。这也解释了为什么 Google 就算收着每月 250 美元的订阅费,也只能把每次体验限制在一到两分钟。
C 端的订阅制覆盖不了算力成本,独立创业公司拿到的融资又难以和科技巨头长期比拼算力消耗,最现实的出路就是趁估值还在高位并入大厂。今年九月底到十月下旬短短 25 天里,三大世界模型独角兽接连并入大厂:李飞飞的 World Labs 以 82 亿美元全股票交易卖给 AMD 做显卡软硬件协同设计;Decart 在 Anthropic 尽调放弃后,以约 70 亿美元洽售给看中其跨芯片推理软件栈的 Amazon;前 DeepMind 研究员创办的 Third Dimension AI 则直接卖给了电动车企 Rivian。
剥开取代游戏引擎和娱乐应用的泡沫,世界模型在工业仿真的后台应用反而更有价值。在游戏里一小时花掉一两百美元算力是灾难,但在自动驾驶和特种机器人训练里,现实路面上撞坏一辆真车动辄损失几十万美元,花几百美元在机房里用世界模型批量合成龙卷风、山火、逆行大卡车这类罕见险情,反而是一笔非常划算的投入。Waymo 基于上一代 Genie 3 做的自动驾驶仿真、一年把合同营收做到 1.35 亿美元的 FieldAI,以及 LG、三星、现代和理想汽车采用的 NVIDIA Cosmos 3,都已经在这条路上跑通了商业闭环。
我写了一篇长文,从 Genie 4 的级联架构出发,聊聊世界模型的端到端理想为什么退守、算力账为什么算不过来,以及它在工业后台的真实位置:
yage.ai/share/genie-4-…
但如果你仔细阅读它的技术介绍的话,会发现一个非常有趣的变化:它之所以能完成这些复杂的任务,并不是靠视频模型自己学会了物理和逻辑。恰恰相反,DeepMind 在 Genie 4 外面套了三个不同的 Gemini 语言模型,一个在训练阶段补充常识,一个在运行阶段看着屏幕把任务拆成小步,还有一个专门替那个机器人计算跳棋走法。
这件事仔细想一下很有意思。如果只是为了解决碰撞检测与物理模拟的话,传统的三维建模加物理引擎早就做得很精确了。为什么大家如此期待世界模型、愿意投下几十亿美元,是因为相信这种涌现出来的智能:不需要人工去做三维建模、去写物理公式,只要让一个模型看网上的海量视频,就像语言模型看海量文章一样,它可以靠预测下一帧画面自己悟出物理定律和因果关系。
现在就连 DeepMind 这样的顶尖实验室都开始从单模型端到端涌现的优雅路线,退回到多模型串联的流水线,也侧面说明单纯靠视频生成去涌现物理规律,在现有技术框架下已经遇到了瓶颈。
另一个现实问题是算力成本。传统游戏在玩家本地显卡上渲染,游戏公司多服务一小时的边际成本几乎为零,即便是 GeForce NOW 这样的传统云游戏,分摊下来的每小时成本也只要零点三到零点五美元。但实时世界模型每一秒都在云端机房跑大模型推理,按公开推理平台 fal 或初创公司 Decart 的实时接口算下来,跑一小时要消耗 72 到 288 美元。玩一小时消耗的算力成本,已经够在 Steam 上直接买断一款顶级游戏大作。这也解释了为什么 Google 就算收着每月 250 美元的订阅费,也只能把每次体验限制在一到两分钟。
C 端的订阅制覆盖不了算力成本,独立创业公司拿到的融资又难以和科技巨头长期比拼算力消耗,最现实的出路就是趁估值还在高位并入大厂。今年九月底到十月下旬短短 25 天里,三大世界模型独角兽接连并入大厂:李飞飞的 World Labs 以 82 亿美元全股票交易卖给 AMD 做显卡软硬件协同设计;Decart 在 Anthropic 尽调放弃后,以约 70 亿美元洽售给看中其跨芯片推理软件栈的 Amazon;前 DeepMind 研究员创办的 Third Dimension AI 则直接卖给了电动车企 Rivian。
剥开取代游戏引擎和娱乐应用的泡沫,世界模型在工业仿真的后台应用反而更有价值。在游戏里一小时花掉一两百美元算力是灾难,但在自动驾驶和特种机器人训练里,现实路面上撞坏一辆真车动辄损失几十万美元,花几百美元在机房里用世界模型批量合成龙卷风、山火、逆行大卡车这类罕见险情,反而是一笔非常划算的投入。Waymo 基于上一代 Genie 3 做的自动驾驶仿真、一年把合同营收做到 1.35 亿美元的 FieldAI,以及 LG、三星、现代和理想汽车采用的 NVIDIA Cosmos 3,都已经在这条路上跑通了商业闭环。
我写了一篇长文,从 Genie 4 的级联架构出发,聊聊世界模型的端到端理想为什么退守、算力账为什么算不过来,以及它在工业后台的真实位置:
yage.ai/share/genie-4-…
2
0
4
1,185
很多人对AI制药的想象是,有一个超级智能的大脑在电脑前敲打着键盘,就能生成一个神奇的药物分子。但制药工业的实际情况是,FDA在过去五年中高达74%的首轮拒批的原因是工厂生产和质控不达标。而分析化学家的75%工作时间用于肉眼核对几百页手写扫描批记录。甚至分子设计端也是如此,就在上周,Anthropic自己披露的蝎毒测试中,大模型一下生成了31.8万种候选蛋白质,送进实验室测试,能真正中和毒素的抗毒血清是0个。
可就在几天后的 10 月 27 日,Anthropic 公布了最新的药物研发进展:不仅和六家生物医药机构达成了深度合作,还在湿实验中实现了超越临床标准药的数据表现,更收购了一家制药公司并成立了自营制药公司 Mithril Medicine。在一个生物世界连可靠的物理模拟器都没有的时代,一个 LLM 究竟是如何推动新药研发的?
拆开这六个真实的管线会发现,Claude 真正在实验室里跑通的路线,从来不是当灵光一现的神医去做核心科学决断,而是帮科学家打下手,解决那 80% 最折磨人的工程摩擦:
第一,在物理模拟器都不靠谱的时候,帮科学家换个能算的题。AlphaFold 擅长算刚性积木,但遇到细胞里像软面条一样乱晃的柔性尾巴,或者慢动作撬开过敏分子的动态过程,模拟软件直接交白卷。Claude 不去死磕物理模拟,而是翻遍两百多篇文献把现成的信号模块整理成词典重新拼装,把抗癌免疫细胞的信号尾巴砍短约 70%,让癌细胞探测器产量暴增约 10 倍;在重度食物过敏项目里,它把动态撬锁题换成静态门折页几何题,一个月内筛出 20 个能把过敏分子从细胞表面强行撬下来的抗体,3 个效果超过现有临床标准药。
第二,现成软件卡死、实验仪器报假账时,钻进底层修Bug。在抗体耐热测试里,第一轮七种预测模型全军覆没,仪器自带质控软件把一半以上实验孔标为废数据。人类研究员督促Claude调出几千条原始激光升温曲线逐一排查,抓到了仪器软件的荒唐漏洞:有些抗体在高温下像煮鸡蛋一样结块沉淀,仪器公式分不清受热展开和高温结块,把耐热分数算成一团乱麻。Claude重写物理打分公式抢救回四百多个实验孔,帮团队选出耐热提高18摄氏度的分子。
第三,死板代码+超级项目经理抹平压垮救命药的管理成本。Enveda 用 Python 逐页账本把 Claude 关进合规笼子审核一千多页临床批记录,不仅找齐人工审出的问题,还多揪出 7 处人类漏掉的偏差,把近 26 小时人工耗时压到 2.8 小时。更动人的是儿童先天性肌营养不良这类超罕见病,欧美患者不到 5,000 人,因为要同时协调 11 家外包实验室,传统药企雇二三十人管理团队的固定成本直接判了罕见病死刑。而在 Mithril,一位创始科学家单枪匹马带 Claude 统管这 11 家外包商,不到 18 个月跑通患病小鼠验证,让小鼠肌肉力量恢复到近两倍。
一旦没有真实实验反馈,仅凭大模型瞎选方案,五个前沿模型盲测打分跟抛硬币差不多;科学家漏掉一条底线规则,算法甚至会把免疫细胞的报警开关全删掉,造出指标满分却不会开火的瞎子细胞。AI 不用当无所不知的神医,只要老老实实钻进工程死角,把算不出的题换成现成的、把失真的仪表调准、把压垮救命药的管理摩擦抹平,就已经足够改变科学探索的经济账了。
完整分析请见长文:
yage.ai/share/anthropi…
可就在几天后的 10 月 27 日,Anthropic 公布了最新的药物研发进展:不仅和六家生物医药机构达成了深度合作,还在湿实验中实现了超越临床标准药的数据表现,更收购了一家制药公司并成立了自营制药公司 Mithril Medicine。在一个生物世界连可靠的物理模拟器都没有的时代,一个 LLM 究竟是如何推动新药研发的?
拆开这六个真实的管线会发现,Claude 真正在实验室里跑通的路线,从来不是当灵光一现的神医去做核心科学决断,而是帮科学家打下手,解决那 80% 最折磨人的工程摩擦:
第一,在物理模拟器都不靠谱的时候,帮科学家换个能算的题。AlphaFold 擅长算刚性积木,但遇到细胞里像软面条一样乱晃的柔性尾巴,或者慢动作撬开过敏分子的动态过程,模拟软件直接交白卷。Claude 不去死磕物理模拟,而是翻遍两百多篇文献把现成的信号模块整理成词典重新拼装,把抗癌免疫细胞的信号尾巴砍短约 70%,让癌细胞探测器产量暴增约 10 倍;在重度食物过敏项目里,它把动态撬锁题换成静态门折页几何题,一个月内筛出 20 个能把过敏分子从细胞表面强行撬下来的抗体,3 个效果超过现有临床标准药。
第二,现成软件卡死、实验仪器报假账时,钻进底层修Bug。在抗体耐热测试里,第一轮七种预测模型全军覆没,仪器自带质控软件把一半以上实验孔标为废数据。人类研究员督促Claude调出几千条原始激光升温曲线逐一排查,抓到了仪器软件的荒唐漏洞:有些抗体在高温下像煮鸡蛋一样结块沉淀,仪器公式分不清受热展开和高温结块,把耐热分数算成一团乱麻。Claude重写物理打分公式抢救回四百多个实验孔,帮团队选出耐热提高18摄氏度的分子。
第三,死板代码+超级项目经理抹平压垮救命药的管理成本。Enveda 用 Python 逐页账本把 Claude 关进合规笼子审核一千多页临床批记录,不仅找齐人工审出的问题,还多揪出 7 处人类漏掉的偏差,把近 26 小时人工耗时压到 2.8 小时。更动人的是儿童先天性肌营养不良这类超罕见病,欧美患者不到 5,000 人,因为要同时协调 11 家外包实验室,传统药企雇二三十人管理团队的固定成本直接判了罕见病死刑。而在 Mithril,一位创始科学家单枪匹马带 Claude 统管这 11 家外包商,不到 18 个月跑通患病小鼠验证,让小鼠肌肉力量恢复到近两倍。
一旦没有真实实验反馈,仅凭大模型瞎选方案,五个前沿模型盲测打分跟抛硬币差不多;科学家漏掉一条底线规则,算法甚至会把免疫细胞的报警开关全删掉,造出指标满分却不会开火的瞎子细胞。AI 不用当无所不知的神医,只要老老实实钻进工程死角,把算不出的题换成现成的、把失真的仪表调准、把压垮救命药的管理摩擦抹平,就已经足够改变科学探索的经济账了。
完整分析请见长文:
yage.ai/share/anthropi…
4
27
125
10,790
在使用 Claude Code 或者 Codex 进行编程时,一个常见的做法是创建 git worktree,在不同的目录下并行运行多个任务。但分支写完后,如果在同一个窗口里让 agent 把主分支上的最新改动合并进来,经常会遇到一个奇怪的问题:合并没有报错,原有的单元测试也全过了,但你或同事刚加进主分支的新函数却凭空消失了。
为什么即使目录隔离,合并的时候还会静默丢失逻辑?十月底公布的 SWE-Shift 基准测试对 17 种主流编程系统的测试正好回答了这个问题。
他们从多个真实开源仓库里选了 120 个任务。只要中间插一次外界改动,比如人随手修了代码、半路加接口、或队友合入新逻辑,所有系统的成功率都会暴跌。最强的 GPT-6 Astra 在安静环境能完成 67.35% 的任务,中途一变就降到 24.79%;要求安静和变动两边都成功还不破坏新改动的成对成功率,更是只有 20.34%。Claude Opus 也到了两成左右。
在这些失败的任务中,比直接报错或挂起更棘手的问题是,agent 为了迁就自己之前设定的旧计划,悄悄删掉了别人新加的代码。一个实际的例子是 Django 的数据库迁移:GPT-5.6 Sol 改索引逻辑做到六成进度,队友往同一份文件合入了一个新方法 can_reduce_index_with,两边甚至没有行号冲突。但 agent 虽然试着调了一下这个新方法,为了跑通自己原来的方案,最终提交补丁时直接把队友刚写的 can_reduce_index_with 删除了。好巧不巧,原有的 39 个单元测试全都通过了,不特别检查新接口根本发现不了。
所以这就能理解为什么仅用 git worktree 只解决了一半问题。独立目录的确能保证 agent 在编码时有静止的环境,但只是把外部变化推到了最后合并代码的时候。更反直觉的是,评测对比了进度一成到九成中间引入变动的情况,发现在七到九成收尾阶段,GPT 和 Claude 的成对成功率比早期的干预又下降了 12-20 个百分点。
而在收尾阶段增加 token 也无济于事。研究组把变动后的可用 token 预算从 100 万放大 16 倍到 1600 万,超过 400 万之后,成对成功率的涨幅连 0.3 个百分点都不到。多给的预算全花在顺着老计划反复跑旧测试上了。因为前几十步读过的行号、报错和修改方案全攒在上下文窗口里,越接近写完,旧历史的锚定就越重,哪怕终端已经印出新报错,17 个系统在旧证据失效场景下的成对成功率还是掉到了零。
要想让 agent 重新看见眼前的代码,得先清空它脑子里的老结论。评测试了几个挽救办法,只有清空变动前的旧对话历史、让系统重新扫描工作区文件状态和差异,才把成对成功率拉回 6 到 9 个百分点。微软研究院的分支清理实验也印证了这点:探索不同方向后,删掉冗长的中间推理、只留阶段结论,任务得分就从单次长跑的 0.47 涨到了 0.78;如果只是做常规摘要压缩,老思路仍会留在摘要里继续带偏后续操作。
把这个结论用到我们自己的开发上,只要改掉用一个窗口从头干到尾的习惯,分成三步走:
第一,看代码、做计划、做审阅的时候多开几个窗口并行阅读,改代码的时候只留一个主线窗口,能不并发写就不并发写。
第二,确实需要一边等待 agent 一边自己改代码,或者想同时尝试两种方案时,可以用 git worktree 把目录隔离,确保执行期间环境完全静止。
第三,要把分支合回主干,或者任务过半想大改需求,先让原来的窗口提交存盘,然后直接关掉旧窗口;新开一个没有任何历史包袱的干净窗口,只把主分支的新改动和当前分支的 diff 发给它,交代以主分支的最新接口为准完成合并。
完整的实验分析和工作流细节在长文里:
yage.ai/share/git-work…
为什么即使目录隔离,合并的时候还会静默丢失逻辑?十月底公布的 SWE-Shift 基准测试对 17 种主流编程系统的测试正好回答了这个问题。
他们从多个真实开源仓库里选了 120 个任务。只要中间插一次外界改动,比如人随手修了代码、半路加接口、或队友合入新逻辑,所有系统的成功率都会暴跌。最强的 GPT-6 Astra 在安静环境能完成 67.35% 的任务,中途一变就降到 24.79%;要求安静和变动两边都成功还不破坏新改动的成对成功率,更是只有 20.34%。Claude Opus 也到了两成左右。
在这些失败的任务中,比直接报错或挂起更棘手的问题是,agent 为了迁就自己之前设定的旧计划,悄悄删掉了别人新加的代码。一个实际的例子是 Django 的数据库迁移:GPT-5.6 Sol 改索引逻辑做到六成进度,队友往同一份文件合入了一个新方法 can_reduce_index_with,两边甚至没有行号冲突。但 agent 虽然试着调了一下这个新方法,为了跑通自己原来的方案,最终提交补丁时直接把队友刚写的 can_reduce_index_with 删除了。好巧不巧,原有的 39 个单元测试全都通过了,不特别检查新接口根本发现不了。
所以这就能理解为什么仅用 git worktree 只解决了一半问题。独立目录的确能保证 agent 在编码时有静止的环境,但只是把外部变化推到了最后合并代码的时候。更反直觉的是,评测对比了进度一成到九成中间引入变动的情况,发现在七到九成收尾阶段,GPT 和 Claude 的成对成功率比早期的干预又下降了 12-20 个百分点。
而在收尾阶段增加 token 也无济于事。研究组把变动后的可用 token 预算从 100 万放大 16 倍到 1600 万,超过 400 万之后,成对成功率的涨幅连 0.3 个百分点都不到。多给的预算全花在顺着老计划反复跑旧测试上了。因为前几十步读过的行号、报错和修改方案全攒在上下文窗口里,越接近写完,旧历史的锚定就越重,哪怕终端已经印出新报错,17 个系统在旧证据失效场景下的成对成功率还是掉到了零。
要想让 agent 重新看见眼前的代码,得先清空它脑子里的老结论。评测试了几个挽救办法,只有清空变动前的旧对话历史、让系统重新扫描工作区文件状态和差异,才把成对成功率拉回 6 到 9 个百分点。微软研究院的分支清理实验也印证了这点:探索不同方向后,删掉冗长的中间推理、只留阶段结论,任务得分就从单次长跑的 0.47 涨到了 0.78;如果只是做常规摘要压缩,老思路仍会留在摘要里继续带偏后续操作。
把这个结论用到我们自己的开发上,只要改掉用一个窗口从头干到尾的习惯,分成三步走:
第一,看代码、做计划、做审阅的时候多开几个窗口并行阅读,改代码的时候只留一个主线窗口,能不并发写就不并发写。
第二,确实需要一边等待 agent 一边自己改代码,或者想同时尝试两种方案时,可以用 git worktree 把目录隔离,确保执行期间环境完全静止。
第三,要把分支合回主干,或者任务过半想大改需求,先让原来的窗口提交存盘,然后直接关掉旧窗口;新开一个没有任何历史包袱的干净窗口,只把主分支的新改动和当前分支的 diff 发给它,交代以主分支的最新接口为准完成合并。
完整的实验分析和工作流细节在长文里:
yage.ai/share/git-work…
6
0
11
3,466
两个全球安全投入最大的 AI 实验室 Anthropic 和 OpenAI,最近相继在平时没人注意的周边软件上失守。
在十月下旬曝光的 Anthropic 事件中,安全初创公司 Cathedral 的 AI 智能体一开始也尝试过从正门强攻,连续几天直接攻击 Anthropic 自研的核心软件,但全部撞墙。但当智能体转头去测试日常行政、销售和人力资源管理的第三方商业软件时,不到 12 小时就顺着现成的跨系统授权通道,读到了部分会议录音转写、员工薪资与录用细节、客户商务联络方式和部分 Slack 消息。
一个月前公开的 OpenAI 事件几乎也是同一个套路:Hacktron 的三名研究员绕过正面防线,先用开源图像库 libheif 的旧内存缺陷拿下 OpenAI 公开技术社区后台,再顺着第一跳全公司共用的统一登录接管内部工程师的 ChatGPT 和 Codex 账号,接着顺着第二跳 Codex 绑定的 GitHub 写入权限,直接往核心代码仓库提交了拉取请求。
很多人好奇,既然突破口也是第三方软件漏洞、走的也是现成的旧授权,那 AI 在这里面带来了什么改变呢?
答案不在某一个神奇漏洞,而在外围侦察的成本彻底变了。当然,AI 在正面战场单点突破的能力也在变强,比如安全公司 Calif 用 AI 在两周内就写出了搁置多年的 PHP 内核高危远程代码执行概念验证程序。但正因为正面威胁显眼,大公司早已把核心机房焊满钢板;而网络安全是一场体系对抗,攻击永远像水一样往防御最薄的地方流。以前外围行政软件和边缘子站能侥幸无事,是因为顶尖研究员的时间太贵,没人花几周去翻几十个边缘软件。现在开源多智能体平台 Cairn 只需不到一百字指令,就能尝试一千两百多个站点、攻破一百多家公司,平均攻破一家公司的算力成本只要约 50 美元。
外围的软件总有破绽,但团队可以在内网连接的管道交界处装三道防水闸:
1. 第一道防水闸装在统一登录上,按安全等级切开信任域,边缘站点和核心研发环境绝不共用同一张会话通行证;
2. 第二道防水闸装在工具连接器上,按假设供应商明天失守的标准分配最小权限,把非必要写入砍成只读;
3. 第三道防水闸装在内部数据调取的卡口上,设独立速率限制和异常拉取熔断,就像 Anthropic 这次靠内部监控独立抓出并切断测试方未上报的第二个漏洞通道一样。
完整分析:yage.ai/share/anthropi…
在十月下旬曝光的 Anthropic 事件中,安全初创公司 Cathedral 的 AI 智能体一开始也尝试过从正门强攻,连续几天直接攻击 Anthropic 自研的核心软件,但全部撞墙。但当智能体转头去测试日常行政、销售和人力资源管理的第三方商业软件时,不到 12 小时就顺着现成的跨系统授权通道,读到了部分会议录音转写、员工薪资与录用细节、客户商务联络方式和部分 Slack 消息。
一个月前公开的 OpenAI 事件几乎也是同一个套路:Hacktron 的三名研究员绕过正面防线,先用开源图像库 libheif 的旧内存缺陷拿下 OpenAI 公开技术社区后台,再顺着第一跳全公司共用的统一登录接管内部工程师的 ChatGPT 和 Codex 账号,接着顺着第二跳 Codex 绑定的 GitHub 写入权限,直接往核心代码仓库提交了拉取请求。
很多人好奇,既然突破口也是第三方软件漏洞、走的也是现成的旧授权,那 AI 在这里面带来了什么改变呢?
答案不在某一个神奇漏洞,而在外围侦察的成本彻底变了。当然,AI 在正面战场单点突破的能力也在变强,比如安全公司 Calif 用 AI 在两周内就写出了搁置多年的 PHP 内核高危远程代码执行概念验证程序。但正因为正面威胁显眼,大公司早已把核心机房焊满钢板;而网络安全是一场体系对抗,攻击永远像水一样往防御最薄的地方流。以前外围行政软件和边缘子站能侥幸无事,是因为顶尖研究员的时间太贵,没人花几周去翻几十个边缘软件。现在开源多智能体平台 Cairn 只需不到一百字指令,就能尝试一千两百多个站点、攻破一百多家公司,平均攻破一家公司的算力成本只要约 50 美元。
外围的软件总有破绽,但团队可以在内网连接的管道交界处装三道防水闸:
1. 第一道防水闸装在统一登录上,按安全等级切开信任域,边缘站点和核心研发环境绝不共用同一张会话通行证;
2. 第二道防水闸装在工具连接器上,按假设供应商明天失守的标准分配最小权限,把非必要写入砍成只读;
3. 第三道防水闸装在内部数据调取的卡口上,设独立速率限制和异常拉取熔断,就像 Anthropic 这次靠内部监控独立抓出并切断测试方未上报的第二个漏洞通道一样。
完整分析:yage.ai/share/anthropi…
12
0
10
1,588
做 LLM 应用时,对话状态到底该放在谁那里?过去两年基本不用操心这事:每次发个无状态请求,应用端带上整段历史,服务端算完就丢,换供应商只换接口地址。
但碰到实时语音或耗时的后台任务,中途取消就变得复杂:比如语音助手准备说三句话,说到第二句中间你插嘴。此时模型已经算到第三句,服务器刚发出第二句的音频包,你耳机里只听到第一句和几个字。中断时需停下模型、拦住仍在传输的音频、把对话历史裁剪到你实际听见的地方。用户半路改主意时,后台任务仍在运行,若不拦截并丢弃旧结果,迟到的输出就会被播报出来混入新一轮对话。
现在状态开始往服务端走。OpenAI 在 2025 年 3 月推出 Responses API,回复默认存在服务端跨轮复用。今年 10 月,开源推理引擎 SGLang 把基本单位从单次请求改成贯穿整段对话的持续会话,把打断取消和按听到位置截断历史等规则固定成上层接口。
但 LiveKit 和 Pipecat 已经在应用层根据播放位置裁剪历史了。把会话塞进引擎会失去无状态请求的好处,SGLang 目前也还不支持断线重连后接续原会话。谁的会话接口成了上层标准,就会决定对话状态最终在哪一层、未来换引擎要付多少代价。
yage.ai/share/sglang-c…
但碰到实时语音或耗时的后台任务,中途取消就变得复杂:比如语音助手准备说三句话,说到第二句中间你插嘴。此时模型已经算到第三句,服务器刚发出第二句的音频包,你耳机里只听到第一句和几个字。中断时需停下模型、拦住仍在传输的音频、把对话历史裁剪到你实际听见的地方。用户半路改主意时,后台任务仍在运行,若不拦截并丢弃旧结果,迟到的输出就会被播报出来混入新一轮对话。
现在状态开始往服务端走。OpenAI 在 2025 年 3 月推出 Responses API,回复默认存在服务端跨轮复用。今年 10 月,开源推理引擎 SGLang 把基本单位从单次请求改成贯穿整段对话的持续会话,把打断取消和按听到位置截断历史等规则固定成上层接口。
但 LiveKit 和 Pipecat 已经在应用层根据播放位置裁剪历史了。把会话塞进引擎会失去无状态请求的好处,SGLang 目前也还不支持断线重连后接续原会话。谁的会话接口成了上层标准,就会决定对话状态最终在哪一层、未来换引擎要付多少代价。
yage.ai/share/sglang-c…
2
0
2
774
上周 Mistral、ElevenLabs 和 Block都发布了"实时语音",但各自的做法大不相同。那我们应该如何选择呢?
光看名字其实判断不出来架构。比如 ElevenLabs 发布了 Eleven Realtime,对外宣称是语音到语音的模型,但在官方文档里也明确写了内部其实是级联的,分成语音转文字、大模型、语音合成三段,中间用文字来传递,只是组件由厂商打包好了。
因此选型要先问业务最不能牺牲什么,再倒推架构。比如客服办退款要把事办成和留痕,就该选级联,因为中间留文字能查、能加规则、好接工具,代价是丢语气、多一层等待。比如陪伴聊天要自然,就得选模型自己边听边说的原生全双工;但越往原生全双工走越难查、越难接工具,而且实时性逼着前台模型做小,智力会受限,会话全程占着算力,像 GPT-Live 按通话时长收费,约每小时 3 美元。要是既要自然又要办重活,也可以在原生全双工前台上叠一层委派,像 GPT-Live 那样按快慢切,前台接话,后台干活。
想系统理解这些取舍和选型,可以看看这篇长文:
yage.ai/share/realtime…
光看名字其实判断不出来架构。比如 ElevenLabs 发布了 Eleven Realtime,对外宣称是语音到语音的模型,但在官方文档里也明确写了内部其实是级联的,分成语音转文字、大模型、语音合成三段,中间用文字来传递,只是组件由厂商打包好了。
因此选型要先问业务最不能牺牲什么,再倒推架构。比如客服办退款要把事办成和留痕,就该选级联,因为中间留文字能查、能加规则、好接工具,代价是丢语气、多一层等待。比如陪伴聊天要自然,就得选模型自己边听边说的原生全双工;但越往原生全双工走越难查、越难接工具,而且实时性逼着前台模型做小,智力会受限,会话全程占着算力,像 GPT-Live 按通话时长收费,约每小时 3 美元。要是既要自然又要办重活,也可以在原生全双工前台上叠一层委派,像 GPT-Live 那样按快慢切,前台接话,后台干活。
想系统理解这些取舍和选型,可以看看这篇长文:
yage.ai/share/realtime…
2
0
0
617
让 AI 帮你优化系统,它说「优化好了」,你敢直接上线吗?
这期视频里,我们要把 6.14 GB 的检索向量塞进 2 GB 的机器。Codex 建议改成 float16,内存减半,100 道题的命中率维持 92% 不变。
多问了一句耗时,发现平均延迟从 75.0 毫秒涨到了 168.9 存省下的钱全贴回去了。
有意思的是,Codex 汇报时其实顺嘴提了一句「检索变慢了」,但它自己没当回事。看出这句话最要紧,追问它为什么变慢,本身就是「出题」。
superlinear.academy/?utm_source=x&…
这期视频里,我们要把 6.14 GB 的检索向量塞进 2 GB 的机器。Codex 建议改成 float16,内存减半,100 道题的命中率维持 92% 不变。
多问了一句耗时,发现平均延迟从 75.0 毫秒涨到了 168.9 存省下的钱全贴回去了。
有意思的是,Codex 汇报时其实顺嘴提了一句「检索变慢了」,但它自己没当回事。看出这句话最要紧,追问它为什么变慢,本身就是「出题」。
superlinear.academy/?utm_source=x&…
3
0
11
1,878
最近看到了很多关于DeepSeek开源了自己的推理引擎DeepInfer的新闻,都在讨论这个引擎特别快。所以很多人很好奇,这种专门为某个模型设计的引擎为什么总显得比vLLM这样的通用引擎更快呢?
但很多时候,这个"快"来自配套的权重包和抢先接入的投机解码。我自己也在自己的显卡上做了一些实验,同样的引擎,仅升级版本,读入只快了 1% 到 5%;仅换权重包和缓存格式,读入能快 13% 到 46%。此外,在开源后的三四天内,vLLM 和 SGLang 也都发布了项目方自测,说已经接近 DeepInfer。
而日常使用 API 或编程助手最痛的,往往是 DeepInfer 文档提到与内部基础设施耦合、这次未开源的部分,比如长期保存和跨机复用的缓存系统。我用编程助手跑长会话,助手改写了中间历史,缓存对不上,那轮等了 24 秒才出第一个字;缓存重新建好以后不到 0.3 秒。这背后的门道我写在这里了:
yage.ai/share/deepseek…
但很多时候,这个"快"来自配套的权重包和抢先接入的投机解码。我自己也在自己的显卡上做了一些实验,同样的引擎,仅升级版本,读入只快了 1% 到 5%;仅换权重包和缓存格式,读入能快 13% 到 46%。此外,在开源后的三四天内,vLLM 和 SGLang 也都发布了项目方自测,说已经接近 DeepInfer。
而日常使用 API 或编程助手最痛的,往往是 DeepInfer 文档提到与内部基础设施耦合、这次未开源的部分,比如长期保存和跨机复用的缓存系统。我用编程助手跑长会话,助手改写了中间历史,缓存对不上,那轮等了 24 秒才出第一个字;缓存重新建好以后不到 0.3 秒。这背后的门道我写在这里了:
yage.ai/share/deepseek…
3
0
7
1,104
Cerebras 是以推理快出名的公司,Kimi K3 又是开放权重的旗舰模型,为什么在 Cerebras 的公共接口上调不到它呢?
这主要取决于它的速度从哪里来。我们以前也以为权重是从片外流进来的,但那是训练时候的做法。推理想要快,权重和上下文缓存都需要放在片上内存中不动,从而省去到芯片外搬数据的时间。但一片晶圆只有44GB片上内存,装不下这么大的模型,只能按网络层拆分,分布在多片晶圆上串联运行。
Cerebras 在自己的博客上用一个简化算法算过需要多少片晶圆。一套K3需要59片晶圆,这还是靠混合注意力省下不少缓存空间,才没涨到93片。
几十片晶圆那么多内存,把权重塞满以后就得像流水线一样绑在一起转。我们的理解是,这种规模很难在公共池子里跟其他用户一起拼单零售,所以它只放在企业专属目录里整包出租。当然,就算用了,快也只覆盖模型输出那一段。
yage.ai/share/cerebras…
这主要取决于它的速度从哪里来。我们以前也以为权重是从片外流进来的,但那是训练时候的做法。推理想要快,权重和上下文缓存都需要放在片上内存中不动,从而省去到芯片外搬数据的时间。但一片晶圆只有44GB片上内存,装不下这么大的模型,只能按网络层拆分,分布在多片晶圆上串联运行。
Cerebras 在自己的博客上用一个简化算法算过需要多少片晶圆。一套K3需要59片晶圆,这还是靠混合注意力省下不少缓存空间,才没涨到93片。
几十片晶圆那么多内存,把权重塞满以后就得像流水线一样绑在一起转。我们的理解是,这种规模很难在公共池子里跟其他用户一起拼单零售,所以它只放在企业专属目录里整包出租。当然,就算用了,快也只覆盖模型输出那一段。
yage.ai/share/cerebras…
3
0
0
804
看到十万家店铺域名在一夜之间接入AI agent的新闻,很多老板都会焦虑地问自己的业务什么时候可以变成AI原生。技术团队往往会犯两个极端:要么只是启用平台现有的公共开关,遇到老客户查询协议价、改履约中的订单就会卡住;要么闷头半年时间自己造底层协议,结果云厂商转头就免费送了。
但软件交付方式正在改变。现在的软件厂商跳出了死板的成品系统或底层SDK,开始像宜家一样交付生成内核:把核心套件、给AI的指导和杠杆工具打包提供,让你的AI自己拼装出贴合业务的专属工作流。
具体怎么落地,可以从三个层面入手:通用层直接启用平台的免费开关,行业层购买外部的生成内核(但要记得买来的是能力,业务责任依然得自己兜底),自有层只写核心的确定性业务判断函数和旧系统的补丁与护栏。先让内部员工和内部 agent 用起来,从上线第一天起就能产生收益。
yage.ai/share/ai-nativ…
但软件交付方式正在改变。现在的软件厂商跳出了死板的成品系统或底层SDK,开始像宜家一样交付生成内核:把核心套件、给AI的指导和杠杆工具打包提供,让你的AI自己拼装出贴合业务的专属工作流。
具体怎么落地,可以从三个层面入手:通用层直接启用平台的免费开关,行业层购买外部的生成内核(但要记得买来的是能力,业务责任依然得自己兜底),自有层只写核心的确定性业务判断函数和旧系统的补丁与护栏。先让内部员工和内部 agent 用起来,从上线第一天起就能产生收益。
yage.ai/share/ai-nativ…
0
0
6
878
一家网店想被浏览器里的 AI 代理直接调用,得先改模板、写接口、跟协议版本。单个商家算这笔账,怎么算都不划算:改造的钱是确定的,代理带来的订单是未知的。
Cloudflare 和 Commerce 的做法是把这件事挪到平台层:在请求进入店铺的那一瞬间注入一段脚本,近 10 万个店铺域名默认就有了搜索商品和加入购物车两个动作,商家不用改一行代码,想关就在后台关掉。
真正值得看的不是这个数字,而是这枚开关的三个前提:页面得走平台的标准模板,浏览器得支持 WebMCP 并且正开着页面,动作得在各家店铺长得一样。缺一个,平台就默认不了,活儿又回到商家自己身上。
这也是判断你自己的平台能不能复制这套做法的标尺:你替租户托管了哪一层共同底座,租户的动作有多一致,你有没有权限替他们改默认。
yage.ai/share/cloudfla…
Cloudflare 和 Commerce 的做法是把这件事挪到平台层:在请求进入店铺的那一瞬间注入一段脚本,近 10 万个店铺域名默认就有了搜索商品和加入购物车两个动作,商家不用改一行代码,想关就在后台关掉。
真正值得看的不是这个数字,而是这枚开关的三个前提:页面得走平台的标准模板,浏览器得支持 WebMCP 并且正开着页面,动作得在各家店铺长得一样。缺一个,平台就默认不了,活儿又回到商家自己身上。
这也是判断你自己的平台能不能复制这套做法的标尺:你替租户托管了哪一层共同底座,租户的动作有多一致,你有没有权限替他们改默认。
yage.ai/share/cloudfla…
1
0
0
710
AI写代码的速度越来越快,人类一行行阅读都很难跟上,那代码如何审查?
一个直观的方法是,别只用生成代码的 AI 进行自我审查,还可以用另一个 AI 从头开始独立审查一遍,从而分担一部分错误检测的工作。但这仍然不能替代人类的审查,因为人类需要理解修改是否符合初始意图,并最终决定是否批准。
讨如何审查AI写的代码。视频里大量使用了AI和数字人,看完可以分享一下感受。
完整的视频在 B 站:bilibili.com/video/BV1mRn66…
一个直观的方法是,别只用生成代码的 AI 进行自我审查,还可以用另一个 AI 从头开始独立审查一遍,从而分担一部分错误检测的工作。但这仍然不能替代人类的审查,因为人类需要理解修改是否符合初始意图,并最终决定是否批准。
讨如何审查AI写的代码。视频里大量使用了AI和数字人,看完可以分享一下感受。
完整的视频在 B 站:bilibili.com/video/BV1mRn66…
1
1
14
2,100
决策模型(decision model)流行的原因,并不是因为它能输出"decision"——所有的LLM都可以输出decision。决策模型流行的原因是它做出了一个声明:我不是自回归模型(auto-regressive model),我不一个一个词往外蹦。我不是System 2,我不需要慢思考。我不生成自由文本,我只从你提供的选项中间选一个。
这个极简的定位,在营销上是无敌清晰的——一眼能看出它和普通 LLM 不一样。可一旦你把它放进真实的产品场景,就会发现仅仅做一个选择题远远不够。
所以功能边界就开始慢慢往外扩。Jev 先加上了 `box` 来做视觉定位,而且即便没有目标也要给出一个框,不能回“找不到”。Clairic 则加入了信息抽取、`estimate` 和 `forecast`。OpenAI、Microsoft、Cloudflare 也做了类似的接口。
回头看去,这一轮演变的实质是:决策模型没有丢失市场,它丢失的是定义权。一个靠"我不做什么"活下来的品类,最终在自己的扩张里抹掉了自己的边界;但这对厂商未必是坏事,死掉的可能是当初的营销壳,而不是生意本身。
最近我整理了这整个决策模型从立边界到破边界的演变脉络,长文见yage.ai/share/decision…
这个极简的定位,在营销上是无敌清晰的——一眼能看出它和普通 LLM 不一样。可一旦你把它放进真实的产品场景,就会发现仅仅做一个选择题远远不够。
所以功能边界就开始慢慢往外扩。Jev 先加上了 `box` 来做视觉定位,而且即便没有目标也要给出一个框,不能回“找不到”。Clairic 则加入了信息抽取、`estimate` 和 `forecast`。OpenAI、Microsoft、Cloudflare 也做了类似的接口。
回头看去,这一轮演变的实质是:决策模型没有丢失市场,它丢失的是定义权。一个靠"我不做什么"活下来的品类,最终在自己的扩张里抹掉了自己的边界;但这对厂商未必是坏事,死掉的可能是当初的营销壳,而不是生意本身。
最近我整理了这整个决策模型从立边界到破边界的演变脉络,长文见yage.ai/share/decision…
0
0
5
927
Anthropic 和 Theorem 利用 Claude 为 123 个开源库的机器码写了 1.8 亿行 Rocq 证明,并发现了模糊测试运行多年未发现的漏洞。这一点最容易被误解的地方,在于把它理解成进一步固化了工作流程。实际上,它把结果确定性的终点裁判从 agent 的判断切换到了机器可检查的数学证书。这反过来也改变了形式化验证的经济账。
yage.ai/share/ai-forma…
yage.ai/share/ai-forma…
5
0
9
1,861
有时候让AI写一段话,我们担心它有错误,然后叫另一个AI来帮忙审查,为什么有的时候两个AI会一起犯傻?
问题往往出在把前一个 AI 的思考过程也一并带了过去。两个 AI 共享同一套思路往下想,就可能重复同一个问题。想做独立复查,不如直接开个新对话,不带前一个 AI 使这样独立检查一遍,也不保证一定正确。多开 AI 不是没用,只是要看什么情况下才能真的帮上忙。这期 14 分半的视频就讲讲多智能体什么时候有用。
完整视频在B站:bilibili.com/video/BV1N2na6…
问题往往出在把前一个 AI 的思考过程也一并带了过去。两个 AI 共享同一套思路往下想,就可能重复同一个问题。想做独立复查,不如直接开个新对话,不带前一个 AI 使这样独立检查一遍,也不保证一定正确。多开 AI 不是没用,只是要看什么情况下才能真的帮上忙。这期 14 分半的视频就讲讲多智能体什么时候有用。
完整视频在B站:bilibili.com/video/BV1N2na6…
9
0
17
1,748



