GPT思维链黏成乱码,根本挡不住国模蒸馏,现在大家抄的本来就是最终答案和agent轨迹
OpenAI刚公开的内部agent安全报告里,原始CoT单词连写、夹着变量名和缩写
更头疼的是OpenAI自己,人读不懂的推理,安全团队拿什么去审
换我用agent写代码,也只认最后的diff和测试结果,中间想了啥随它😂
OpenAI刚公开的内部agent安全报告里,原始CoT单词连写、夹着变量名和缩写
更头疼的是OpenAI自己,人读不懂的推理,安全团队拿什么去审
换我用agent写代码,也只认最后的diff和测试结果,中间想了啥随它😂
坏了,以后国模可能也蒸不了GPT了.....
昨天 @OpenAI 公开了一份内部Agent的安全事件报告,原Po仔细看了里面公开的原始CoT,发现这东西已经快看不出正常英语的样子了。
大量英文单词直接黏在一起,省略了很多空格和语法,里面还夹着代码变量、缩写和各种判断。
单个词还能认出来,整段看过去,跟乱码差不多。
OpenAI甚至在这个报道里专门提供了补上空格的版本,以及整理成正常语言的解释版。
然后 @karpathy 也评论了这个。
他翻出了自己2024年9月的一条旧推,大意是:当模型在思维链里开始不再使用英语时,就知道强化学习做得很到位了。
现在他又补了一句,看来这个RL确实练得不错。
我看到这里,第一反应就是,那以后蒸馏怎么办?
推理蒸馏的一条常见路线,就是让强模型生成解题过程,再拿这些数据去训练其他模型。
但如果前沿模型经过越来越多的RL训练,逐渐形成一套更适合自己的推理表达,越来越远离人类平时使用的语言,那么这些轨迹换到另一个模型上,还能学走多少能力?
随着前沿模型继续往前走,拿到一份解题过程就能快速追赶的路,可能会越来越难走(因为你看不懂解题过程了)。
老师在自己的训练里摸索出来的东西,学生拿到草稿以后,可能还得靠自己的RL才能真正学会。
对于依赖蒸馏追赶的国内团队来说,这个问题挺重要的。
0
0
0
25
卖铲子的人当着德国总理默茨的面喊别管底层技术,这推销话术老黄是真不藏着😄
管制越松GPU卖得越多,欧洲省下的监管成本,转头全交了显卡税
管制越松GPU卖得越多,欧洲省下的监管成本,转头全交了显卡税
Germany knows how to build, and now it’s bringing that expertise to industrial AI. 🇩🇪
Tonight in Berlin, @JensenHuang and Chancellor @_FriedrichMerz discussed combining German engineering with NVIDIA AI to advance manufacturing and automotive.
We’re also backing Germany’s ned investments in Agile Robots SE, @aveliosmed, @MireloAI, and @reflexaerospace, spanning robotics, healthcare, creative tools, and space.
Meet the companies and catch up on today’s news from Berlin: blogs.nvidia.com/blog/germany-w…
0
0
0
24
马斯克说SpaceX 2028年做到一万亿美元年营收,我不信,但我信他会拿这句话去要更多卡。
6月还说2030年,财报会一结束就提前两年,可这季营收才145.8亿美元,两年要翻十七倍。我
就当这是给分析师的报价单,真到2028年,先看星链和AI哪块先掉链子
6月还说2030年,财报会一结束就提前两年,可这季营收才145.8亿美元,两年要翻十七倍。我
就当这是给分析师的报价单,真到2028年,先看星链和AI哪块先掉链子
老马把SpaceX“一万亿美元年营收”的时间,又往前推了两年。
6月还说2030年可能做到,今天财报会结束后直接发帖:听起来很疯狂,但2028年做到一万亿美元营收,已经不再是不可能了。注意,是一年赚进来的营收,一万亿的市值都已经不够他聊了😂
我刚把财报和电话会里的数字在视频里算了一遍。算力什么时候上线、收入怎么兑现,沿着这些数字往下算,才能理解他为什么敢把2028年拿出来说。
视频已经录好,正在剪辑,等会发。今天这场财报会,确实有太多东西值得展开讲。 $SPCX
0
0
0
17
美国喊了几年芯片回流,最先被自家禁令卡住的居然是英特尔。
7月那道外国机器人禁令,把晶圆厂里搬晶圆的AGV小车也算了进去。英特尔10月16日只好找FCC申请豁免,理由是美国没有验证过的替代品。
产线上一辆搬运车都换不掉,回流到现在还只是写在文件里
7月那道外国机器人禁令,把晶圆厂里搬晶圆的AGV小车也算了进去。英特尔10月16日只好找FCC申请豁免,理由是美国没有验证过的替代品。
产线上一辆搬运车都换不掉,回流到现在还只是写在文件里
英特尔10月16日向美国联邦通信委员会(FCC)提交申请,希望获得有条件豁免,继续维护和升级外国制造的先进机器人设备。这些设备是芯片工厂里搬运物料的自动导引车(AGV)。公司给出的理由很直接:目前没有经过验证、能满足其要求的美国国产替代品,更换现有设备可能需要数年;设备一旦停运,会立刻削弱其在美国的芯片制造能力。
这项申请针对的是美国正在推进的限制外国制造先进机器人进口与销售的措施。政策的落点是新增设备,晶圆厂真正离不开的却是存量系统的维护、升级和备件。英特尔把AGV的正常运行称为对美国国家安全“至关重要”,用安全语言为一条存量设备的维护通道背书。
这单申请值得注意的地方在于,它把先进制造回流的一个隐性约束摆到了台面上:一座晶圆厂能不能运转,除了光刻机这类核心设备,还取决于搬晶圆的机器人、传送轨道和控制系统这些不起眼环节的备件供应。规则可以在一两年内写完,供应链的替换周期却以年计,而且要先有能通过产线验证的替代品。
还没确定的部分:FCC是否受理、豁免覆盖多大范围、其他在美国建厂的芯片公司会不会跟进。如果最后只有英特尔一家提出申请,说明这类依赖的分布可能比外界估计的更集中。
0
0
0
26
免费下载 Ship Kit Lite:github.com/moreyu/ship-ki…
完整版(5 个技能 + 模板 + 6 个月更新)还在做,想第一时间拿到可以登记候补:moreyu.github.io/ship-kit-lite/…
不保证过审,审核结果由 Apple 独立决定;非官方,与 Apple、工信部无关联;无联盟链接。
完整版(5 个技能 + 模板 + 6 个月更新)还在做,想第一时间拿到可以登记候补:moreyu.github.io/ship-kit-lite/…
不保证过审,审核结果由 Apple 独立决定;非官方,与 Apple、工信部无关联;无联盟链接。
1
0
0
20
网易有道LobsterAI昨天发的《中国办公Agent用户行为报告》基于自家真实用户数据,里面有个数据很扎眼。9月单次任务平均消耗20.2万Token,是3月的3.2倍,用户是真敢派活了
73.6%的普通用户全程只用一个模型,天天喊"多Agent编排"的在真实办公场景里没人买账
Agent拼到最后拼的是谁更会省。报告里缓存策略不同,成本能差出7倍。你们派活给Agent的时候,账单谁在看?
73.6%的普通用户全程只用一个模型,天天喊"多Agent编排"的在真实办公场景里没人买账
Agent拼到最后拼的是谁更会省。报告里缓存策略不同,成本能差出7倍。你们派活给Agent的时候,账单谁在看?
第一期《中国办公 Agent 用户行为报告》发布后,引发了媒体和用户的关注与讨论。大家关心 Agent 产品的发展,也关心人们究竟把哪些工作交给了它。因此,从本期起,我们将按月发布报告,持续记录用户使用习惯的变化。本期聚焦 9 月,并额外补充十一假期的使用变化。
9 是办公 Agent 的主要用途,但是设计与内容创作正在升温。缓存策略的差异,为何能导致成本相差七倍多?哪些城市的用户深夜还在派活给 Agent?到了十一假期,使用高峰和任务需求又发生了什么变化?请锁定这期报告,我们看看 Agent 行业又有什么新变化!
0
0
0
12






























