几乎无损我先当广告听,分数对不对评论区已经吵开了
今晚硬盘腾完就装Strata,丢一句长prompt,盯着首字蹦出来要几秒
比我刷手机还慢就卸,API接着干
今晚硬盘腾完就装Strata,丢一句长prompt,盯着首字蹦出来要几秒
比我刷手机还慢就卸,API接着干
🔥牛逼了!12GB显卡本地跑763B!DeepSeek-V4.1-Flash-1017量化版炸裂登场,前沿质量几乎零损失!
ISTA-DASLab团队发布GSQ-RCO非均匀量化版,Strata引擎原生支持。763B参数MoE大模型最低压到1.75 bpw,在消费级硬件上就能跑!
核心亮点
🔹极致压缩 + 几乎无损:IQ2_XXS(2.00 -Diamond、LiveCodeBench v6上100%恢复原始模型分数;IQ1_M(1.75 bpw,约231GB)整体恢复98.7%。
🔹真正本地可行:单张12GB显卡 + 46-64GB系统内存即可运行,Engram表(约111GB)直接SSD内存映射,无需全部装进内存/显存。
🔹推理速度可玩:RTX 3060上IQ2_XXS约8-10 tok/s;更高端卡更快。原生OpenAI兼容API,支持推理effort调节。
🔹技术硬核:GSQ(Gumbel-Softmax量化)+ RCO(黎曼约束优化)联合,非均匀分配每个tensor的量化类型,远超普通均匀量化。
快速上手步骤
1️⃣一键安装Strata(Windows/Linux脚本或安装包): curl -fsSL github.com/Niko1221/Strat… | sh(Linux/Mac)
2️⃣启动并自动下载模型: strata launch --model ist-das-2.00bpw(推荐2.00 bpw;或ist-das-1.75bpw / ist-das-2.25bpw)
3️⃣等待下载完成(首次需约240-270GB空间,SSD优先),引擎会自动启动本地服务。
4️⃣直接调用:http://127.0.0.1:8080/v1(OpenAI格式)或用配套桌面端/终端交互。
5️⃣高级用户可手动下载GGUF后指定路径:huggingface.co/ISTA-DASLab/De…
这是本地AI的又一次质变——763B级别模型从服务器走进游戏本/工作站。
Strata引擎:github.com/Niko1221/Strata
#DeepSeek #LocalAI #GSQ #RCO #Strata #开源大模型 #消费级AI #MoE #量化革命
0
0
0
17
别再聊agent怎么改变生产力了,它的第一份工作是7×24替人撸毛,干完还知道自己撤销授权,这不比你做几百个酷炫的视频来钱快多了
跟着哥几个农了一下这个
先用CodeX 或 Grokbot 或自己其他Agent
币安钱包打开去配置自己的.ai地址
然后如图这样绑定Agent 顺便开一下开发者模式
如图2 这样 喊Agent配置一下 我用grok bot 因为回复很快
如图3这样 喊他执行:
ptah.trade/mint 这里 去打满 然后卖给最高Offer价格 快点
币安号能成功打一个 喊朋友一起火速搞哈哈,现在offer还有5.6U,交易记录成功图我放评论区了
搞完后喊AI记得撤销全部授权 @binancezh
0
0
1
41






















