万亿参数混合专家模型的真实成本与定位

法国 Mistral 在 2026 年 10 月放出 Mistral Large 4 公开预览,1 万亿总参数、激活约 490 亿,号称欧美最强的开放权重模型,权重在三周红队窗口后公开。围绕这个模型最值得讲清楚的有三件事:稀疏混合专家的原理与代价、自报数据与独立评测之间的落差、开放权重的真实持有成本。

总参与激活量:两个必须分开的数

总参数量决定模型能装多少知识,激活参数量决定每次算多少。ML4 用的是细粒度混合专家:把前馈层拆成许多小专家,路由器为每个 token 挑少数几个参与计算,其余专家该轮闲置。于是它拿到近万亿的网络容量,只付 490 亿量级的推理账单——像大机构里只去对应窗口办事,不必惊动全楼。

由此产生三个工程后果。其一,单 token 计算便宜,显存常驻很贵:MoE 省的是算力不是显存,所有专家都得躺在内存里,自托管是多卡集群的承诺。其二,速度看激活量不看总量,预览版实测约 116 token 每秒输出,属于偏快档。其三,快不等于便宜——它相当啰嗦,第三方记录其跑完综合评测生成了约 2 亿 token,中位模型只有 8100 万,单 token 的价格优势会被话痨属性吃掉。

另外两处版本口径差异值得记录:总参/激活数在博客与文档页各写一套(1T/49B 对 1.05T/52B),文档口径含嵌入与输出层;上下文厂商标称 100 万,第三方实测配置读到 524288。规划负载按保守值算。前代对比的增量很清晰:总参翻近倍、激活只涨两成、上下文翻四倍。

预览先行、权重滞后:这套节奏在赌什么

先放 API 预览、三周后才开权重,官方理由有三。一是支撑预览的强化学习还没跑完——你现在调用的 checkpoint 和日后下载的权重本来就不是同一个东西,所有基于预览版的对比标题都测不准最终产物。二是红队窗口:受信机构拿到的是放宽审查、强化攻防能力的版本,先在封闭环境暴露风险再放开权重。三是开放权重放出去就收不回,预览期是厂商留给自己的观察窗。

社区批评也集中在此:权重锁着的时候,别急着信开放权重的标签;如期放权是严谨流程,跳票则叙事一起打折。给使用者的推论很实际——评测结论要用权重版重跑一遍才算数,预览期结论只作方向参考。

基准数据:自报与独立差着一档

自报数字里最显眼的是复现并修补真实漏洞 82%,官方解读是闭源模型在同一测试接近 0 分。这个对比要拆穿口径:闭源是拒答,不是不会,反推"最强黑客模型"不成立。第三方综合评测给预览版 38 分,排在多家模型之后、欧美开源里断层第一;安全专项单科拔尖、总分偏科——资源明显倾斜到企业安全攻防场景,这正是它的定位选择:不抢综合分,守企业专业工作负载。

有意思的是官方的诚实:对比图里自家编码分低于竞品、人类盲评排在第二,这些不利数据都照发。读官方发布的素养之一,就是看它敢不敢放对手更高的数字。

自托管的真实门槛与验证方法

开放权重不等于便宜,1 万亿参数把"用得起"从 API 账单换成机架功耗:压到 2-bit 仍需约 512GB 统一内存,4-bit 要 768GB 以上的服务器,速度只有每秒 6 到 25 token,笔记本直接出局。企业级评估按 8 卡机箱量级算。

验证该怎么做:一是预算按原价而非促销价核算,促销无公开截止日;二是用自己的任务集实测 token 消耗,把话痨系数算进单任务成本;三是安全类任务单独设授权与审批流程,这类能力的双向性意味着用前先定使用边界。它卡的位置是给被合规与主权约束绑住的团队一个不受美国云策略影响的欧洲选项——需求落在这个格子里,它才值得认真评。

0

评论0

请先
显示验证码
没有账号?注册  忘记密码?