Mistral 发布 119B-A6B 模型 Small 4,首次兼顾推理、多模态、编程优势

懂副业 百科资讯 3

3 月 20 日消息,Mistral AI 当地时间本月 16 日宣布推出 Mistral Small 4 模型,这是这家欧洲领先 AI 实验室首款结合旗舰推理模型、多模态模型、编程模型优势的综合性 LLM,用户无需在多种各有优势的模型中进行选择,实现了“我全都要”。

Mistral Small 4 采用 MoE 架构,总参数 119B、激活参数 6B,拥有 256k 的上下文窗口,支持快速和深度推理模式,以 Apache 2.0 许可开源。

Mistral AI 表示,新模型在延迟优化模式下端到端完成时间缩短了 40%,相较上代 Small 3 在吞吐优化模式下每秒请求数量多 3 倍。与外部模型比较,其在三个基准测试中均不劣于 OpenAI 的 GPT-OSS 120B。

注意到,Mistral Small 4 模型的最低部署配置为 4× HGX H100 / 2× HGX H200 / 1× DGX B200,推荐配置为 4× HGX H100 / 4× HGX H200 / 2× DGX B200。