🐌 蜗牛AI
← 返回 AI 资讯
科技👁 0

MiniMax M3.1 Flash 开源模型权重,总参数 428B

MiniMax M3.1 Flash 开源模型权重,总参数 428B
IT之家 10 月 23 日消息,MiniMax 稀宇科技今日宣布 开源 MiniMax M3.1 Flash 的模型权重 ,总参数 428B,激活参数 23B。 相较于上一代 M3 模型,M3.1 Flash 的模型能力实现了全面提升。此外,通过全模型稀疏注意力、量化感知训练和 Power-aware scheduling 等优化工作,M3.1 Flash 进一步提升了推理效率: 全模型稀疏注意力: 前三个全注意力层替换为稀疏注意力; QAT : 路由 MoE 专家迁移到 W4A4(共享专家除外),稀疏注意力索引器和主分支从 Q8KV8 迁移到 Q8KV4; Power - aware sc…

以上为资讯摘要,完整内容请访问原文网站。

阅读原文 →