🐌 蜗牛AI
← 返回 AI 资讯
科技👁 0

腾讯混元 Hy4 flash 模型发布:224B 总参、12B 激活,单任务成本约 Hy4 的 5%

腾讯混元 Hy4 flash 模型发布:224B 总参、12B 激活,单任务成本约 Hy4 的 5%
IT之家 11 月 16 日消息,腾讯混元团队今天宣布正式推出 Hy4 flash,官方将其定位为迄今性价比最高的 Hy 模型。 其模型总参数量 224B,其中包含 64B Engram 参数,每个 token 激活 12B 参数,支持多模态输入与 100 万 token 上下文长度,API 价格较 Hy4 大幅降低。 腾讯表示,Hy4 flash 的高性价比来自预训练、后训练和推理三个阶段的协同优化。预训练阶段引入混合注意力、LatentMoE 与 Engram(IT之家注:Engram 是一种可扩展的查表式参数模块,用于以较低算力成本扩充模型容量)等架构,KV cache 大小降至 Hy3…

以上为资讯摘要,完整内容请访问原文网站。

阅读原文 →