腾讯 Hy4 正式开源,混元 LLM 系列实现全量开放

IT之家 11 月 20 日消息,腾讯混元团队今日宣布 Hy4 大模型正式开源,模型权重已在 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台同步上线,开发者可自行下载部署。 至此,混元 LLM 系列已完成全部开源,覆盖 Hy3 preview、Hy3、Hy4 preview、Hy4 及 Hy4 flash 等版本。 Hy4 正式版最早于 11 月 4 日发布,本次开源的是此前预告的模型权重。Hy4 采用 MoE 混合专家架构,总参数 770B,激活参数 49B,上下文窗口突破 100 万 Token。 IT之家此前报道,与旗舰版 Hy4 同步开放的还…
以上为资讯摘要,完整内容请访问原文网站。
阅读原文 →