百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型，总参数 280B

IT之家 11 月 5 日消息，百度文心大模型今日发布 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 预训练终点的权重。 这是一个稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练；最长训练上下文为 128K，微调与推理支持 1M tokens 上下文。 本次发布的权重未经中训练与后训练，可作为领域适配、指令微调和强化学习研究的共同起点。 官方表示，Base 模型只是起点。 经过后训练的 ERNIE 5.5 Flash 将随后推出 。 ERNIE-5.5-Flash-Base 在 33.5T …