百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型，总参数 280B

来源摘要

IT之家 11 月 5 日消息，百度文心大模型今日发布 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 预训练终点的权重。这是一个稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练；最长训练上下文为 128K，微调与推理支持 1M tokens 上下文。本次发布的权重未经中训练与后训练，可作为领域适配、指令微调和强化学习研究的共同起点。官方表示，Base 模型只是起点。经过后训练的 ERNIE 5.5 Flash 将随后推出。

摘要由机器生成（来自来源站点），可能存在偏差； 本站不转载全文，请以原文为准。