标签: 年度综述

模型规模竞赛降温 2024 年，业界从"越大越好"转向"更聪明地训练"。小型模型通过更好的数据和训练策略开始超越更大的模型。 MoE 架构成为主流从 Mixtral 到 GPT4（传闻），MoE 混合专家模型解析中介绍的 MoE 架构在...