标签: 模型架构

MoE 核心思想 MoE 将 FFN 层替换为多个"专家"子网络，每个 token 通过路由机制只激活部分专家。路由机制 TopK 路由是最常见的策略——每个 token 选择得分最高的 K 个专家： python def routerx...