标签：专家路由

2026-09-07andy阅读(2)

在大模型参数量从百亿向千亿乃至万亿规模演进的今天，传统的稠密（Dense）模型面临着训练成本指数级增长和推理延迟难以接受的困境。Mixture of Experts（MoE，混合专家模型）通过稀疏激活机制，让模型在保持总参数量巨大的同时，每...