订做网站,长春代做网站,展示型网站的特点,在360上做网站怎么样ICLR 2025 3668
大型语言模型#xff08;LLMs#xff09;的扩展极大地提升了其在各类任务中的表现#xff0c;但这一增长也需要高效的计算策略来匹配。**专家混合架构#xff08;Mixture-of-Experts#xff0c;MoE#xff09;**在不显著增加训练成本的前提下扩展模型规模…ICLR 2025 3668
大型语言模型LLMs的扩展极大地提升了其在各类任务中的表现但这一增长也需要高效的计算策略来匹配。**专家混合架构Mixture-of-ExpertsMoE**在不显著增加训练成本的前提下扩展模型规模方面表现突出。然而尽管MoE具备优势当前的MoE模型在参数效率上却常常存在问题。例如一个具有 520亿 参数的预训练MoE模型其性能可能仅与一个标准的 6.7亿 参数模型相当。
在MoE中路由器router 是核心组件但目前的做法是在各层独立地对token进行分配未能利用历史路由信息这可能导致次优的token–专家匹配进而引发参数利用效率低下的问题。
为了解决这一问题我们提出了一种新的架构用于MoE的层间循环路由器Layerwise Recurrent Router for Mixture-of-Experts简称RMoE。RMoE引入了门控循环单元GRU在连续层之间建立路由决策的依赖关系。这种“层间循环”机制可以高效地并行计算且只带来可接受的计算成本。
我们的大量实证评估表明基于RMoE的语言模型在多个基准模型上都实现了稳定且显著的性能提升。此外RMoE还引入了一种新颖的计算阶段该阶段与现有方法正交从而可以无缝地集成到各种现有的MoE架构中。
分析表明RMoE的性能提升主要得益于其跨层信息共享机制这不仅改善了专家选择的准确性还提升了专家间的多样性。
