我要投稿
正常的MOE结构，用到了qk norm
全文61页，细节满满，感兴趣的同学可以自己看。这里简单提一些有意思的点~
1B-7BMOE vs 1B / 7B dense起点更高，终点接近或超过7B全量全参dense的效果
更细粒度的专家组合可以得到更好的训练损失，但是收益递减。（这里提到了很多相关的研究，去做预测最优组合）
共享专家会消除模型的灵活性，让性能更差，与一些历史研究不符
确定哪些专家处理每个输入token ，有2种类型
相同的预算下，TC稳定优于EC
专家是从头初始化，还是从MLP复制得到。实验发现只需要几百B的token，从头开始的模型就赶上了复制的结果，从600B token之后优于复制的结果。
使用负载平衡损失也能带来更好的性能
路由z-loss可以提高MoE模型的稳定性和质量。这个辅助损失会惩罚进入门控网络的大logits
预训练的早期阶段路由就达到了饱和状态
训练结束后，通一层的专家之间不存在强协同激活，也就是说不同专家之间几乎没有冗余
专家对于特定领域和词汇的专业化程度区分度还是比较高的。某些专家可能专门处理一些科学相关的，（如arXiv数据集），而其他专家可能更擅长处理编程语言或一般文本。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-05-27
Dify工具插件开发和智能体开发全流程实战
2025-05-27
一个让工作效率翻倍的AI神器，Cherry Studio你值得拥有！
2025-05-27
Docext：无需 OCR，本地部署的文档提取神器，企业数据处理新选择
2025-05-26
太猛了，字节把GPT-4o级图像模型开源了！
2025-05-26
Qwen3硬核解析：从36万亿Token到“思考预算”
2025-05-26
蚂蚁集团开源antv的MCP服务：AI智能体与数据可视化的桥梁如何搭建？
2025-05-26
MinerU：高精度纸媒文档解析与数据提取一站式解决方案
2025-05-26
顶级开发者默默换掉了基础大模型
2024-07-25
2025-01-01
2025-01-21
2024-05-06
2024-09-20
2024-07-20
2024-07-11
2024-06-12
2024-12-26
2024-08-13
2025-05-26
2025-05-25
2025-05-23
2025-05-17
2025-05-17
2025-05-17
2025-05-16
2025-05-14
回到顶部
粤ICP备17114055号
