Mixture of Experts (MoE), Visually Explained
3-Second Blueprint (English)
- MoE replaces dense Transformer FFNs with a router activating only a few experts per token, scaling parameters without slowing inference.
- Fine-grained designs like DeepSeek-V3 activate 8 of 256 small experts per token alongside an always-active shared generalist expert.
- Smooth load-balancing loss equalizes token routing across experts, while Router Z-loss centers logits to prevent training loss spikes.
Sparsely-Gated MoEFine-Grained & Shared ExpertsToken RoutingLoad-Balancing LossRouter Z-Loss
3-Sekunden-Fazit (Deutsch)
- MoE ersetzt dichte Transformer-FFNs durch einen Router, der pro Token nur wenige Experten aktiviert und Parameter effizient skaliert.
- Feingranulare Modelle wie DeepSeek-V3 aktivieren 8 von 256 kleinen Experten pro Token, oft ergänzt durch einen aktiven Shared Expert.
- Ein glatter Load-Balancing-Loss verteilt Tokens gleichmäßig, während der Router-Z-Loss Logits zentriert und Loss-Spikes verhindert.
Sparsely-Gated MoEFeingranulare & geteilte ExpertenToken-RoutingLoad-Balancing-LossRouter-Z-Loss
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.