What is Mixture of Experts?
3-Second Blueprint (English)
- Mixture of Experts splits a large model into specialized subnetworks, activating only relevant experts at inference.
- A gating router weights and selects experts per token—Mixtral 8x7B uses top-2 routing to pick two of eight 7B experts.
- Noisy top-k gating adds Gaussian noise to router predictions for load balancing, preventing under-trained experts.
Mixture of Experts (MoE)Gating NetworkTop-k Token RoutingMixtral 8x7BNoisy Top-k Load Balancing
3-Sekunden-Fazit (Deutsch)
- Mixture of Experts teilt große Modelle in Teilnetze auf und aktiviert bei der Inferenz nur passende Experten.
- Ein Gating-Netz wählt Experten pro Token aus – Mixtral 8x7B nutzt Top-2-Routing für zwei von acht 7B-Experten.
- Noisy Top-k-Gating fügt Gaußsches Rauschen für besseres Load Balancing hinzu und verhindert ungenutzte Experten.
Mixture of Experts (MoE)Gating-NetzwerkTop-k-Token-RoutingMixtral 8x7BNoisy Top-k Load Balancing
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.