How Did They Do It? DeepSeek V3 and R1 Explained
3-Second Blueprint (English)
- DeepSeek-V3 trained in just 2.8M H800 GPU hours (~$5.6M), using a fraction of the compute needed for comparable frontier LLMs.
- Its Mixture-of-Experts architecture activates 37B of 671B parameters per token, pairing shared general experts with routed ones.
- DeepSeek-R1 induces step-by-step reasoning atop V3 via pure reinforcement learning with rule-based rewards instead of human labels.
DeepSeek-V3 & R1Mixture of ExpertsReinforcement LearningOpen-Weight LLMs
3-Sekunden-Fazit (Deutsch)
- DeepSeek-V3 wurde in nur 2,8 Mio. H800-GPU-Stunden (~5,6 Mio. $) trainiert – ein Bruchteil des Aufwands bisheriger Top-Modelle.
- Die Mixture-of-Experts-Architektur aktiviert nur 37 von 671 Mrd. Parametern pro Token und nutzt geteilte sowie Spezial-Experten.
- DeepSeek-R1 erlernt komplexes logisches Denken durch reines Reinforcement Learning mit regelbasierten Belohnungen statt Annotationen.
DeepSeek-V3 & R1Mixture of ExpertsReinforcement LearningOpen-Weight-LLMs
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.