How LLMs use multiple GPUs
3-Second Blueprint (English)
- Data parallelism replicates full model weights per GPU to scale request throughput without reducing per-GPU VRAM footprint.
- Tensor parallelism splits stacked Q/K/V and output projection matrices across GPUs, minimizing costly all-reduce syncs.
- Pipeline and MoE expert parallelism cut memory per device via layer or expert sharding, coordinated via PyTorch NCCL collectives.
Tensor ParallelismPipeline ParallelismExpert Parallelism (MoE)PyTorch DistributedNVIDIA NCCL
3-Sekunden-Fazit (Deutsch)
- Datenparallelität repliziert das gesamte Modell pro GPU für höheren Durchsatz, senkt aber nicht den VRAM-Bedarf je Karte.
- Tensorparallelität teilt Q/K/V- und Ausgangsprojektionsmatrizen über GPUs auf und minimiert teure All-Reduce-Synchronisationen.
- Pipeline- und MoE-Expertenparallelität senken den Speicherbedarf pro GPU über Schicht-Sharding und PyTorch-NCCL-Kollektive.
TensorparallelitätPipeline-ParallelitätExpertenparallelitätPyTorch DistributedNVIDIA NCCL
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.