NVIDIA Developer How To Series: Mixed-Precision Training
3-Second Blueprint (English)
- Mixed-precision training casts compute-heavy ops to FP16 for Tensor Cores while keeping logits, loss, and master weights FP32.
- Loss scaling multiplies FP32 loss before backpropagation so tiny gradients avoid FP16 underflow, then unscales updates.
- Aligning convolution channels and matrix dimensions to multiples of 8 maximizes Tensor Core throughput for ~2x ResNet speedups.
Mixed PrecisionTensor CoresLoss ScalingFP16 / FP32TensorFlow
3-Sekunden-Fazit (Deutsch)
- Mixed-Precision rechnet intensive Operationen in FP16 auf Tensor Cores, hält aber Logits, Loss und Master-Gewichte in FP32.
- Loss Scaling multipliziert den FP32-Loss vor dem Rückwärtspass gegen FP16-Underflow kleiner Gradienten und skaliert zurück.
- Kanalzahlen und Matrixdimensionen als Vielfache von 8 maximieren die Tensor-Core-Auslastung und beschleunigen ResNet um ~2x.
Mixed PrecisionTensor CoresLoss ScalingFP16 / FP32TensorFlow
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.