NVIDIA Made 4-Bit AI Work. It’s a Nightmare.
3-Second Blueprint (English)
- NVFP4 shrinks microscaling blocks from 32 to 16 values with finer non-power-of-two scale factors to prevent outlier clipping.
- Pretraining a 12B hybrid Mamba-Transformer on 10T tokens in NVFP4 kept validation loss within 1% of an FP8 baseline.
- Gradient-preserving quantization enables Vera Rubin GPUs to push 4-bit LLM training, though coding benchmarks show minor gaps.
NVFP4 MicroscalingMXFP4Hybrid Mamba-TransformerVera Rubin GPU
3-Sekunden-Fazit (Deutsch)
- NVFP4 reduziert Microscaling-Blöcke von 32 auf 16 Werte mit feineren Skalierungsfaktoren gegen Ausreißer-Clipping.
- Das Vortraining eines 12B-Mamba-Transformer-Modells auf 10T Tokens hielt den Loss-Abstand zu FP8 unter 1 %.
- Gradientenerhaltende Quantisierung macht 4-Bit-LLM-Training auf Vera-Rubin-GPUs stabil, mit leichten Einbußen bei Code.
NVFP4-MicroscalingMXFP4Mamba-TransformerVera-Rubin-GPU
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.