What is LLM quantization?
3-Second Blueprint (English)
- Symmetric absmax quantization maps FP32 weights in [-x_max, x_max] onto INT8 [-128, 127] via linear scaling and integer rounding.
- llama.cpp benchmarks show 8-bit quantization halves memory size with negligible perplexity loss, while 4-bit hits the Pareto sweet spot.
- Lower bit-widths accelerate autoregressive decoding on 7B models from 116 ms/token in FP16 down to 56 ms/token at 2-bit precision.
Absmax Linear QuantizationFP32 / FP16 / INT8llama.cppPerplexity Metric
3-Sekunden-Fazit (Deutsch)
- Symmetrische Absmax-Quantisierung bildet FP32-Gewichte aus [-x_max, x_max] per Skalierung und Rundung auf INT8 [-128, 127] ab.
- llama.cpp-Messungen zeigen: 8-Bit halbiert den Speicherbedarf fast ohne Perplexitätsverlust, 4-Bit bietet das beste Verhältnis.
- Reduzierte Bitbreiten beschleunigen 7B-Inferenz von 116 ms/Token unter FP16 auf bis zu 56 ms/Token bei 2-Bit-Quantisierung.
Absmax-QuantisierungFP32 / FP16 / INT8llama.cppPerplexitäts-Metrik
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.