Reverse-engineering GGUF | Post-Training Quantization
3-Second Blueprint (English)
- Symmetric Type-0 quants waste bins on skewed weights, while asymmetric Type-1 maps min-max bounds using a zero-point offset.
- I-quants match 8D weight vectors to a positive codebook and pack original signs in 1 byte, expanding capacity 256x at ~2 bpw.
- Mixed-precision modifiers (_S, _M, _L) keep sensitive tensors like LayerNorm at higher bit-widths to preserve model quality.
GGUF / llama.cppAsymmetric Zero-PointVector Codebook I-QuantsImportance MatrixMixed-Precision Quants
3-Sekunden-Fazit (Deutsch)
- Symmetrische Typ-0-Quants verschenken Bins bei schiefen Gewichten; Typ-1 nutzt asymmetrische Min-Max-Grenzen mit Zero-Point.
- I-Quants ordnen 8D-Vektoren einem positiven Codebuch zu und speichern Vorzeichen separat in 1 Byte (~2 Bits pro Gewicht).
- Mixed-Precision-Varianten (_S, _M, _L) halten empfindliche Tensoren wie LayerNorm in höherer Bitbreite für bessere Qualität.
GGUF / llama.cppZero-Point-QuantisierungVektor-Codebuch (I-Quants)Importance MatrixMixed-Precision
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.