Brain-Score 88/100 TECH The ML Tech Lead! · 1:19

LLM Quantization: Weights vs KV Cache

LLM Quantization: Weights vs KV Cache
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Weight-only quantization (e.g., W4A16) compresses static shared parameters but leaves dynamic per-request conversation memory untouched.
  2. Every generated token appends key and value vectors across all layers into a per-request KV cache that dominates long-context VRAM.
  3. KV cache quantization fits longer contexts and higher concurrency, so '4-bit' labels must specify whether weights or KV are compressed.
Weight-Only QuantizationKV Cache QuantizationW4A16 PrecisionTransformer Attention

3-Sekunden-Fazit (Deutsch)

  1. Weight-Only-Quantisierung (z. B. W4A16) komprimiert feste Modellgewichte, verkleinert aber nicht den dynamischen Gesprächsspeicher.
  2. Jedes neue Token speichert pro Schicht Key- und Value-Vektoren im anfragespezifischen KV-Cache, der bei langen Kontexten VRAM füllt.
  3. KV-Cache-Quantisierung ermöglicht längere Kontexte und mehr parallele Anfragen; '4-Bit' muss daher Gewichte vs. KV-Cache benennen.
Weight-Only-QuantisierungKV-Cache-QuantisierungW4A16-FormatTransformer-Attention

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.