Brain-Score 96/100 TECH PY · 31:13

The Engineering Behind LLM Inference: The Memory Wall

The Engineering Behind LLM Inference: The Memory Wall
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. A 70B 16-bit LLM reads all 140 GB of weights from HBM per step, making token generation bottlenecked by memory bandwidth (~30 ms/token).
  2. On an H100 (~295 FLOPs/byte ridge), parallel prompt prefill is compute-bound, while sequential decode sits ~300x bandwidth-bound.
  3. KV caching avoids recomputing past keys/values in HBM, while batching and lower precision amortize weight transfers to boost goodput.
HBM Memory BandwidthKV CacheRoofline ModelPrefill & Decode

3-Sekunden-Fazit (Deutsch)

  1. Ein 70B-LLM (16-Bit) liest pro Schritt 140 GB Gewichte aus dem HBM; die Tokengenerierung (~30 ms) wird durch Speicherbandbreite limitiert.
  2. Auf einer H100 (~295 FLOPs/Byte) ist paralleles Prefill rechenlimitiert, sequenzielles Decode aber ~300-fach bandbreitenlimitiert.
  3. Der KV-Cache speichert vergangene Keys/Values im HBM; Batching und geringere Präzision amortisieren Gewichtstransfers für höheren Goodput.
HBM-SpeicherbandbreiteKV-CacheRoofline-ModellPrefill & Decode

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.