The Secret DeepSeek Didn't Release
3-Second Blueprint (English)
- LLM inference separates compute-heavy prompt prefill from token decoding, storing intermediate prompt states in a KV cache.
- DeepSeek persists KV-cache blocks on a 100-PiB NVMe SSD cluster for 3–7 days, streaming hits via RDMA to skip 98% of prefill.
- Although DeepInfer open-sourced the core engine, DeepSeek omitted its proprietary SSD KV-cache manager and request load balancer.
DeepInferDistributed KV CacheNVMe SSD & RDMALLM Prefill Serving
3-Sekunden-Fazit (Deutsch)
- LLM-Inferenz trennt das rechenintensive Prompt-Prefill von der Antwortgenerierung und speichert Zwischenzustände im KV-Cache.
- DeepSeek sichert KV-Blöcke 3 bis 7 Tage lang auf einem 100-PiB-SSD-Cluster und lädt Treffer per RDMA direkt in den GPU-Speicher.
- Während die Engine DeepInfer quelloffen erschien, blieben der verteilte SSD-Cache-Manager und Load-Balancer unter Verschluss.
DeepInferVerteilter KV-CacheNVMe-SSD & RDMALLM-Prefill-Serving
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.