Brain-Score 91/100 TECH Alex Ziskind · 1:50

I Ran A 27B Model On A PC That Fits In One Hand… Didn't Expect This

I Ran A 27B Model On A PC That Fits In One Hand… Didn't Expect This
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. A palm-sized Intel Panther Lake PC with 64 GB unified RAM runs a 27B LLM locally across CPU, Vulkan, SYCL, and OpenVINO backends.
  2. Compute-bound prompt prefill leaps 26x from 17 tok/s on CPU to 446 tok/s on the integrated Arc B390 GPU using OpenVINO.
  3. Token generation stalls near ~5.4 tok/s across backends because streaming 17.7 GB of weights per token saturates ~100 GB/s RAM bandwidth.
Local 27B LLM InferenceOpenVINO / Vulkan / SYCLPrefill vs DecodeMemory Bandwidth Limit

3-Sekunden-Fazit (Deutsch)

  1. Ein handtellergroßer Intel-Panther-Lake-Mini-PC mit 64 GB Unified RAM führt ein 27B-LLM lokal über CPU, Vulkan, SYCL und OpenVINO aus.
  2. Rechenintensives Prompt-Prefill springt mit OpenVINO auf der integrierten Arc-B390-GPU um das 26-Fache von 17 auf 446 Tokens/s.
  3. Die Token-Generierung bleibt bei ~5,4 Tokens/s limitiert, da 17,7 GB Gewichte pro Wort die ~100 GB/s Speicherbandbreite sättigen.
Lokale 27B-LLM-InferenzOpenVINO / Vulkan / SYCLPrefill vs. DecodeSpeicherbandbreite

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.