Brain-Score 86/100 TECH VirtualizationHowto · 19:16

Host a Private AI Server at Home with Proxmox Ollama and OpenWebUI

Host a Private AI Server at Home with Proxmox Ollama and OpenWebUI
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Self-hosting Ollama and Open WebUI in Docker containers enables private, offline LLM chat without cloud API keys or subscription fees.
  2. Open WebUI connects to Ollama over port 11434 via host.docker.internal while passing GPU flags for accelerated container inference.
  3. Proxmox PCIe GPU passthrough identifies NVIDIA device IDs via lspci, binds them to VFIO, and blacklists host drivers for VM isolation.
Proxmox VEOllamaOpen WebUIVFIO GPU Passthrough

3-Sekunden-Fazit (Deutsch)

  1. Das Selbsthosten von Ollama und Open WebUI in Docker-Containern ermöglicht private Offline-LLMs ohne Cloud-API oder Abokosten.
  2. Open WebUI kommuniziert über host.docker.internal auf Port 11434 mit Ollama und nutzt durchgereichte GPUs zur schnellen Inferenz.
  3. Für PCIe-GPU-Passthrough in Proxmox werden NVIDIA-Geräte-IDs per lspci ermittelt, an VFIO gebunden und im Host-Treiber gesperrt.
Proxmox VEOllamaOpen WebUIVFIO-Passthrough

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.