LoRA: Low-Rank Adaptation of Large Language Models - Explained visually + PyTorch code from scratch
3-Second Blueprint (English)
- LoRA freezes pre-trained weights W (d×k) and models updates via low-rank matrices B (d×r, zero-init) and A (r×k, Gaussian).
- Because fine-tuning updates have low intrinsic rank, small r cuts trainable parameters below 1% for fast backprop.
- Scaling by fixed alpha stabilizes rank changes, and swapping small A/B matrices switches tasks without reloading W.
LoRA (Low-Rank Adaptation)Intrinsic Rank DecompositionZero / Gaussian Matrix InitAlpha-Over-Rank ScalingPyTorch Parametrization
3-Sekunden-Fazit (Deutsch)
- LoRA friert Gewichte W (d×k) ein und lernt Updates über Rang-r-Matrizen B (Null-Init) und A (Gauß-Init).
- Da Gewichts-Updates niedrigen intrinsischen Rang haben, senkt kleines r die trainierbaren Parameter unter 1 %.
- Alpha-Skalierung stabilisiert Rangwechsel, und der Tausch kleiner A/B-Adapter wechselt Tasks ohne W neu zu laden.
LoRA (Low-Rank Adaptation)Niedrigrang-ZerlegungNull- & Gauß-InitialisierungAlpha-Rang-SkalierungPyTorch-Parametrisierung
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.