What is Low-Rank Adaptation (LoRA) | explained by the inventor
3-Second Blueprint (English)
- LoRA decomposes d x d weight updates through a rank-r bottleneck (r << d), storing 2dr parameters and shrinking GPT-3 checkpoints to 25 MB.
- Because low-rank updates are additive, multiplying and merging them into base weights before deployment adds zero inference latency.
- Adjusting rank r tunes expressivity toward full fine-tuning, while additive LoRA trees serve specialized user models from one base LLM.
Low-Rank MatricesZero-Latency MergingParameter EfficiencyMulti-LoRA Serving
3-Sekunden-Fazit (Deutsch)
- LoRA zerlegt d×d-Gewichtsmatrizen über einen Rang-r-Engpass (r << d), speichert nur 2dr Parameter und senkt GPT-3-Checkpoints auf 25 MB.
- Da Low-Rank-Updates additiv sind, lassen sie sich vor dem Einsatz direkt in die Basisgewichte einrechnen – ohne jede Inferenz-Latenz.
- Über den Rang r lässt sich die Kapazität gezielt skalieren, und additive LoRA-Bäume bedienen viele Spezialmodelle auf einem Basismodell.
Low-Rank-MatrizenLatenzfreies MergingParametereffizienzMulti-LoRA-Serving
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.