Reinforcement Learning with Human Feedback (RLHF) in 4 minutes
3-Second Blueprint (English)
- Stage 1 performs Supervised Fine-Tuning (SFT) on human-written prompt-response pairs to establish a baseline instruction model.
- Stage 2 samples multiple SFT outputs per prompt for humans to rank worst-to-best, training a separate LLM as a scalar reward model.
- Stage 3 aligns the SFT policy via Proximal Policy Optimization (PPO), updating weights against reward-model scores on new prompts.
RLHFSupervised Fine-TuningReward ModelingPPO
3-Sekunden-Fazit (Deutsch)
- Stufe 1 nutzt Supervised Fine-Tuning (SFT) mit menschlich verfassten Antworten, um ein Basis-Instruktionsmodell zu trainieren.
- Stufe 2 lässt Menschen mehrere Modellantworten pro Prompt ordnen, um daraus ein separates LLM als Reward-Modell zu trainieren.
- Stufe 3 richtet das SFT-Modell per Proximal Policy Optimization (PPO) anhand der Bewertungen des Reward-Modells weiter aus.
RLHFSupervised Fine-TuningReward-ModellierungPPO
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.