Brain-Score 94/100 TECH Deep Learning with Yacine · 24:23

DeepSeek Group Relative Policy Optimization (GRPO) - Formula and Code

DeepSeek Group Relative Policy Optimization (GRPO) - Formula and Code
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. GRPO eliminates PPO's separate value critic by normalizing rewards across a group of G sampled outputs per prompt to get advantages.
  2. Rather than folding KL penalties into token rewards, GRPO adds a direct KL divergence term against the frozen reference SFT model.
  3. HuggingFace TRL computes GRPO losses in log-probability space with pluggable reward functions for regex formatting and accuracy.
GRPODeepSeek-R1PPOHuggingFace TRLKL Divergence

3-Sekunden-Fazit (Deutsch)

  1. GRPO ersetzt PPOs separates Critic-Netzwerk, indem Belohnungen über eine Gruppe von G Ausgaben pro Prompt normiert werden.
  2. Statt KL-Strafen in Token-Rewards einzurechnen, nutzt GRPO einen direkten KL-Divergenz-Term zum eingefrorenen Referenzmodell.
  3. HuggingFace TRL berechnet GRPO im Log-Wahrscheinlichkeitsraum mit modularen Reward-Funktionen für Format- und Korrektheitsprüfungen.
GRPODeepSeek-R1PPOHuggingFace TRLKL-Divergenz

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.