Brain-Score 86/100 TECH Dwarkesh Clips · 6:55

Andrej Karpathy on Richard Sutton

Andrej Karpathy on Richard Sutton
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Biological animals do not learn tabula rasa; DNA encodes compressed evolutionary priors and brain maturation before online RL.
  2. LLM pre-training on internet text acts as a tractable engineering substitute for evolution to bootstrap broad world representations.
  3. Excessive memorized knowledge hurts out-of-distribution agency, motivating research into smaller reasoning-focused cognitive cores.
LLM Pre-TrainingReinforcement LearningEvolutionary PriorsCognitive Core Architecture

3-Sekunden-Fazit (Deutsch)

  1. Tiere lernen nicht bei null: Die Evolution kodiert komprimierte Lernalgorithmen und Hirnreifung in der DNA vor jedem Online-RL.
  2. LLM-Pretraining auf Internettexten dient als praktisch machbarer Ersatz für Evolution, um Vorwissen und Repräsentationen aufzubauen.
  3. Zu viel gespeichertes Faktenwissen hemmt Generalisierung, weshalb kompakte kognitive Kerne für reines Problemlösen nötig sind.
LLM-PretrainingReinforcement LearningEvolutionäre PriorsCognitive-Core-Modell

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.