Why LLMs hallucinate | Yann LeCun and Lex Fridman
3-Second Blueprint (English)
- In autoregressive LLMs, small per-token error probabilities compound, decaying valid-answer likelihood exponentially.
- Fine-tuning covers common queries, but the curse of dimensionality leaves a vast long tail of uncovered prompts.
- Adversarial strings or cross-lingual swaps derail LLMs because they interpolate lookup patterns rather than reasoning.
Autoregressive LLMsCurse of DimensionalityFine-TuningOOD Robustness
3-Sekunden-Fazit (Deutsch)
- Bei autoregressiven LLMs summieren sich Token-Fehlerraten, sodass die Trefferwahrscheinlichkeit exponentiell sinkt.
- Fine-Tuning deckt häufige Fragen ab, doch der Fluch der Dimensionalität hinterlässt einen riesigen Long-Tail an Prompts.
- Zufallszeichen oder Sprachwechsel entgleisen LLMs, da sie Muster interpolieren statt mit Weltmodellen zu planen.
Autoregressive LLMsFluch der DimensionalitätFine-TuningOOD-Robustheit
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.