What does it mean for computers to understand language? | LM1
3-Second Blueprint (English)
- Language models frame text generation as next-word prediction, assigning probabilities conditioned on K prior words.
- An N-gram model approximates sequence likelihoods by counting fixed-window prefixes, such as two prior words in trigrams.
- Smoothing prevents zero denominators on unseen prefixes, while larger N trades richer context against severe data sparsity.
Next-Word Prediction ObjectiveFixed Context Window (K)N-Gram & Trigram ModelsZero-Frequency SmoothingContext vs. Sparsity Trade-Off
3-Sekunden-Fazit (Deutsch)
- Sprachmodelle formulieren Textgenerierung als Wortvorhersage über Wahrscheinlichkeiten aus K vorherigen Wörtern.
- Ein N-Gramm-Modell nähert Sequenzwahrscheinlichkeiten durch Zählen fester Wortfenster an, etwa Trigramme mit K=2.
- Glättungsfunktionen verhindern Nullnenner bei ungesehenen Präfixen, während größeres N Kontext gegen Datenknappheit abwägt.
Wortvorhersage-ZielfunktionFestes Kontextfenster (K)N-Gramm- & Trigramm-ModelleGlättung gegen NullzählungenKontext-Sparsity-Abwägung
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.