Why Recurrent Neural Networks are cursed | LM2
3-Second Blueprint (English)
- Neural language models overcome n-gram data sparsity by learning word-embedding vectors, weight matrices, and smooth activations.
- Recurrent Neural Networks update hidden state h_t from h_{t-1} using identical shared weight matrices at every word position.
- Standard RNN hidden states struggle to preserve distant context across long sequences, motivating gated LSTMs and attention.
N-Gram Language ModelsWord Embedding MatrixRecurrent Neural Networks (RNN)Shared Weight MatricesLSTM Memory Gating
3-Sekunden-Fazit (Deutsch)
- Neuronale Sprachmodelle lösen das Sparsity-Problem von N-Grammen durch gelernte Wort-Embeddings, Gewichtsmatrizen und Sigmoid-Funktionen.
- Rekurrente Netze berechnen den Zustand h_t aus h_{t-1} und nutzen an jeder Wortposition exakt dieselben Gewichtsmatrizen.
- Da einfache RNN-Zustände langen Kontext über viele Schritte verlieren, entstanden gesteuerte LSTM-Zellen und Attention.
N-Gramm-SprachmodelleWort-Embedding-MatrixRekurrente Netze (RNN)Geteilte GewichtsmatrizenLSTM-Speichersteuerung
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.