Cross-Entropy - Explained
3-Second Blueprint (English)
- Defines classification cross-entropy H(p,q) = -Σ p_i log(q_i), producing steep gradients when models are confidently wrong unlike MSE.
- Decomposes cross-entropy into true Shannon entropy plus KL divergence (H(p) + D_KL), counting bits wasted by imperfect predictions.
- Pairs Softmax logit normalization with the Log-Sum-Exp max-shift trick so the largest exponent becomes e⁰ = 1, preventing overflow.
Cross-EntropySoftmaxLog-Sum-Exp TrickShannon Entropy
3-Sekunden-Fazit (Deutsch)
- Definiert die Kreuzentropie H(p,q) = -Σ p_i log(q_i), die im Gegensatz zu MSE starke Gradienten bei sicheren Fehlprognosen liefert.
- Zerlegt Kreuzentropie in wahre Shannon-Entropie plus KL-Divergenz (H(p) + D_KL) als Maß verschwendeter Kodierungsbits.
- Kombiniert Softmax-Logits mit dem Log-Sum-Exp-Trick, sodass der größte Exponent zu e⁰ = 1 normiert wird und Überlauf verhindert.
KreuzentropieSoftmax-FunktionLog-Sum-Exp-TrickShannon-Entropie
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.