Neural Networks Part 6: Cross Entropy
3-Second Blueprint (English)
- Multi-class neural networks pair SoftMax outputs with Cross-Entropy loss since ArgMax lacks usable derivatives for training.
- With one-hot class labels, non-observed class terms vanish, simplifying cross-entropy to -ln(p) of the true class.
- Unlike squared residuals, -ln(p) grows steeply near p=0, producing large gradients that speed up backpropagation.
Cross-Entropy LossSoftMaxBackpropagationSum of Squared Residuals
3-Sekunden-Fazit (Deutsch)
- Mehrklassen-Netze kombinieren SoftMax mit Kreuzentropie, da ArgMax keine brauchbare Ableitung fürs Training besitzt.
- Bei One-Hot-Zielwerten entfallen fremde Klassen, sodass sich die Kreuzentropie zu -ln(p) der wahren Klasse vereinfacht.
- Anders als quadrierte Residuen steigt -ln(p) nahe p=0 steil an und liefert starke Gradienten für Backpropagation.
Kreuzentropie-VerlustSoftMaxBackpropagationQuadrierte Residuen
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.