Shannon's Information Entropy (Physical Analogy)
3-Second Blueprint (English)
- Claude Shannon measured a source's information by the minimum average yes/no questions needed to identify its next symbol.
- Four uniform symbols take 2 binary questions on average, while a 50/25/12.5/12.5% distribution drops to 1.75 questions per symbol.
- Entropy H = Σ p·log₂(1/p) quantifies average surprise in bits, peaking when outcomes are equally likely and falling with predictability.
Shannon entropy HBinary question treesInformation unit (the bit)Probability & predictabilityPeg-bounce machine analogy
3-Sekunden-Fazit (Deutsch)
- Claude Shannon maß den Informationsgehalt einer Quelle über die minimale mittlere Zahl an Ja/Nein-Fragen pro unbekanntem Symbol.
- Vier gleichwahrscheinliche Symbole erfordern im Schnitt 2 Binärfragen, eine 50/25/12,5/12,5-%-Verteilung nur noch 1,75 Fragen.
- Die Entropie H = Σ p·log₂(1/p) misst mittlere Ungewissheit in Bit; sie ist bei Gleichverteilung maximal und sinkt mit Vorhersagbarkeit.
Shannon-Entropie HBinäre EntscheidungsbäumeInformationseinheit BitWahrscheinlichkeit & VorhersagePrallstift-Maschinenanalogie
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.