Shannon-Entropie-Rechner

Informationsentropie H(X) in Bits, Nats oder Hartleys aus jeder Wahrscheinlichkeitsverteilung berechnen. Mit Effizienz, Redundanz, Perplexität und Schritt-für-Schritt-Auswertung.

Wahrscheinlichkeitsverteilung

Schnellbeispiele:

Werte zwischen 0 und 1 eingeben. Die Summe soll 1 ergeben (wird automatisch normiert, falls nicht).

Was ist die Shannon-Entropie?

Die Shannon-Entropie, benannt nach dem Mathematiker und Elektroingenieur Claude E. Shannon, ist das grundlegende Maß der Informationstheorie. Eingeführt in Shannons bahnbrechendem Papier „Eine mathematische Theorie der Kommunikation" von 1948, quantifiziert sie die durchschnittliche Ungewissheit oder Überraschung, die den möglichen Ergebnissen einer Zufallsvariablen innewohnt.

Intuitiv beantwortet Entropie die Frage: „Wie unvorhersehbar ist diese Informationsquelle?" Eine Quelle, die immer dasselbe Ergebnis liefert (z.B. eine verzerrte Münze, die immer Kopf zeigt), hat Entropie null – durch Beobachtung wird keine Information gewonnen. Eine perfekt zufällige Quelle (z.B. eine faire Münze) hat maximale Entropie – jede Beobachtung liefert die maximal mögliche Information.

Die Formel: H(X) = −Σ pᵢ log(pᵢ)

Für eine diskrete Zufallsvariable X mit n möglichen Ergebnissen, die jeweils mit Wahrscheinlichkeit pᵢ (wobei Σpᵢ = 1) auftreten, ist die Shannon-Entropie definiert als:

H(X) = −Σ pᵢ · log_b(pᵢ) für i = 1 bis n
Konvention: 0 · log(0) = 0 (Grenzwert: lim x→0 x·log(x) = 0)

Jeder Term −pᵢ·log(pᵢ) stellt den Beitrag von Ergebnis i zur Gesamtentropie dar. Diese Größe ist stets nicht-negativ (da 0 ≤ pᵢ ≤ 1 bedeutet log(pᵢ) ≤ 0, und das Minuszeichen macht es positiv). Die Summe über alle Ergebnisse ergibt die durchschnittliche Ungewissheit pro Beobachtung.

Die Formel intuitiv verstehen

Der Term −log₂(pᵢ) kann als „Überraschung" oder „Informationsgehalt" der Beobachtung von Ergebnis i interpretiert werden. Seltene Ereignisse (kleines pᵢ) tragen viel Information – etwas Unerwartetes zu sehen, sagt viel aus. Häufige Ereignisse (großes pᵢ) tragen wenig Information. Entropie ist der wahrscheinlichkeitsgewichtete Durchschnitt dieser einzelnen Überraschungen.

Basis 2 (Bits) vs. Basis e (Nats) vs. Basis 10 (Hartleys)

Die Wahl der Logarithmenbasis bestimmt die Einheit der Entropie, ändert aber nicht die relativen Vergleiche zwischen Verteilungen:

BasisEinheitTypische AnwendungUmrechnung
2Bits (Shannons)Informationstheorie, Informatik, Datenkompression1 Bit
e ≈ 2,718Nats (natürliche Einheiten)Physik, statistische Mechanik, maschinelles Lernen≈ 0,6931 Bits
10Hartleys (Dits/Bans)Nachrichtentechnik, Kryptographie≈ 0,3010 Bits

In der Informatik und Datenkompression sind Bits die natürliche Wahl, da Binärziffern (0 und 1) die fundamentale Einheit sind. In der Physik (Boltzmann-Entropie, Thermodynamik) und in vielen Frameworks für maschinelles Lernen (Kreuzentropie-Verlust) werden Nats bevorzugt, da natürliche Logarithmen in Analysis und Differentialgleichungen natürlich auftreten.

Maximale und minimale Entropie

Maximale Entropie tritt auf, wenn alle Ergebnisse gleich wahrscheinlich sind – eine Gleichverteilung. Für n gleich wahrscheinliche Ergebnisse gilt H_max = log(n). Das ist der ungeordnetste, unvorhersehbarste Zustand. Beispiele:

  • Faire Münze (n=2): H_max = log₂(2) = 1 Bit
  • Fairer Würfel (n=6): H_max = log₂(6) ≈ 2,585 Bits
  • Kartenspiel mit 52 Karten (n=52): H_max = log₂(52) ≈ 5,700 Bits

Minimale Entropie beträgt 0 Bits und tritt auf, wenn ein Ergebnis Wahrscheinlichkeit 1 hat. Ein deterministisches Ereignis liefert keine Information – man weiß bereits, was eintreten wird. Das ist der geordnetste, vorhersehbarste Zustand.

Entropieeffizienz und Redundanz

Effizienz (auch relative Entropie oder Entropieverhältnis) misst, wie nahe eine Verteilung der maximalen Entropie ist:

Effizienz = H(X) / H_max × 100 %

Eine Effizienz von 100 % bedeutet perfekte Gleichverteilung. Eine Effizienz von 0 % bedeutet vollständig deterministisch. Deutschsprachiger Text hat eine Effizienz von etwa 10–15 % (verglichen mit maximaler Entropie für 26 Buchstaben), was bedeutet, dass natürliche Sprache stark redundant ist.

Redundanz ist das Komplement der Effizienz in absoluten Einheiten: Redundanz = H_max − H(X). Sie stellt die „verschwendete Kapazität" dar – wie weit die tatsächliche Entropie vom theoretischen Maximum entfernt ist. Hohe Redundanz in der Sprache ermöglicht es Menschen, Sprache auch bei fehlenden Wörtern oder Hintergrundlärm zu verstehen.

Perplexität

Perplexität ist ein verwandtes Maß, das häufig in der Verarbeitung natürlicher Sprache zur Bewertung von Sprachmodellen verwendet wird. Sie ist definiert als die Potenzierung der Entropie:

Perplexität = 2^H (für Basis-2-Entropie)
Perplexität = e^H (für natürliche Entropie)

Perplexität kann als „effektive Anzahl gleich wahrscheinlicher Auswahlmöglichkeiten" pro Schritt interpretiert werden. Ein fairer Würfel hat H = log₂(6) ≈ 2,585 Bits, also Perplexität = 2^2,585 = 6, genau die Anzahl der Seiten. Ein Sprachmodell mit Perplexität 50 ist im Durchschnitt so unsicher wie die Auswahl aus 50 gleich wahrscheinlichen Wörtern.

Anwendungen der Shannon-Entropie

Datenkompression (Huffman-Kodierung)

Shannons Quellencodierungstheorem beweist, dass die minimale durchschnittliche Codelänge für jedes verlustfreie Kompressionsverfahren H(X) Bits pro Symbol beträgt. Huffman-Kodierung erreicht dieses theoretische Minimum, indem häufigeren Symbolen kürzere Binärcodes und selteneren Symbolen längere Codes zugewiesen werden. ZIP-Dateien, JPEG-Bilder (Quantisierungsstufe) und MP3-Audio nutzen alle entropiebasierte Kompressionsprinzipien.

Kryptographie und Sicherheit

In der Kryptographie misst Entropie die Unvorhersehbarkeit von Schlüsseln und Passwörtern. Ein 128-Bit-Schlüssel aus einer gleichmäßig zufälligen Quelle hat 128 Bits Entropie – er ist maximal unvorhersehbar. Vom Menschen gewählte Passwörter haben typischerweise viel geringere Entropie (Forschungen deuten auf 1–2 Bits pro Zeichen für natürlichsprachliche Passwörter hin), was sie anfällig für Wörterbuch- und Brute-Force-Angriffe macht.

Maschinelles Lernen – Entscheidungsbäume

Die ID3- und C4.5-Entscheidungsbaum-Algorithmen verwenden Entropie zur Auswahl des aussagekräftigsten Merkmals an jedem Knoten. Der Informationsgewinn wird als Entropiereduktion nach der Aufteilung der Trainingsdaten auf ein bestimmtes Merkmal berechnet: IG = H(Elternteil) − Σ (|Kind|/|Elternteil|) · H(Kind). Das Merkmal mit dem höchsten Informationsgewinn wird als Aufteilungskriterium gewählt.

Thermodynamik – Boltzmann-Entropie

Die Shannon-Entropie ist mathematisch identisch mit Boltzmanns thermodynamischer Entropie (S = −kB Σ pᵢ ln pᵢ, wobei kB die Boltzmann-Konstante ist). Beide messen die Anzahl der Mikrozustände, die zu einem Makrozustand konsistent sind. Diese tiefe Verbindung zwischen Informationstheorie und Physik bedeutet, dass Entropie physikalische Bedeutung in Bezug auf Wärme, Temperatur und den zweiten Hauptsatz der Thermodynamik hat.

Linguistik – Buchstabenfrequenzanalyse

Deutschsprachiger Text hat eine Entropie von etwa 1,0–1,5 Bits pro Zeichen unter Berücksichtigung weitreichender Korrelationen, verglichen mit maximal log₂(26) ≈ 4,70 Bits für 26 gleich wahrscheinliche Buchstaben. Diese Redundanz wird in der Rechtschreibkorrektur, automatischen Spracherkennung und Verarbeitung natürlicher Sprache genutzt. Sprachen mit komplexerer Morphologie (wie Finnisch oder Türkisch) zeigen aufgrund der Agglutination andere Entropieprofile.

Referenz: Häufige Entropiewerte

VerteilungEntropie (Bits)Effizienz
Deterministisch (p=1)0,0000 %
Verzerrte Münze (0,9; 0,1)0,46946,9 %
Verzerrte Münze (0,8; 0,2)0,72272,2 %
Verzerrte Münze (0,7; 0,3)0,88188,1 %
Faire Münze (0,5; 0,5)1,000100 %
Gleichverteilt 4 Ergebnisse2,000100 %
Fairer Würfel (6 Ergebnisse)2,585100 %
Deutsches Alphabet (26)≈ 4,18≈ 89 %
Gleichverteilt 8 Ergebnisse3,000100 %

Häufig gestellte Fragen (FAQ)

Was ist die Shannon-Entropie?
Die Shannon-Entropie ist ein Maß für die durchschnittliche Ungewissheit oder den Informationsgehalt einer Wahrscheinlichkeitsverteilung. Für eine Zufallsvariable X mit Ergebnissen p₁, p₂, …, pₙ gilt H(X) = −Σ pᵢ · log(pᵢ). Höhere Entropie bedeutet mehr Unvorhersehbarkeit; niedrigere Entropie bedeutet mehr Vorhersagbarkeit. Sie wurde 1948 von Claude Shannon eingeführt und bildet die Grundlage der Informationstheorie.
Was ist die Einheit der Entropie – Bits, Nats oder Hartleys?
Die Einheit hängt von der Logarithmenbasis ab. Basis 2 ergibt Bits (am häufigsten in der Informatik), Basis e ergibt Nats (Physik und maschinelles Lernen), Basis 10 ergibt Hartleys/Dits. Alle drei messen dieselbe zugrunde liegende Größe – nur der Maßstab ändert sich. 1 Bit = ln(2) Nats ≈ 0,6931 Nats = log₁₀(2) Hartleys ≈ 0,3010 Hartleys.
Was ist maximale Entropie?
Maximale Entropie tritt auf, wenn alle Ergebnisse gleich wahrscheinlich sind (Gleichverteilung). Für n Ergebnisse gilt H_max = log(n) in der gewählten Basis. Das ist der ungeordnetste, unvorhersehbarste Zustand. Jede Abweichung von der Gleichverteilung reduziert die Entropie. Ein fairer Würfel (6 Seiten) hat H_max = log₂(6) ≈ 2,585 Bits. Minimale Entropie (0) tritt auf, wenn ein Ergebnis sicher ist.
Was bedeutet Entropieeffizienz?
Effizienz = H(X) / H_max × 100 % misst, wie nahe die tatsächliche Entropie dem theoretischen Maximum für dieselbe Anzahl von Ergebnissen ist. 100 % bedeutet perfekte Gleichverteilung (maximale Zufälligkeit). Nahe 0 % bedeutet fast deterministisch. Deutschsprachiger Text hat eine Effizienz von etwa 10–15 % verglichen mit einem Alphabet aus 26 gleich wahrscheinlichen Buchstaben – natürliche Sprache ist stark strukturiert und redundant.
Wie wird Entropie im maschinellen Lernen und bei Entscheidungsbäumen eingesetzt?
Entscheidungsbaum-Algorithmen wie ID3 und C4.5 verwenden Entropie zur Auswahl des besten Aufteilungsmerkmals an jedem Knoten. Sie berechnen den Informationsgewinn – die Entropiereduktion nach einer Aufteilung – und wählen das Merkmal, das ihn maximiert. Ein reiner Blattknoten (alle Beispiele gehören einer Klasse an) hat Entropie null. Durch Minimierung der Entropie lernt der Baum zuerst die aussagekräftigsten Muster.
Wie hängt Entropie mit Datenkompression zusammen?
Shannons Quellencodierungstheorem beweist, dass H(X) Bits pro Symbol das theoretische Minimum für verlustfreie Kompression ist. Kein Algorithmus kann dies im Durchschnitt unterbieten. Huffman-Kodierung erreicht diese Grenze, indem häufigeren Symbolen kürzere Codes zugewiesen werden. Quellen mit hoher Entropie (Zufallsdaten) lassen sich kaum komprimieren; Quellen mit niedriger Entropie (strukturierter Text) sehr gut.
Wie groß ist die Entropie eines fairen Münzwurfs?
Ein fairer Münzwurf hat H = −(0,5 · log₂(0,5) + 0,5 · log₂(0,5)) = 1 Bit. Das ist die maximal mögliche Entropie für ein Zwei-Ergebnis-Ereignis. Jeder Wurf liefert genau 1 Bit Information. Eine verzerrte Münze (z.B. p = 0,9; 0,1) hat niedrigere Entropie H ≈ 0,469 Bits, da ihr Ergebnis besser vorhersehbar ist.

Ähnliche Rechner

Wahrscheinlichkeits-Rechner Binomialverteilungs-Rechner Zentraler Grenzwertsatz-Rechner Kombinations-Rechner Logarithmus-Rechner