Calculadora de Entropía H(X)
Ajusta las probabilidades de una variable con 4 resultados posibles.
p₁
p₂
p₃
p₄
H(X) [bits]
2.000
H(X) [nats]
1.386
Uniforme ↔ Sesgado
1.000
Máxima H (log₂4)
2.000
Información Mutua I(X;Y)
¿Cuánto dice X sobre Y? I(X;Y) = H(X) - H(X|Y)
H(X)
—
H(X|Y)
—
I(X;Y)
—
Nivel de dependencia
—
Divergencia KL: D(p||q)
¿Qué tan diferente es la distribución p de la q?
D(p||q) [bits]
—
Interpretación
—
Codificación de Shannon
Longitud óptima promedio de código = H(X) bits. ¡Comprueba el teorema!