Información mutua

Información mutua

En teoría de la probabilidad, y en teoría de la información, la información mutua o transinformación de dos variables aleatorias es una cantidad que mide la dependencia mutua de dos variables. La unidad de medida más común de información mutua es el bit, ya que suelen ser usados logaritmos de base dos.

Definición de información mutua

Formalmente, la información mutua de dos variables aleatorias discretas X e Y puede definirse como:

 I(X;Y) = \sum_{y \in Y} \sum_{x \in X} 
                 p(x,y) \log{ \left( \frac{p(x,y)}{p_1(x)\,p_2(y)}
                              \right) }, \,\!

donde p(x,y) es la función de distribución de probabilidad conjunta de X e Y, y p1(x) y p2(y) son las funciones de distribución de probabilidad marginal de X e Y respectivamente.

En el caso continuo, reemplazamos la suma con una integral doble definida:

 I(X;Y) = \int_Y \int_X 
                 p(x,y) \log{ \left( \frac{p(x,y)}{p_1(x)\,p_2(y)}
                              \right) } \; dx \,dy,

donde p(x,y) es de nuevo la función de distribución de probabilidad conjunta de X e Y, y p1(x) y p2(y) son las distribuciones de probabilidad marginales de X e Y respectivamente.

Estas definiciones son ambigüas porque la base del logaritmo no se ha especificado. Para evitarlo, la función I puede parametrizarse como I(X,Y,b) donde b es la base. Alternativamente, como la unidad de medida más común de información mutua es el bit, se puede especificar base 2.

Intuitivamente, la información mutua mide la información que X e Y comparten: mide en cuánto el conocimiento de una variable reduce nuestra incertidumbre sobre la otra. Por ejemplo, si X e Y son independientes, entonces conocer X no da información sobre Y y viceversa, por lo que su información mutua es cero. En el otro extremo, si X e Y son idénticas entonces toda información proporcionada por X es compartida por Y: saber X determina el valor de Y y viceversa. Por ello, la información mutua es igual a la información contenida en Y (o X) por sí sola, también llamada la entropía de Y (o X: claramente si X e Y son idénticas tienen idéntica entropía).

La información mutua cuantifica la dependencia entre la distribución conjunta de X e Y y la que tendrían si X e Y fuesen independientes. La información mutua es una medida de dependencia en el siguiente sentido: I(X; Y) = 0 si y sólo si X e Y son variables aleatorias independientes. Esto es fácil de ver en una dirección: si X e Y son independientes, entonces p(x,y) = p(x) p(y), y por tanto:

 \log{ \left( \frac{p(x,y)}{p(x)\,p(y)} \right) } = \log 1 = 0. \,\!

Además, la información mutua es positiva o nula (i.e. I(X;Y) ≥ 0) y simetrica (i.e. I(X;Y) = I(Y;X)).


Wikimedia foundation. 2010.

Игры ⚽ Нужен реферат?

Mira otros diccionarios:

  • Mutua Universal — Saltar a navegación, búsqueda Con más de 100 años de experiencia, Mutua Universal, mutua de Accidentes de Trabajo y Enfermedades Profesionales n.º 10, es una asociación voluntaria de empresas que, sin ánimo de lucro, presta servicios de… …   Wikipedia Español

  • Teoría de la información — Este artículo está siendo desarrollado y forma parte de un proyecto educativo. Es posible que a causa de ello haya lagunas de contenido o deficiencias de formato. Si quieres puedes ayudar y editar, pero por favor antes de realizar correcciones… …   Wikipedia Español

  • 1958 US-UK acuerdo de defensa mutua — Saltar a navegación, búsqueda El 1958 US UK Mutual Defence Agreement ó Acuerdo de Defenza Mutua de 1958 en español, es un tratado bilateral entre Estados Unidos y el Reino Unido sobre la cooperación en las armas nucleares. El Acuerdo se firmó… …   Wikipedia Español

  • Acuerdo de defensa mutua entre los Estados Unidos y el Reino Unido de 1958 — El Acuerdo de Defenza Mutua 1958 o US UK Mutual Defence Agreement en inglés, es un tratado bilateral entre Estados Unidos y el Reino Unido sobre la cooperación en las armas nucleares. El Acuerdo se firmó después de que el Reino Unido probo con… …   Wikipedia Español

  • Tecnologías de la información y la comunicación — «TIC» redirige aquí. Para el término médico, véase Tic. Torre de telecomunicaciones de Collserola, (Barcelona). Las tecnologías de la información y la comunicación (TIC o bien NTIC para Nuevas Tecnologías de la Información y de la Comunicación o… …   Wikipedia Español

  • Capacidad del canal — Saltar a navegación, búsqueda En Ingeniería Electrónica y Teoría de la Información, la capacidad de canal es la cantidad de información que puede ser relativamente transmitida sobre canales de comunicación. Contenido 1 Sinopsis 2 Definición 3… …   Wikipedia Español

  • Capacidad de canal — Saltar a navegación, búsqueda En Teoría de la Información, la capacidad de un canal de comunicación es la cantidad máxima de información que puede transportar dicho canal de forma fiable, es decir, con una probabilidad de error tan pequeña como… …   Wikipedia Español

  • Knn — Este artículo o sección necesita referencias que aparezcan en una publicación acreditada, como revistas especializadas, monografías, prensa diaria o páginas de Internet fidedignas. Puedes añadirlas así o avisar al autor principal …   Wikipedia Español

  • Coocurrencia — Coocurrenca indica en la lingüística general la utilización conjunta de dos unidades léxicas (por ejemplo palabras) en una unidad superior, como una palabra o documento. Existe la suposición de que los términos son mutuamente dependientes cuando… …   Wikipedia Español

  • Organización Internacional del Café — La OIC (Organización Internacional del Café) (en inglés ICO) es una organización intergubernamental que agrupa a la casi totalidad de los países productores de café así como a los principales países importadores. La organización garantiza la… …   Wikipedia Español

Compartir el artículo y extractos

Link directo
Do a right-click on the link above
and select “Copy Link”