Teoría de la Información Útil

La Teoría de la Información es una rama de las matemáticas que nos indica qué mensajes (de entre un conjunto dado) contienen más información. Es útil para cuantificar dicha información y encontrar maneras eficientes de codificar unos datos para que ocupen el mínimo espacio posible. Para entender un poco mejor todo esto recomiendo (modestia aparte) empezar por aquí.

A grandes rasgos se podría resumir el resultado principal de dicha Teoría en la siguiente frase:

Un mensaje aporta más información cuanto menos probable es.

Sin embargo, esta teoría fue inventada para evaluar la cantidad de información y no la calidad de la información contenida en un mensaje. Hoy en día disponemos de un claro exceso de información y quizá sea más interesante hablar de una Teoría de la Información Útil.

En un ataque de inspiración mañanero me ha dado por intentar imaginar una definición para el concepto Utilidad en el contexto de la Teoría de la Información y aquí está el resultado:

Sea una variable aleatoria X y un conjunto finito o infinito de variables aleatorias {Yi} que llamaremos universo, la Utilidad de una realización concreta de X es igual a la reducción de la incertidumbre de las variables del universo {Yi} ocasionada por dicha realización.

Que se resume en:

Teoría de la Información Útil

Como supongo que lo que acabo de escribir no es demasiado accesible a cualquiera que no esté muy familiarizado con el tema será mejor que lo reformule como:

De entre un conjunto de mensajes que podemos recibir, el que será más útil es aquel que nos aporte mayor información sobre el resto de mensajes del universo.

O dicho de otra manera:

La cantidad de información que recibimos con un mensaje dado depende de los otros mensajes que podríamos haber recibido en ese contexto. Sin embargo, la utilidad de la información que recibimos con un mensaje dado depende de cómo afecta dicho mensaje a los mensajes que recibiremos en futuros contextos.

Así, un mensaje muy improbable como “En la atmósfera de Júpiter existe una gran bolsa de mercurio líquido” contiene mucha información pero para la mayoría de nosotros se trata de una información de poca utilidad ya que reduce poco o nada nuestra incertidumbre acerca del resto de cosas que forman nuestro universo personal.

Por el contrario, un mensaje no–tan–improbable como: “Laura se ha roto el codo” aporta menos información pero es de mucha más utilidad ya que gracias a él un mensaje que seguro que recibiremos próximamente (y que por lo tanto forma parte de nuestro universo personal) como por ejemplo: “Han operado a Laura del codo” se nos antoja mucho más probable/previsible (contiene menos información).

Por cierto, un saludo para Laura, que está convaleciente.

De manera trivial se puede definir la Utilidad de una variable aleatoria X como la suma de la utilidad de todas sus realizaciones. Esto nos permite estimar cual es la mejor (más útil) pregunta que podemos hacer en un contexto dado: Definimos un universo {Zi} de cosas que “queremos saber” y acto seguido elegimos aquella que sea más útil en relación con el resto.

BOLAEXTRA: Mis conocimientos en Teoría de la Información no son muy extensos y quizá todo esto ya lo haya dicho alguien más. En caso de que así sea y tengáis noticia de ello me gustaría que alguien me avise. Por otra parte si alguien quiere seguir investigando este concepto estaré encantado de seguir sus progresos.

Escrito en 21/06/09 23:58 por Carlos Luna en las categorías:

Comentarios

Deja un Comentario

Quizás quieras usar textile para dar formato a tu comentario.

"linktext":http://       _em_       *strong*       -strike-       ^sup^       ~sub~
bq. Blockquote       # Lista numerada       * Lista no-numerada       ==html crudo, sin textile==

(no será mostrado) (http://...)