Teoria De La Informacion

TEORIA DE LA INFORMACION Claude Elwood Shannon

Claude Elwood Shannon  Nacimiento: Claude Elwood

Shannon nació el 30 de abril de 1916 en Petoskey, Michigan, en el seno de una culta familia media americana. Su padre, Claude Elwood, era el juez de una pequeña localidad de tres mil habitantes, llamada Gaylord, y su madre la directora del instituto. Además de sus padres, Shannon recibió una influencia decisiva de su abuelo, un granjero al que gustaba construir todo tipo de máquinas agrícolas, el cual le inculcó dos aficiones que siempre practicaría, la construcción de ingenios electromecánicos y los juegos malabares.

Inicio

Estudios  Los primeros años de su vida los pasó en

Gaylord, donde se graduó de la secundaria en 1932. Desde joven, Shannon demostró una inclinación hacia las cosas mecánicas. Resaltaba respecto a sus compañeros en las asignaturas de ciencias. Su héroe de la niñez era Edison, a quien luego se acercó bastante en sus investigaciones.  En 1932 ingresó en la Universidad de Míchigan, siguiendo a su hermana Catherine, doctora en matemática. En 1936 obtuvo los títulos de ingeniero electricista y matemático. Su interés por la matemática y la ingeniería continuó durante toda su vida.  En 1936 aceptó la posición de asistente de investigación en el departamento de ingeniería eléctrica en el Instituto de Tecnología de Massachusetts (MIT). Su situación le permitió continuar estudiando mientras trabajaba por horas para el departamento, donde trabajó en el computador analógico más avanzado de esa era, el Differential Analyzer de Vannevar Bush.

Inicio

Teoría De La Información  La teoría de la información

surgió a finales de la segunda guerra mundial en los años cuarenta. En esta época se buscaba utilizar de manera más eficiente los canales de comunicación, mandando así una cantidad de información por un determinado canal y como medir su capacidad. Esta teoría buscaba la transmisión óptima de los mensajes.  Es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información y todo lo relacionado con ella: canales,

 Utilizó su teoría para medir

la información y su contenido.

 Cuanto más inesperado es

un suceso, mas cantidad de información puede generar

 El contenido de la

información de un suceso = una función decreciente de la probabilidad de su aparición.

 Para traducir las

probabilidades en información Shannon uso el logaritmo de la inversa de Inicio la probabilidad

N° de sucesos por Shannon Formalmente si tenemos un conjunto de n

sucesos, uno de los cuales sabemos con certeza que va a ocurrir, y cada uno con una probabilidad de que ocurra entonces: n

x ∑ i= 1

i

=1

El contenido de información expresado por

Shannon es:

n

1 H ( x) = ∑ xi log xi i =1

Inicio

Entropía (H) y capacidad del emisor n variables

aleatorias con probabilidades

P1….

Pn  H medida en bits por

símbolo  H mide la cantidad de información de una fuente  Concepto clave de la TI  Capacidad de la

n

1 H ( x) = ∑ pi log pi i =1

Inicio

 El nivel de la entropía se interpreta como la diferencia relativa del

contenido de la información  Menos entropía es equivalente a más igualdad n 1 2 4 10 2 2 2 10 10

Sequence of xi 1.00

.

.

.

.

.

.

.

.

.

0.50

0.50

.

.

.

.

.

.

.

.

0.25

0.25 0.25 0.25

.

.

.

.

.

.

0.10

0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10

0.50

0.50

.

.

.

.

.

.

.

.

0.60

0.40

.

.

.

.

.

.

.

.

0.90

0.10

.

.

.

.

.

.

.

.

0.10

0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10

0.91 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01

sum y=sum x*ln(1/x) 1 0.000 1 0.301 1 0.602 1 1.000 1 0.301 1 0.292 1 0.141 1 1.000 1 0.217

 El caso con más desigualdad es cuando un solo individuo

recibe toda la renta  Si la renta se reparte equitativamente entre mas personas la medida debería incrementarn  Si quitamos renta a n individual (con la misma renta cada uno) y se la damos a un individuo la medida debería decrecer Inicio

Modelo De La Comunicación  El modelo comunicacional desarrollado por Shannon y Weaver se

basa en un sistema de comunicación general que puede ser representado de la siguiente manera:

Inicio

Modelo De La Comunicación FUENTE DE INFORMACION: selecciona el mensaje

deseado de un conjunto de mensajes posibles. TRANSMISOR: transforma o codifica esta información en una forma apropiada al canal. SEÑAL: mensaje codificado por el transmisor. CANAL: medio a través del cual las señales son transmitidas al punto de recepción. FUENTE DE RUIDO: conjunto de distorsiones o adiciones no deseadas por la fuente de información que afectan a la señal. Pueden consistir en distorsiones del sonido (radio, teléfono), distorsiones de la imagen (T.V.), errores de transmisión (telégrafo), etc. RECEPTOR: decodifica o vuelve a transformar la señal transmitida en el mensaje original o en una aproximación de este haciéndolo llegar a su destino.

Inicio

Medición De La Información Este establece que

mientras más probable sea un mensaje menos información proporcionará.

la probabilidad que tiene

un mensaje de ser enviado y no su contenido, lo que determina su valor informativo.

I(Xi) > I(Xk) Si y solo Si

P(Xi) < P(Xk)

I(xi) : cantidad de

información proporcionada por xi. p(xi) : probabilidad de xi

Inicio

Muerte Claude Elwood

Shannon falleció el 24 de febrero del año 2001, a la edad de 84 años, después de una larga lucha en contra la enfermedad de Alzheimer.