Reporte De Rojas.docx

INSTITUO POLITÈCNICO NACIONAL Unidad Profesional Interdisciplinaria en Ingeniería y Tecnologías Avanzadas

Información Mutua y Capacidad de un canal. Teoría de la información. 2TM4 Profesor: Rojas Beltrán Jorge

Alumno: Miguel Vázquez Guzmán Fecha: 19 de Marzo de 2019.

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

Resumen: En el siguiente reporte hablaremos sobre una de las herramientas en el análisis de los canales de comunicación, la información mutua de un canal de información discreto, su fórmula y se realizará un programa para el cálculo de la capacidad de un canal de información.

Objetivos:  Calcular la capacidad del canal basándose en la definición para canales de información discretos.

Introducción: Un canal de comunicaciones es un sistema en el cual la salida (B) depende probabilísticamente de la entrada (A). La entropía H(A) mide la incertidumbre de una variable aleatoria (A). Para medir la incertidumbre de un canal de comunicaciones se usa una medida llamada la información mutual I(A;B) = H (A) – H(A|B). La información mutua es la cantidad promedio de información que se recibe por símbolo transmitido (bits/símbolo). 𝐼(𝐴; 𝐵) mide la dependencia entre la entrada “A” y la salida “B” del canal de información. Para el cálculo de 𝐼(𝐴; 𝐵) tenemos la siguiente formula: 𝐼(𝐴; 𝐵) = ∑ ∑ 𝑃(𝑎𝑖 )𝑃(𝑏𝑗 |𝑎𝑖 ) log 2 ( 𝑖

𝑗

𝑃(𝑏𝑗 |𝑎𝑖 ) ) ∑𝑖 𝑃(𝑎𝑖 )𝑃(𝑏𝑗 |𝑎𝑖 )

La capacidad de un canal es 𝐶𝑠 = 𝑀𝑎𝑥(𝐼(𝐴; 𝐵)); 𝑚𝑎𝑥(𝐼(𝐴; 𝐵)) es cuando la incertidumbre de lo que se transmitió “A” dado “B” es zero: 𝐻(𝐴|𝐵) = 0 → 𝐶𝑠 = 𝑚𝑎𝑥(𝐼(𝐴; 𝐵)) Para el desarrollo de este reporte, se procederá a variar los valores de las probabilidades a priori para obtener Cs .

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

Desarrollo: Las matrices de transición muestran ejemplos de distintos tipos de canales de información con diversos niveles de ruido, donde se pasará a variar las probabilidades a priori del canal, mediante un programa desarrollado en MATLAB, a continuación, se procederá a explicar el código utilizado:

N=1000; Len=length(p2(1,:)); I(N+1,N+1)=0; p_0(N+1,N+1)=0; p_1(N+1,N+1)=0; p_2(N+1,N+1)=0; figure

En este fragmento de código, estamos definiendo a las variables más importantes que se usaran en todo el código, destaca las 3 últimas matrices, ya que en ellos guardamos los distintos valores que tomaran las probabilidades de A {p(a=0) p(a=1) p(a=2)} y la mas importante es la matriz I, en ella serán guardadas los diversos valores de la información mutua, para después calcular la capacidad del canal.

Enseguida podemos observar lo que es la parte mas importante del código, el calculo de la Información mutua para cada trio de probabilidades, mientras están van cambiando y almacenando los valores en I: for z=0:N a=z/N; for x=0:N; l=((1-a)/N)*x; p_0(z+1,x+1)=a; p_1(z+1,x+1)=l; p_2(z+1,x+1)=(1-a)-l; p=[a l (1 - a - l)]; for i=1:Len for j=1:Len aux=0; for k=1:Len aux = aux + p2(k,j)*p(k); end ll=log2(p2(i,j)/aux); if abs(ll)==inf ll=0; end I(z+1,x+1) = I(z+1,x+1) + p(i)*p2(i,j)*ll; end end end end

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

Cabe resaltar el uso de 5 rutinas de control “ciclo for” el cuales tienen la tarea de iterar los valores de las probabilidades para que estas puedan variar. En el primer for es utilizado para alterar el valor de P(a=0), y este se mantendrá fijo hasta que termine su ciclo, la siguiente rutina, modifica el valor de P(a=1), para así obtener la siguiente probabilidad. Debemos darnos cuenta de que no hace falta hacer una nueva rutina para controlar el valor de P(a=2), este hecho se soluciona realizando la siguiente operación: 𝑃(𝑎 = 2) = 1 − 𝑃(𝑎 = 0) − 𝑃(𝑎 = 1) Después guardamos los datos en las matrices que se encargan de recolectar los valores de las probabilidades. La tercera y cuarta iteración se usa para calcular la información mutua de cada trio de probabilidades una por una, tal cual va siendo generada por los dos anteriores ciclos, la ultima secuencia de control permite realizar la tercera suma correspondiente a la formula. La parte mas importante de este fragmento de código es la siguiente secuencia: 𝐼(𝑧 + 1, 𝑥 + 1) = 𝐼(𝑧 + 1, 𝑥 + 1) + 𝑝(𝑖) ∗ 𝑝2(𝑖, 𝑗) ∗ 𝑙𝑙 Donde: 𝑙𝑙 = log 2 (

𝑝2(𝑖, 𝑗) ) 𝑎𝑢𝑥

𝑎𝑢𝑥 = ∑ 𝑝2(𝑖, 𝑗) ∗ 𝑝(𝑖) 𝑖

La siguiente parte del código, realizamos el cálculo de la información mutua máxima del canal por cada valor distinto de P(a=0), al mismo tiempo calculamos el valor de la capacidad del canal de información con solo una secuencia de control.

MAX_I(N+1)=0; for k=1:N aux = max(I(k,:)); pos = find(I(k,:)==aux); MAX_I(k) = I(k,pos); plot3(p_1(k,:),p_2(k,:),I(k,:)); hold on end title('Informacion Mutua I(A;B), cuando la probabilidad P(a=0) está variando.') xlabel('Probabilidad de a=1 "P(a=1)".');ylabel('Probabilidad de a=2 "P(a=2)".'); zlabel('Informacion mutua.'); grid on

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

aux2 = max(MAX_I); posi = find(MAX_I==aux2); CAPACIDAD_DEL_CANAL = MAX_I(posi) posic = find(I(posi,:)==aux2); I(posi,posic); Probabilidades=[p_0(posi,posic) p_1(posi,posic) p_2(posi,posic)]

En la parte final de este pequeño programa, editamos y ploteamos cada función mediante el mismo ciclo “for”, el cual nos da como resultados las gráficas que se verán en el siguiente apartado, así como un vector que muestra las probabilidades de donde se obtuvo la mayor información mutua, y finalmente la capacidad del canal.

Resultados: Para el primer caso, tenemos la siguiente matriz de transiciones: 1/2 1/3 1/6 𝑃 = [1/6 1/2 1/3] 1/3 1/6 1/2 En el cual obtenemos la siguiente grafica que nos muestra una relación entre la información mutua y los valores que pueden tomar las probabilidades 𝑃(𝑎 = 0), 𝑃(𝑎 = 1), 𝑃(𝑎 = 2), cabe resaltar que solo existe un “máximo” en esta función, que será mostrada más adelante.

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

Figura 1 Grafica que muestra la relación entre la información mutua, y las probabilidades a priori del canal de información.

Figura 2 Grafica vista desde el plano xy.

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

Figura 3 Grafica vista desde el plano xy.

En la imagen de abajo podemos apreciar el máximo de la función que fue graficada, es decir, la capacidad del canal dada la matriz de transición:

Figura 4 Valores de la capacidad del canal, que nos devuelve el programa.

También podemos ver el vector de probabilidades a priori, el cual nos genera dicha capacidad del canal, se puede apreciar que las probabilidades son equiprobables. 1 3

1 3

𝑃(𝑎 = 0) = ; 𝑃(𝑎 = 1) = ; 𝑃(𝑎 = 2) =

1 3

𝐶𝑎𝑝𝑎𝑐𝑖𝑑𝑎𝑑 𝑑𝑒𝑙 𝑐𝑎𝑛𝑎𝑙 = 𝐶𝑠 = 0.1258

𝑏𝑖𝑡𝑠 𝑠𝑖𝑚𝑏𝑜𝑙𝑜

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

Para el segundo caso, utilizando el mismo algoritmo, ahora cambiaremos la matriz de transiciones: 1/3 1/6 1/2 𝑃 = [1/6 1/2 1/3] 1/2 1/3 1/6 El programa nos devuelve la siguiente grafica que muestra la relación entre la información mutua y los valores que pueden tomar las probabilidades 𝑃(𝑎 = 0), 𝑃(𝑎 = 1), 𝑃(𝑎 = 2).

Figura 5 Grafica que muestra la relación entre la información mutua, y las probabilidades a priori del canal de información.

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

Figura 6 Grafica vista desde el plano xy.

Figura 7 Grafica vista desde el plano yz.

En la imagen de abajo podemos apreciar el máximo de la función que fue graficada, es decir, la capacidad del canal dada la matriz de transición:

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

Figura 8 Valores de la capacidad del canal, que nos devuelve el programa.

También podemos ver el vector de probabilidades a priori, el cual nos genera dicha capacidad del canal, se puede apreciar que las probabilidades son equiprobables. 1

1

1

𝑃(𝑎 = 0) = 3 ; 𝑃(𝑎 = 1) = 3 ; 𝑃(𝑎 = 2) = 3 𝐶𝑎𝑝𝑎𝑐𝑖𝑑𝑎𝑑 𝑑𝑒𝑙 𝑐𝑎𝑛𝑎𝑙 = 𝐶𝑠 = 0.1258

𝑏𝑖𝑡𝑠 𝑠𝑖𝑚𝑏𝑜𝑙𝑜

Finalmente, como último paso de este reporte se procederá a ejecutar de nuevo el programa, pero la matriz de transición ahora será: 1/3 1/3 1/3 0 ] 𝑃 = [1/2 1/2 1/2 1/3 1/6 Habiendo ejecutado el programa, nos devuelve la siguiente gráfica:

Figura 9 Grafica que muestra la relación entre la información mutua, y las probabilidades a priori del canal de información.

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

Figura 10 Grafica vista desde el plano xy.

Figura 11 Grafica vista desde el plano xz.

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

Figura 12 Grafica vista desde el plano yz.

En la imagen de abajo podemos apreciar el máximo de la función que fue graficada, es decir, la capacidad del canal dada la matriz de transición:

Podemos observar un cambio drástico, con respecto a los dos ejercicios anteriores, ya que ahora las probabilidades a priori no son equiprobables, lo cual es un gran punto a considerar. 𝑃(𝑎 = 0) = 0.3870; 𝑃(𝑎 = 1) = 0.6130; 𝑃(𝑎 = 2) = 0 𝐶𝑎𝑝𝑎𝑐𝑖𝑑𝑎𝑑 𝑑𝑒𝑙 𝑐𝑎𝑛𝑎𝑙 = 𝐶𝑠 = 0.1993

𝑏𝑖𝑡𝑠 𝑠𝑖𝑚𝑏𝑜𝑙𝑜

Instituto Politécnico Nacional “La Técnica al Servicio de la Patria”. UNIDAD PROFESIONAL INTERDISCIPLINARIA EN INGENIERÍA Y TECNOLOGÍAS AVANZADAS

Conclusiones: Tras la elaboración del programa y en la fase de ejecución de cada uno de las “fases”, pude darme cuenta de que las probabilidades donde la Información mutua es mayor son las probabilidades donde la matriz de transición se “amarra”, pero solo en los dos primeros casos, además de que estas fases son equiprobables:

Figura 13 Matriz de transición y Probabilidades amarradas del caso 1.

Figura 14 Matriz de transición y Probabilidades amarradas del caso 2.

Cosa que para el tercer caso no ocurre ya que las probabilidades para que calcular la capacidad del canal, no son equiprobables, ni mucho son las probabilidades donde se “amarra” la matriz de transición:

Figura 15 Matriz de transición y Probabilidades amarradas del caso 3.