Articulo de referencia

Capacidad del canal

En ingeniería eléctrica , informática y teoría de la información , la capacidad del canal es la velocidad máxima teórica a la que se puede transmitir información de forma fiable...

En ingeniería eléctrica , informática y teoría de la información , la capacidad del canal es la velocidad máxima teórica a la que se puede transmitir información de forma fiable a través de un canal de comunicación .

Según los términos del teorema de codificación de canal ruidoso , la capacidad de canal de un canal dado es la tasa de información más alta (en unidades de información por unidad de tiempo) que se puede lograr con una probabilidad de error arbitrariamente pequeña. [ 1 ] [ 2 ]

La teoría de la información , desarrollada por Claude E. Shannon en 1948, define la noción de capacidad del canal y proporciona un modelo matemático para su cálculo. El resultado clave establece que la capacidad del canal, tal como se definió anteriormente, viene dada por el máximo de la información mutua entre la entrada y la salida del canal, donde la maximización se realiza con respecto a la distribución de entrada. [ 3 ]

La noción de capacidad del canal ha sido fundamental para el desarrollo de los sistemas modernos de comunicación por cable e inalámbricos, con la aparición de nuevos mecanismos de codificación de corrección de errores que han dado como resultado un rendimiento muy cercano a los límites prometidos por la capacidad del canal.

Definición formal

El modelo matemático básico para un sistema de comunicación es el siguiente:

MensajeWCodificadorFnorteminortedoodmidsmiqminortedomiincógnitanorteCanalpag(y|incógnita)RmidomiivmidsmiqminortedomiYnorteDescifradorgramonortemistimetroatmidmetromissagramomiW^{\displaystyle {\xrightarrow[{\text{Mensaje}}]{W}}{\begin{array}{|c|}\hline {\text{Codificador}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Secuencia \atop codificada} }]{X^{n}}}{\begin{array}{|c|}\hline {\text{Canal}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Secuencia \atop recibida} }]{Y^{n}}}{\begin{array}{|c|}\hline {\text{Decodificador}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Mensaje \atop estimado} }]{\hat {W}}}}

dónde:

  • W{\displaystyle W}es el mensaje que se va a transmitir;
  • incógnita{\displaystyle X}es el símbolo de entrada del canal (incógnitanorte{\displaystyle X^{n}}es una secuencia denorte{\displaystyle n}símbolos) tomados en un alfabetoincógnita{\displaystyle {\mathcal {X}}};
  • Y{\displaystyle Y}es el símbolo de salida del canal (Ynorte{\displaystyle Y^{n}}es una secuencia denorte{\displaystyle n}símbolos) tomados en un alfabetoY{\displaystyle {\mathcal {Y}}};
  • W^{\displaystyle {\hat {W}}}es la estimación del mensaje transmitido;
  • Fnorte{\displaystyle f_{n}}es la función de codificación para un bloque de longitudnorte{\displaystyle n};
  • pag(y|incógnita)=pagY|incógnita(y|incógnita){\displaystyle p(y|x)=p_{Y|X}(y|x)}es el canal ruidoso, que se modela mediante una distribución de probabilidad condicional ; y,
  • gramonorte{\displaystyle g_{n}}es la función de decodificación para un bloque de longitudnorte{\displaystyle n}.

Dejarincógnita{\displaystyle X}yY{\displaystyle Y}ser modelados como variables aleatorias. Además,pagY|incógnita(y|incógnita){\displaystyle p_{Y|X}(y|x)}sea ​​la función de distribución de probabilidad condicional deY{\displaystyle Y}dadoincógnita{\displaystyle X}, que es una propiedad fija inherente del canal de comunicación. Entonces, la elección de la distribución marginalpagincógnita(incógnita){\displaystyle p_{X}(x)}determina completamente la distribución conjuntapagincógnita,Y(incógnita,y){\displaystyle p_{X,Y}(x,y)}debido a la identidad

 pagincógnita,Y(incógnita,y)=pagY|incógnita(y|incógnita)pagincógnita(incógnita){\displaystyle \ p_{X,Y}(x,y)=p_{Y|X}(y|x)\,p_{X}(x)}

lo cual, a su vez, induce una información mutuaI(incógnita;Y){\displaystyle I(X;Y)}. La capacidad del canal se define como

 do=sorberpagincógnita(incógnita)I(incógnita;Y){\displaystyle \ C=\sup _{p_{X}(x)}I(X;Y)\,}

donde el supremo se toma sobre todas las posibles opciones depagincógnita(incógnita){\displaystyle p_{X}(x)}.

Aditividad de la capacidad del canal

La capacidad del canal es aditiva sobre canales independientes. [ 4 ] Esto significa que usar dos canales independientes de forma combinada proporciona la misma capacidad teórica que usarlos de forma independiente. Más formalmente, seapag1{\displaystyle p_{1}}ypag2{\displaystyle p_{2}}sean dos canales independientes modelados como se indicó anteriormente;pag1{\displaystyle p_{1}}tener un alfabeto de entradaincógnita1{\displaystyle {\mathcal {X}}_{1}}y un alfabeto de salidaY1{\displaystyle {\mathcal {Y}}_{1}}. Ídem parapag2{\displaystyle p_{2}}Definimos el canal de productopag1×pag2{\displaystyle p_{1}\times p_{2}}como (incógnita1,incógnita2)(incógnita1,incógnita2),(y1,y2)(Y1,Y2),(pag1×pag2)((y1,y2)|(incógnita1,incógnita2))=pag1(y1|incógnita1)pag2(y2|incógnita2){\displaystyle \forall (x_{1},x_{2})\in ({\mathcal {X}}_{1},{\mathcal {X}}_{2}),\;(y_{1},y_{2})\in ({\mathcal {Y}}_{1},{\mathcal {Y}}_{2}),\;(p_{1}\times p_{2})((y_{1},y_{2})|(x_{1},x_{2}))=p_{1}(y_{1}|x_{1})p_{2}(y_{2}|x_{2})}

Este teorema establece: do(pag1×pag2)=do(pag1)+do(pag2){\displaystyle C(p_{1}\times p_{2})=C(p_{1})+C(p_{2})}

Prueba

Primero demostramos quedo(pag1×pag2)do(pag1)+do(pag2){\displaystyle C(p_{1}\times p_{2})\geq C(p_{1})+C(p_{2})}.

Dejarincógnita1{\displaystyle X_{1}}yincógnita2{\displaystyle X_{2}}Sean dos variables aleatorias independientes.Y1{\displaystyle Y_{1}}sea ​​una variable aleatoria correspondiente a la salida deincógnita1{\displaystyle X_{1}}a través del canalpag1{\displaystyle p_{1}}, yY2{\displaystyle Y_{2}}paraincógnita2{\displaystyle X_{2}}a través depag2{\displaystyle p_{2}}.

Por definicióndo(pag1×pag2)=sorberpagincógnita1,incógnita2(I(incógnita1,incógnita2:Y1,Y2)){\displaystyle C(p_{1}\times p_{2})=\sup _{p_{X_{1},X_{2}}}(I(X_{1},X_{2}:Y_{1},Y_{2}))}.

Desdeincógnita1{\displaystyle X_{1}}yincógnita2{\displaystyle X_{2}}son independientes, así comopag1{\displaystyle p_{1}}ypag2{\displaystyle p_{2}}, (incógnita1,Y1){\displaystyle (X_{1},Y_{1})}es independiente de(incógnita2,Y2){\displaystyle (X_{2},Y_{2})}Podemos aplicar la siguiente propiedad de la información mutua :I(incógnita1,incógnita2:Y1,Y2)=I(incógnita1:Y1)+I(incógnita2:Y2){\displaystyle I(X_{1},X_{2}:Y_{1},Y_{2})=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})}

Por ahora solo necesitamos encontrar una distribuciónpagincógnita1,incógnita2{\displaystyle p_{X_{1},X_{2}}}de tal manera queI(incógnita1,incógnita2:Y1,Y2)I(incógnita1:Y1)+I(incógnita2:Y2){\displaystyle I(X_{1},X_{2}:Y_{1},Y_{2})\geq I(X_{1}:Y_{1})+I(X_{2}:Y_{2})}. De hecho,π1{\displaystyle \pi _{1}}yπ2{\displaystyle \pi _{2}}, dos distribuciones de probabilidad paraincógnita1{\displaystyle X_{1}}yincógnita2{\displaystyle X_{2}}logrardo(pag1){\displaystyle C(p_{1})}ydo(pag2){\displaystyle C(p_{2})}, basta:

do(pag1×pag2)I(incógnita1,incógnita2:Y1,Y2)=I(incógnita1:Y1)+I(incógnita2:Y2)=do(pag1)+do(pag2){\displaystyle C(p_{1}\times p_{2})\geq I(X_{1},X_{2}:Y_{1},Y_{2})=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})=C(p_{1})+C(p_{2})}

es decir.do(pag1×pag2)do(pag1)+do(pag2){\displaystyle C(p_{1}\times p_{2})\geq C(p_{1})+C(p_{2})}

Ahora vamos a demostrar quedo(pag1×pag2)do(pag1)+do(pag2){\displaystyle C(p_{1}\times p_{2})\leq C(p_{1})+C(p_{2})}.

Dejarπ12{\displaystyle \pi _{12}}ser alguna distribución para el canalpag1×pag2{\displaystyle p_{1}\times p_{2}}definición(incógnita1,incógnita2){\displaystyle (X_{1},X_{2})}y la salida correspondiente(Y1,Y2){\displaystyle (Y_{1},Y_{2})}. Dejarincógnita1{\displaystyle {\mathcal {X}}_{1}}ser el alfabeto deincógnita1{\displaystyle X_{1}},Y1{\displaystyle {\mathcal {Y}}_{1}}paraY1{\displaystyle Y_{1}}y análogamenteincógnita2{\displaystyle {\mathcal {X}}_{2}}yY2{\displaystyle {\mathcal {Y}}_{2}}.

Por definición de información mutua, tenemos

I(incógnita1,incógnita2:Y1,Y2)=H(Y1,Y2)H(Y1,Y2|incógnita1,incógnita2)H(Y1)+H(Y2)H(Y1,Y2|incógnita1,incógnita2){\displaystyle {\begin{aligned}I(X_{1},X_{2}:Y_{1},Y_{2})&=H(Y_{1},Y_{2})-H(Y_{1},Y_{2}|X_{1},X_{2})\\&\leq H(Y_{1})+H(Y_{2})-H(Y_{1},Y_{2}|X_{1},X_{2})\end{aligned}}}

Reescribamos el último término de entropía .

H(Y1,Y2|incógnita1,incógnita2)=(incógnita1,incógnita2)incógnita1×incógnita2PAG(incógnita1,incógnita2=incógnita1,incógnita2)H(Y1,Y2|incógnita1,incógnita2=incógnita1,incógnita2){\displaystyle H(Y_{1},Y_{2}|X_{1},X_{2})=\sum _{(x_{1},x_{2})\in {\mathcal {X}}_{1}\times {\mathcal {X}}_{2}}\mathbb {P} (X_{1},X_{2}=x_{1},x_{2})H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})}

Por definición del canal de producto,PAG(Y1,Y2=y1,y2|incógnita1,incógnita2=incógnita1,incógnita2)=PAG(Y1=y1|incógnita1=incógnita1)PAG(Y2=y2|incógnita2=incógnita2){\displaystyle \mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})=\mathbb {P} (Y_{1}=y_{1}|X_{1}=x_{1})\mathbb {P} (Y_{2}=y_{2}|X_{2}=x_{2})}. Para un par dado(incógnita1,incógnita2){\displaystyle (x_{1},x_{2})}, podemos reescribirH(Y1,Y2|incógnita1,incógnita2=incógnita1,incógnita2){\displaystyle H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})}como:

H(Y1,Y2|incógnita1,incógnita2=incógnita1,incógnita2)=(y1,y2)Y1×Y2PAG(Y1,Y2=y1,y2|incógnita1,incógnita2=incógnita1,incógnita2)registro(PAG(Y1,Y2=y1,y2|incógnita1,incógnita2=incógnita1,incógnita2))=(y1,y2)Y1×Y2PAG(Y1,Y2=y1,y2|incógnita1,incógnita2=incógnita1,incógnita2)[registro(PAG(Y1=y1|incógnita1=incógnita1))+registro(PAG(Y2=y2|incógnita2=incógnita2))]=H(Y1|incógnita1=incógnita1)+H(Y2|incógnita2=incógnita2){\displaystyle {\begin{aligned}H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})&=\sum _{(y_{1},y_{2})\in {\mathcal {Y}}_{1}\times {\mathcal {Y}}_{2}}\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})\log(\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2}))\\&=\sum _{(y_{1},y_{2})\in {\mathcal {Y}}_{1}\times {\mathcal {Y}}_{2}}\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})[\log(\mathbb {P} (Y_{1}=y_{1}|X_{1}=x_{1}))+\log(\mathbb {P} (Y_{2}=y_{2}|X_{2}=x_{2}))]\\&=H(Y_{1}|X_{1}=x_{1})+H(Y_{2}|X_{2}=x_{2})\end{aligned}}}

Al sumar esta igualdad sobre todos(incógnita1,incógnita2){\displaystyle (x_{1},x_{2})}, obtenemos H(Y1,Y2|incógnita1,incógnita2)=H(Y1|incógnita1)+H(Y2|incógnita2){\displaystyle H(Y_{1},Y_{2}|X_{1},X_{2})=H(Y_{1}|X_{1})+H(Y_{2}|X_{2})}.

Ahora podemos establecer un límite superior para la información mutua:

I(incógnita1,incógnita2:Y1,Y2)H(Y1)+H(Y2)H(Y1|incógnita1)H(Y2|incógnita2)=I(incógnita1:Y1)+I(incógnita2:Y2){\displaystyle {\begin{aligned}I(X_{1},X_{2}:Y_{1},Y_{2})&\leq H(Y_{1})+H(Y_{2})-H(Y_{1}|X_{1})-H(Y_{2}|X_{2})\\&=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})\end{aligned}}}

Esta relación se conserva en el supremo. Por lo tanto

do(pag1×pag2)do(pag1)+do(pag2){\displaystyle C(p_{1}\times p_{2})\leq C(p_{1})+C(p_{2})}

Combinando las dos desigualdades que hemos demostrado, obtenemos el resultado del teorema:

do(pag1×pag2)=do(pag1)+do(pag2){\displaystyle C(p_{1}\times p_{2})=C(p_{1})+C(p_{2})}

Capacidad de Shannon de un gráfico

Si G es un grafo no dirigido , se puede usar para definir un canal de comunicación en el que los símbolos son los vértices del grafo, y dos palabras clave pueden confundirse si sus símbolos en cada posición son iguales o adyacentes. La complejidad computacional para encontrar la capacidad de Shannon de dicho canal sigue siendo un problema abierto, pero puede acotarse superiormente mediante otro invariante importante del grafo, el número de Lovász . [ 5 ]

Teorema de codificación de canal ruidoso

El teorema de codificación de canal ruidoso establece que, para cualquier probabilidad de error ε > 0 y para cualquier tasa de transmisión R menor que la capacidad del canal C , existe un esquema de codificación y decodificación que transmite datos a una tasa R cuya probabilidad de error es menor que ε, para una longitud de bloque suficientemente grande. Además, para cualquier tasa mayor que la capacidad del canal, la probabilidad de error en el receptor tiende a 0,5 a medida que la longitud del bloque tiende a infinito.

Ejemplo de aplicación

Una aplicación del concepto de capacidad de canal a un canal de ruido gaussiano blanco aditivo (AWGN) con un ancho de banda de B Hz y una relación señal/ruido S/N es el teorema de Shannon-Hartley :

do=Bregistro2(1+Snorte) {\displaystyle C=B\log _{2}\left(1+{\frac {S}{N}}\right)\ }

C se mide en bits por segundo si el logaritmo se toma en base 2, o en nats por segundo si se utiliza el logaritmo natural , suponiendo que B está en hercios ; las potencias de señal y ruido S y N se expresan en una unidad de potencia lineal (como vatios o voltios² ) . Dado que las cifras S/N a menudo se citan en dB , puede ser necesaria una conversión. Por ejemplo, una relación señal/ruido de 30  dB corresponde a una relación de potencia lineal de1030/10=103=1000{\displaystyle 10^{30/10}=10^{3}=1000}.

Estimación de la capacidad del canal

Para determinar la capacidad del canal, es necesario encontrar la distribución que alcanza dicha capacidad.pagincógnita(incógnita){\displaystyle p_{X}(x)}y evaluar la información mutuaI(incógnita;Y){\displaystyle I(X;Y)}La investigación se ha centrado principalmente en el estudio de canales de ruido aditivo bajo ciertas restricciones de potencia y distribuciones de ruido, ya que los métodos analíticos no son viables en la mayoría de los demás escenarios. Por lo tanto, en la literatura se han propuesto enfoques alternativos como la investigación del soporte de entrada, [ 6 ] las relajaciones [ 7 ] y los límites de capacidad, [ 8 ] .

La capacidad de un canal discreto sin memoria se puede calcular utilizando el algoritmo de Blahut-Arimoto .

El aprendizaje profundo se puede utilizar para estimar la capacidad del canal. De hecho, la capacidad del canal y la distribución de logro de capacidad de cualquier canal vectorial continuo sin memoria de tiempo discreto se pueden obtener utilizando CORTICAL, [ 9 ] un marco cooperativo inspirado en redes generativas antagónicas . CORTICAL consta de dos redes cooperativas: un generador con el objetivo de aprender a muestrear de la distribución de entrada de logro de capacidad, y un discriminador con el objetivo de aprender a distinguir entre muestras y estimaciones de entrada-salida del canal emparejadas y no emparejadas.I(incógnita;Y){\displaystyle I(X;Y)}.

Capacidad del canal en comunicaciones inalámbricas

Esta sección [ 10 ] se centra en el escenario de antena única punto a punto. Para la capacidad del canal en sistemas con múltiples antenas, consulte el artículo sobre MIMO .

Canal AWGN con ancho de banda limitado

Capacidad del canal AWGN con el régimen de potencia limitada y el régimen de ancho de banda limitado indicados. Aquí,PAG¯norte0=1{\displaystyle {\frac {\bar {P}}{N_{0}}}=1}; B y C pueden escalarse proporcionalmente para otros valores.

Si la potencia media recibida esPAG¯{\displaystyle {\bar {P}}}[W], el ancho de banda total esW{\displaystyle W}en Hertz, y la densidad espectral de potencia del ruido esnorte0{\displaystyle N_{0}}[W/Hz], la capacidad del canal AWGN es

doAWGN=Wregistro2(1+PAG¯norte0W){\displaystyle C_{\text{AWGN}}=W\log _{2}\left(1+{\frac {\bar {P}}{N_{0}W}}\right)}[bits/s],

dóndePAG¯norte0W{\displaystyle {\frac {\bar {P}}{N_{0}W}}}es la relación señal-ruido (SNR) recibida. Este resultado se conoce como el teorema de Shannon-Hartley . [ 11 ]

Cuando la relación señal/ruido es grande (SNR ≫ 0  dB), la capacidaddoWregistro2PAG¯norte0W{\displaystyle C\approx W\log _{2}{\frac {\bar {P}}{N_{0}W}}}tiene una potencia logarítmica y un ancho de banda aproximadamente lineal. Esto se denomina régimen limitado por el ancho de banda .

Cuando la relación señal/ruido es pequeña (SNR ≪ 0  dB), la capacidaddoPAG¯norte0ln2{\displaystyle C\approx {\frac {\bar {P}}{N_{0}\ln 2}}}es lineal en potencia pero insensible al ancho de banda. Esto se denomina régimen de potencia limitada .

En la figura se ilustran los regímenes de ancho de banda limitado y de potencia limitada.

Canal AWGN selectivo en frecuencia

La capacidad del canal selectivo en frecuencia viene dada por la denominada asignación de potencia de llenado de agua ,

donortedo=norte=0nortedo1registro2(1+PAGnorte|h¯norte|2norte0),{\displaystyle C_{N_{c}}=\sum _{n=0}^{N_{c}-1}\log _{2}\left(1+{\frac {P_{n}^{*}|{\bar {h}}_{n}|^{2}}{N_{0}}}\right),}

dóndePAGnorte=máximo{(1λnorte0|h¯norte|2),0}{\displaystyle P_{n}^{*}=\max \left\{\left({\frac {1}{\lambda }}-{\frac {N_{0}}{|{\bar {h}}_{n}|^{2}}}\right),0\right\}}y|h¯norte|2{\displaystyle |{\bar {h}}_{n}|^{2}}es la ganancia del subcanalnorte{\displaystyle n}, conλ{\displaystyle \lambda }elegido para cumplir con la restricción de potencia.

Canal de desvanecimiento lento

En un canal de desvanecimiento lento , donde el tiempo de coherencia es mayor que el requisito de latencia, no existe una capacidad definida como la tasa máxima de comunicaciones confiables admitidas por el canal,registro2(1+|h|2SnorteR){\displaystyle \log _{2}(1+|h|^{2}SNR)}depende de la ganancia del canal aleatorio|h|2{\displaystyle |h|^{2}}, que es desconocido para el transmisor. Si el transmisor codifica datos a una velocidadR{\displaystyle R}[bits/s/Hz], existe una probabilidad distinta de cero de que la probabilidad de error de decodificación no pueda hacerse arbitrariamente pequeña,

pagot=PAG(registro(1+|h|2SnorteR)<R){\displaystyle p_{out}=\mathbb {P} (\log(1+|h|^{2}SNR)<R)},

en cuyo caso se dice que el sistema está fuera de servicio. Con una probabilidad no nula de que el canal esté en desvanecimiento profundo, la capacidad del canal de desvanecimiento lento en sentido estricto es cero. Sin embargo, es posible determinar el valor más grande deR{\displaystyle R}de tal manera que la probabilidad de interrupciónpagot{\displaystyle p_{out}}es menor queϵ{\displaystyle \epsilon }Este valor se conoce como elϵ{\displaystyle \epsilon }-capacidad de interrupción.

Canal que se desvanece rápidamente

En un canal de desvanecimiento rápido , donde el requisito de latencia es mayor que el tiempo de coherencia y la longitud de la palabra clave abarca muchos períodos de coherencia, se puede promediar sobre muchos desvanecimientos de canal independientes codificando sobre un gran número de intervalos de tiempo de coherencia. Por lo tanto, es posible lograr una tasa de comunicación confiable demi(registro2(1+|h|2SnorteR)){\displaystyle \mathbb {E} (\log _{2}(1+|h|^{2}SNR))}[bits/s/Hz] y es significativo hablar de este valor como la capacidad del canal de desvanecimiento rápido.

Capacidad de retroalimentación

La capacidad de retroalimentación es la máxima velocidad a la que se puede transmitir información de forma fiable, por unidad de tiempo, a través de un canal de comunicación punto a punto en el que el receptor retroalimenta las salidas del canal al transmisor. El análisis desde la perspectiva de la teoría de la información de los sistemas de comunicación que incorporan retroalimentación es más complejo y exigente que el de aquellos que no la incorporan. Posiblemente, esta fue la razón por la que C. E. Shannon eligió la retroalimentación como tema de la primera Conferencia Shannon, impartida en el Simposio Internacional de Teoría de la Información del IEEE de 1973 en Ashkelon, Israel.

La capacidad de retroalimentación se caracteriza por el máximo de la información dirigida entre las entradas y salidas del canal, donde la maximización se realiza con respecto al condicionamiento causal de la entrada dada la salida. El término información dirigida fue acuñado por James Massey [ 12 ] en 1990, quien demostró que es una cota superior de la capacidad de retroalimentación. Para canales sin memoria , Shannon demostró [ 13 ] que la retroalimentación no aumenta la capacidad, y la capacidad de retroalimentación coincide con la capacidad del canal caracterizada por la información mutua entre la entrada y la salida. La capacidad de retroalimentación se conoce como una expresión de forma cerrada solo para algunos ejemplos, como el canal de trampilla, [ 14 ] el canal de Ising, [ 15 ] [ 16 ] Para algunos otros canales, se caracteriza a través de problemas de optimización de tamaño constante, como el canal de borrado binario con una restricción de entrada de unos consecutivos, [ 17 ] el canal NOST. [ 18 ]

El modelo matemático básico para un sistema de comunicación es el siguiente:

Comunicación con retroalimentación

Aquí está la definición formal de cada elemento (donde la única diferencia con respecto a la capacidad sin retroalimentación es la definición del codificador):

  • W{\displaystyle W}es el mensaje a transmitir, tomado en un alfabetoW{\displaystyle {\mathcal {W}}};
  • incógnita{\displaystyle X}es el símbolo de entrada del canal (incógnitanorte{\displaystyle X^{n}}es una secuencia denorte{\displaystyle n}símbolos) tomados en un alfabetoincógnita{\displaystyle {\mathcal {X}}};
  • Y{\displaystyle Y}es el símbolo de salida del canal (Ynorte{\displaystyle Y^{n}}es una secuencia denorte{\displaystyle n}símbolos) tomados en un alfabetoY{\displaystyle {\mathcal {Y}}};
  • W^{\displaystyle {\hat {W}}}es la estimación del mensaje transmitido;
  • Fi:W×Yi1incógnita{\displaystyle f_{i}:{\mathcal {W}}\times {\mathcal {Y}}^{i-1}\to {\mathcal {X}}}es la función de codificación en el tiempoi{\displaystyle i}, para un bloque de longitudnorte{\displaystyle n};
  • pag(yi|incógnitai,yi1)=pagYi|incógnitai,Yi1(yi|incógnitai,yi1){\displaystyle p(y_{i}|x^{i},y^{i-1})=p_{Y_{i}|X^{i},Y^{i-1}}(y_{i}|x^{i},y^{i-1})}es el canal ruidoso en ese momentoi{\displaystyle i}, que se modela mediante una distribución de probabilidad condicional ; y,
  • w^:YnorteW{\displaystyle {\hat {w}}:{\mathcal {Y}}^{n}\to {\mathcal {W}}}es la función de decodificación para un bloque de longitudnorte{\displaystyle n}.

Es decir, por cada tiempoi{\displaystyle i}Existe una retroalimentación de la salida anterior.Yi1{\displaystyle Y_{i-1}}de tal manera que el codificador tenga acceso a todas las salidas anteriores.Yi1{\displaystyle Y^{i-1}}. Un(2norteR,norte){\displaystyle (2^{nR},n)}El código es un par de asignaciones de codificación y decodificación conW=[1,2,,2norteR]{\displaystyle {\mathcal {W}}=[1,2,\dots ,2^{nR}]}, yW{\displaystyle W}está distribuida uniformemente. Una tasaR{\displaystyle R}Se dice que es posible lograrlo si existe una secuencia de códigos.(2norteR,norte){\displaystyle (2^{nR},n)}de tal manera que la probabilidad media de error:PAGmi(norte)Pr(W^W){\displaystyle P_{e}^{(n)}\triangleq \Pr({\hat {W}}\neq W)}tiende a cero comonorte{\displaystyle n\to \infty }.

La capacidad de retroalimentación se denota pordocomentario{\displaystyle C_{\text{feedback}}}y se define como el supremo sobre todas las tasas alcanzables.

Principales resultados sobre la capacidad de retroalimentación

Dejarincógnita{\displaystyle X}yY{\displaystyle Y}ser modelados como variables aleatorias. El condicionamiento causalPAG(ynorte||incógnitanorte)i=1nortePAG(yi|yi1,incógnitai){\displaystyle P(y^{n}||x^{n})\triangleq \prod _{i=1}^{n}P(y_{i}|y^{i-1},x^{i})}describe el canal dado. La elección de la distribución causalmente condicionalPAG(incógnitanorte||ynorte1)i=1nortePAG(incógnitai|incógnitai1,yi1){\displaystyle P(x^{n}||y^{n-1})\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i-1})}determina la distribución conjuntapagincógnitanorte,Ynorte(incógnitanorte,ynorte){\displaystyle p_{X^{n},Y^{n}}(x^{n},y^{n})}debido a la regla de la cadena para el condicionamiento causal [ 19 ]PAG(ynorte,incógnitanorte)=PAG(ynorte||incógnitanorte)PAG(incógnitanorte||ynorte1){\displaystyle P(y^{n},x^{n})=P(y^{n}||x^{n})P(x^{n}||y^{n-1})}lo cual, a su vez, induce una información dirigidaI(incógnitanorteYnorte)=mi[registroPAG(Ynorte||incógnitanorte)PAG(Ynorte)]{\displaystyle I(X^{N}\rightarrow Y^{N})=\mathbf {E} \left[\log {\frac {P(Y^{N}||X^{N})}{P(Y^{N})}}\right]}.

La capacidad de retroalimentación viene dada por

 docomentario=límitenorte1nortesorberPAGincógnitanorte||Ynorte1I(incógnitanorteYnorte){\displaystyle \ C_{\text{feedback}}=\lim _{n\to \infty }{\frac {1}{n}}\sup _{P_{X^{n}||Y^{n-1}}}I(X^{n}\to Y^{n})\,},

donde el supremo se toma sobre todas las posibles opciones dePAGincógnitanorte||Ynorte1(incógnitanorte||ynorte1){\displaystyle P_{X^{n}||Y^{n-1}}(x^{n}||y^{n-1})}.

capacidad de retroalimentación gaussiana

Cuando el ruido gaussiano está coloreado, el canal tiene memoria. Consideremos, por ejemplo, el caso simple de un proceso de ruido de modelo autorregresivo.zi=zi1+wi{\displaystyle z_{i}=z_{i-1}+w_{i}}dóndewinorte(0,1){\displaystyle w_{i}\sim N(0,1)}es un proceso i.i.d.

Técnicas de solución

La capacidad de retroalimentación es difícil de resolver en el caso general. Existen algunas técnicas relacionadas con la teoría de control y los procesos de decisión de Markov cuando el canal es discreto.

Véase también

Temas avanzados de comunicación

  • "Tasa de transmisión de un canal" , Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
  • Capacidad del canal AWGN con diversas restricciones en la entrada del canal (demostración interactiva)

Referencias

  1. Saleem Bhatti. "Capacidad del canal" . Apuntes de clase para la maestría en Redes de Comunicación de Datos y Sistemas Distribuidos D51 - Comunicaciones y Redes Básicas . Archivado del original el 21 de agosto de 2007.
  2. Jim Lesurf. "¡Las señales parecen ruido!" . Información y medición, 2.ª ed .
  3. Thomas M. Cover, Joy A. Thomas (2006). Elementos de la teoría de la información . John Wiley & Sons, Nueva York. ISBN 9781118585771.
  4. Cover, Thomas M.; Thomas, Joy A. (2006). «Capítulo 7: Capacidad del canal». Elementos de la teoría de la información (Segunda edición). Wiley-Interscience. págs. 206–207 . ISBN   978-0-471-24195-9.
  5. ^ Lovász, László (1979), "Sobre la capacidad de Shannon de un gráfico", IEEE Transactions on Information Theory , IT-25 (1): 1– 7, doi : 10.1109/tit.1979.1055985.
  6. Smith, Joel G. (1971). "La capacidad de información de los canales gaussianos SCL con restricciones de amplitud y varianza" . Information and Control . 18 (3): 203– 219. doi : 10.1016/S0019-9958(71)90346-9 .
  7. Huang, J.; Meyn, SP (2005). "Caracterización y cálculo de distribuciones óptimas para codificación de canal". IEEE Transactions on Information Theory . 51 (7): 2336– 2351. doi : 10.1109/TIT.2005.850108 . ISSN 0018-9448 . S2CID 2560689 .  
  8. McKellips, AL (2004). "Límites ajustados simples sobre la capacidad para el canal discreto de tiempo limitado por pico". Simposio Internacional sobre Teoría de la Información, 2004. ISIT 2004. Actas . IEEE. pág. 348. doi : 10.1109/ISIT.2004.1365385 . ISBN  978-0-7803-8280-0. S2CID 41462226 . 
  9. Letizia, Nunzio A.; Tonello, Andrea M.; Poor, H. Vincent (2023). "Aprendizaje cooperativo de la capacidad del canal". IEEE Communications Letters . 27 (8): 1984– 1988. arXiv : 2305.13493 . doi : 10.1109/LCOMM.2023.3282307 . ISSN 1089-7798 . 
  10. David Tse, Pramod Viswanath (2005), Fundamentos de la comunicación inalámbrica , Cambridge University Press, Reino Unido, ISBN 9780521845274
  11. Manual de Ingeniería Eléctrica . Asociación de Investigación y Educación. 1996. pág. D-149. ISBN  9780878919819.
  12. Massey, James (noviembre de 1990). "Causalidad, retroalimentación e información dirigida" (PDF) . Actas del Simposio Internacional de 1990 sobre Teoría de la Información y sus Aplicaciones (ISITA-90), Waikiki, HI : 303–305 .
  13. Shannon, C. (septiembre de 1956). "La capacidad de error cero de un canal ruidoso". IEEE Transactions on Information Theory . 2 (3): 8– 19. doi : 10.1109/TIT.1956.1056798 .
  14. Permuter, Haim; Cuff, Paul; Van Roy, Benjamin; Weissman, Tsachy (julio de 2008). "Capacidad del canal de trampilla con retroalimentación" (PDF) . IEEE Trans. Inf. Theory . 54 (7): 3150–3165 . arXiv : cs/0610047 . doi : 10.1109/TIT.2008.924681 . S2CID 1265 . 
  15. Elishco, Ohad; Permuter, Haim (septiembre de 2014). "Capacity and Coding for the Ising Channel With Feedback". IEEE Transactions on Information Theory . 60 (9): 5138– 5149. arXiv : 1205.4674 . doi : 10.1109/TIT.2014.2331951 . S2CID 9761759 . 
  16. Aharoni, Ziv; Sabag, Oron; Permuter, Haim H. (septiembre de 2022). "Capacidad de retroalimentación de canales de Ising con alfabeto grande mediante aprendizaje por refuerzo". IEEE Transactions on Information Theory . 68 (9): 5637– 5656. doi : 10.1109/TIT.2022.3168729 . S2CID 248306743 . 
  17. Sabag, Oron; Permuter, Haim H.; Kashyap, Navin (2016). "La capacidad de retroalimentación del canal de borrado binario con una restricción de entrada de unos no consecutivos". IEEE Transactions on Information Theory . 62 (1): 8– 22. doi : 10.1109/TIT.2015.2495239 .
  18. Shemuel, Eli; Sabag, Oron; Permuter, Haim H. (2022). "La capacidad de retroalimentación de la salida ruidosa es el estado (NOST) de los canales". IEEE Transactions on Information Theory . 68 (8): 5044– 5059. arXiv : 2107.07164 . doi : 10.1109/TIT.2022.3165538 .
  19. Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (febrero de 2009). "Canales de estado finito con retroalimentación determinista invariante en el tiempo". IEEE Transactions on Information Theory . 55 (2): 644– 662. arXiv : cs/0608070 . doi : 10.1109/TIT.2008.2009849 . S2CID 13178 .