capa de agrupación

El Max Pooling (MaxPool) se utiliza comúnmente en las CNN para reducir las dimensiones espaciales de los mapas de características.

Definir$${\displaystyle \mathrm {MaxPool} (x|f,s)_{0,0,0}=\max(x_{0:f-1,0:f-1,0})}$$dónde${\displaystyle 0:f-1}$significa el rango${\displaystyle 0,1,\dots ,f-1}$. Tenga en cuenta que debemos evitar el error de desfase de uno . La siguiente entrada es$${\displaystyle \mathrm {MaxPool} (x|f,s)_{1,0,0}=\max(x_{s:s+f-1,0:f-1,0})}$$y así sucesivamente. El campo receptivo de${\displaystyle y_{i,j,c}}$es${\displaystyle x_{is+f-1,js+f-1,c}}$, así que en general,$${\displaystyle \mathrm {MaxPool} (x|f,s)_{i,j,c}=\mathrm {max} (x_{is:is+f-1,js:js+f-1,c})}$$Si el tamaño y los pasos del filtro horizontal y vertical difieren, entonces, en general,$${\displaystyle \mathrm {MaxPool} (x|f,s)_{i,j,c}=\mathrm {max} (x_{is_{H}:is_{H}+f_{H}-1,js_{W}:js_{W}+f_{W}-1,c})}$$De forma más concisa, podemos escribir:${\displaystyle y_{k}=\max(\{x_{k'}|k'{\text{ in the receptive field of }}k\})}$.

Si${\displaystyle H}$no se puede expresar como${\displaystyle ks+f}$dónde${\displaystyle k}$Si es un número entero, para calcular las entradas del tensor de salida en los límites, el agrupamiento máximo intentaría tomar como entradas variables del tensor. En este caso, el manejo de esas variables inexistentes depende de las condiciones de relleno , como se ilustra a la derecha.

Global Max Pooling (GMP) es un tipo específico de max pooling donde el tensor de salida tiene forma${\displaystyle \mathbb {R} ^{C}}$y el campo receptivo de${\displaystyle y_{c}}$es todo de${\displaystyle x_{0:H,0:W,c}}$Es decir, toma el valor máximo en cada canal completo. Se suele utilizar justo antes de las capas finales totalmente conectadas en el cabezal de clasificación de una CNN.

La agrupación promedio (AvgPool) se define de manera similar.$${\displaystyle \mathrm {AvgPool} (x|f,s)_{i,j,c}=\mathrm {average} (x_{is:is+f-1,js:js+f-1,c})={\frac {1}{f^{2}}}\sum _{k\in is:is+f-1}\sum _{l\in js:js+f-1}x_{k,l,c}}$$El agrupamiento promedio global (GAP) se define de forma similar al GMP. Se propuso por primera vez en redes dentro de redes. ^{[ 2 ]} Al igual que el GMP, se suele utilizar justo antes de las capas totalmente conectadas finales en una capa de clasificación CNN.

Existen algunas interpolaciones de max pooling y average pooling.

El agrupamiento mixto es una suma lineal del agrupamiento máximo y el agrupamiento promedio. ^{[ 3 ]} Es decir,$${\displaystyle \mathrm {MixedPool} (x|f,s,w)=w\mathrm {MaxPool} (x|f,s)+(1-w)\mathrm {AvgPool} (x|f,s)}$$dónde${\displaystyle w\in [0,1]}$es un hiperparámetro, un parámetro que se puede aprender o se muestrea aleatoriamente de nuevo cada vez.

El agrupamiento Lp es similar al agrupamiento promedio, pero utiliza el promedio de la norma Lp en lugar del promedio:$${\displaystyle y_{k}=\left({\frac {1}{N}}\sum _{k'{\text{ in the receptive field of }}k}|x_{k'}|^{p}\right)^{1/p}}$$dónde${\displaystyle N}$es el tamaño del campo receptivo y${\displaystyle p\geq 1}$es un hiperparámetro. Si todas las activaciones no son negativas, entonces el agrupamiento promedio es el caso de${\displaystyle p=1}$y el max pooling es el caso de${\displaystyle p\to \infty }$. La agrupación de raíz cuadrada es el caso de${\displaystyle p=2}$. ^{[ 4 ]}

El agrupamiento estocástico muestrea una activación aleatoria${\displaystyle x_{k'}}$del campo receptivo con probabilidad${\displaystyle {\frac {x_{k'}}{\sum _{k''}x_{k''}}}}$. Es lo mismo que la agrupación promedio en términos de esperanza . ^{[ 5 ]}

El softmax pooling es como el max pooling, pero usa softmax , es decir${\displaystyle {\frac {\sum _{k'}e^{\beta x_{k'}}x_{k'}}{\sum _{k''}e^{\beta x_{k''}}}}}$dónde${\displaystyle \beta >0}$. El promedio de agrupamiento es el caso de${\displaystyle \beta \downarrow 0}$y el max pooling es el caso de${\displaystyle \beta \uparrow \infty }$^{[ 4 ]}

El agrupamiento basado en la importancia local generaliza el agrupamiento softmax mediante${\displaystyle {\frac {\sum _{k'}e^{g(x_{k'})}x_{k'}}{\sum _{k''}e^{g(x_{k''})}}}}$dónde${\displaystyle g}$es una función aprendible. ^{[ 6 ]}

El agrupamiento piramidal espacial aplica el agrupamiento máximo (o cualquier otra forma de agrupamiento) en una estructura piramidal . Es decir, aplica el agrupamiento máximo global, luego aplica el agrupamiento máximo a la imagen dividida en 4 partes iguales, luego en 16, etc. Los resultados se concatenan . Es una forma jerárquica de agrupamiento global y, al igual que este, se suele utilizar justo antes de un cabezal de clasificación. ^{[ 7 ]}

El agrupamiento de regiones de interés (también conocido como agrupamiento RoI) es una variante del agrupamiento máximo que se utiliza en las R-CNN para la detección de objetos . ^{[ 8 ]} Está diseñado para tomar una matriz de entrada de tamaño arbitrario y generar una matriz de salida de tamaño fijo.

La agrupación de covarianzas calcula la matriz de covarianza de los vectores.$${\displaystyle \{x_{k,l,0:C-1}\}_{k\in is:is+f-1,l\in js:js+f-1}}$$que luego se aplana hasta convertirse en un${\displaystyle C^{2}}$vector de -dimensiones${\displaystyle y_{i,j,0:C^{2}-1}}$La agrupación de covarianza global se utiliza de forma similar a la agrupación máxima global. Dado que la agrupación promedio calcula el promedio, que es una estadística de primer grado , y la covarianza es una estadística de segundo grado, la agrupación de covarianza también se denomina "agrupación de segundo orden". Puede generalizarse a agrupaciones de orden superior. ^{[ 9 ] [ 10 ]}

Blur Pooling significa aplicar un método de desenfoque antes del submuestreo. Por ejemplo, el blur pooling Rect-2 significa tomar un promedio de pooling en${\displaystyle f=2,s=1}$, luego tomando cada segundo píxel (identidad con${\displaystyle s=2}$). ^{[ 11 ]}

Primero establecimos

${\displaystyle \mathbf {y} ={\frac {\mathbf {X} \mathbf {p} }{\Vert \mathbf {p} \Vert }}}$

dónde${\displaystyle \mathbf {p} }$es un vector de proyección aprendible . El vector de proyección${\displaystyle \mathbf {p} }$Calcula un valor de proyección escalar para cada nodo del gráfico.

La capa de agrupación top-k ^{[ 17 ]} se puede formalizar de la siguiente manera:

${\displaystyle \mathbf {X} '=(\mathbf {X} \odot {\text{sigmoid}}(\mathbf {y} ))_{\mathbf {i} }}$

${\displaystyle \mathbf {A} '=\mathbf {A} _{\mathbf {i} ,\mathbf {i} }}$

dónde${\displaystyle \mathbf {i} ={\text{top}}_{k}(\mathbf {y} )}$es el subconjunto de nodos con las puntuaciones de proyección más altas (top-k),${\displaystyle \odot }$denota la multiplicación de matrices elemento a elemento , y${\displaystyle {\text{sigmoid}}(\cdot )}$es la función sigmoide . En otras palabras, los nodos con las puntuaciones de proyección más altas (top-k) se conservan en la nueva matriz de adyacencia.${\displaystyle \mathbf {A} '}$. El${\displaystyle {\text{sigmoid}}(\cdot )}$La operación hace que el vector de proyección${\displaystyle \mathbf {p} }$entrenable mediante retropropagación , que de otro modo produciría salidas discretas. ^{[ 17 ]}

Primero establecimos

${\displaystyle \mathbf {y} ={\text{GNN}}(\mathbf {X} ,\mathbf {A} )}$

dónde${\displaystyle {\text{GNN}}}$es una capa GNN equivariante de permutación genérica (por ejemplo, GCN, GAT, MPNN).

La capa de agrupación de autoatención ^{[ 18 ]} se puede formalizar de la siguiente manera:

${\displaystyle \mathbf {X} '=(\mathbf {X} \odot \mathbf {y} )_{\mathbf {i} }}$

${\displaystyle \mathbf {A} '=\mathbf {A} _{\mathbf {i} ,\mathbf {i} }}$

dónde${\displaystyle \mathbf {i} ={\text{top}}_{k}(\mathbf {y} )}$es el subconjunto de nodos con las puntuaciones de proyección más altas (top-k),${\displaystyle \odot }$denota la multiplicación de matrices elemento a elemento .

La capa de agrupación de autoatención puede considerarse una extensión de la capa de agrupación top-k. A diferencia de la agrupación top-k, las puntuaciones de autoatención calculadas en la capa de agrupación de autoatención tienen en cuenta tanto las características del grafo como su topología.