Articulo de referencia

Agrupamiento por enlace completo

El agrupamiento de enlace completo es uno de los diversos métodos de agrupamiento jerárquico aglomerativo . Al inicio del proceso, cada elemento se encuentra en un clúster propi...

El agrupamiento de enlace completo es uno de los diversos métodos de agrupamiento jerárquico aglomerativo . Al inicio del proceso, cada elemento se encuentra en un clúster propio. Los clústeres se combinan secuencialmente en clústeres más grandes hasta que todos los elementos terminan en el mismo clúster. Este método también se conoce como agrupamiento del vecino más lejano . El resultado del agrupamiento se puede visualizar como un dendrograma , que muestra la secuencia de fusión de clústeres y la distancia a la que tuvo lugar cada fusión. [ 1 ] [ 2 ] [ 3 ]

Procedimiento de agrupamiento

En cada paso, se combinan los dos grupos separados por la distancia más corta. La definición de "distancia más corta" es lo que diferencia los distintos métodos de agrupamiento aglomerativo. En el agrupamiento de enlace completo, el enlace entre dos grupos contiene todos los pares de elementos, y la distancia entre grupos es igual a la distancia entre los dos elementos (uno en cada grupo) que se encuentran más alejados entre sí. El enlace más corto que permanece en cualquier paso provoca la fusión de los dos grupos cuyos elementos están involucrados.

Matemáticamente, la función de enlace completa la distanciaD(incógnita,Y){\displaystyle D(X,Y)}entre gruposincógnita{\displaystyle X}yY{\displaystyle Y} se describe mediante la siguiente expresión  : D(incógnita,Y)=máximoincógnitaincógnita,yYd(incógnita,y){\displaystyle D(X,Y)=\max _{x\in X,y\in Y}d(x,y)}

dónde

  • d(incógnita,y){\displaystyle d(x,y)}es la distancia entre elementosincógnitaincógnita{\displaystyle x\in X}yyY{\displaystyle y\in Y} ;
  • incógnita{\displaystyle X}yY{\displaystyle Y}son dos conjuntos de elementos (grupos).

Algoritmos

Plan ingenuo

El siguiente algoritmo es un esquema aglomerativo que borra filas y columnas en una matriz de proximidad a medida que los clústeres antiguos se fusionan con otros nuevos.norte×norte{\displaystyle N\times N}La matriz de proximidad D contiene todas las distancias d ( i , j ). A los clústeres se les asignan números de secuencia 0,1,......, ( n 1) y L ( k ) es el nivel del k-ésimo clúster. Un clúster con número de secuencia m se denota como ( m ) y la proximidad entre los clústeres ( r ) y ( s ) se denota como d [( r ),( s )].  

El algoritmo completo de agrupamiento por enlace consta de los siguientes pasos:

  1. Comience con la agrupación disjunta que tiene nivel L(0)=0{\displaystyle L(0)=0}y número de secuenciametro=0{\displaystyle m=0}.
  2. Encuentra el par de clústeres más similares en la agrupación actual, digamos el par(r),(s){\displaystyle (r),(s)}, de acuerdo ad[(r),(s)]=máximod[(i),(j)]{\displaystyle d[(r),(s)]=\max d[(i),(j)]}donde el máximo se calcula sobre todos los pares de clústeres en la agrupación actual.
  3. Incrementar el número de secuencia:metro=metro+1{\displaystyle m=m+1}. Fusionar clústeres(r){\displaystyle (r)}y(s){\displaystyle (s)}en un único grupo para formar el siguiente grupometro{\displaystyle m}. Establezca el nivel de esta agrupación enL(metro)=d[(r),(s)]{\displaystyle L(m)=d[(r),(s)]}
  4. Actualizar la matriz de proximidad,D{\displaystyle D}, eliminando las filas y columnas correspondientes a los clústeres(r){\displaystyle (r)}y(s){\displaystyle (s)}y agregando una fila y una columna correspondientes al clúster recién formado. La proximidad entre el nuevo clúster, denotada(r,s){\displaystyle (r,s)}y un antiguo grupo(k){\displaystyle (k)}se define comod[(r,s),(k)]=máximo{d[(k),(r)],d[(k),(s)]}{\displaystyle d[(r,s),(k)]=\max\{d[(k),(r)],d[(k),(s)]\}}.
  5. Si todos los objetos están en un mismo grupo, deténgase. De lo contrario, vaya al paso 2.

Esquema óptimamente eficiente

El algoritmo explicado anteriormente es fácil de entender pero de complejidadO(norte3){\displaystyle O(n^{3})}En mayo de 1976, D. Defays propuso un algoritmo óptimamente eficiente de complejidad únicaO(norte2){\displaystyle O(n^{2})}conocido como CLINK (publicado en 1977) [ 4 ] inspirado en el algoritmo similar SLINK para agrupamiento de enlace simple .

Ejemplo práctico

El ejemplo práctico se basa en una matriz de distancia genética JC69 calculada a partir del alineamiento de secuencias de ARN ribosomal 5S de cinco bacterias: Bacillus subtilis (a{\displaystyle a}), Bacillus stearothermophilus (b{\displaystyle b}), Lactobacillus viridescens (do{\displaystyle c}), Acholeplasma modicum (d{\displaystyle d}), y Micrococcus luteus (mi{\displaystyle e}). [ 5 ] [ 6 ]

Primer paso

  • Primer agrupamiento

Supongamos que tenemos cinco elementos.(a,b,do,d,mi){\displaystyle (a,b,c,d,e)}y la siguiente matrizD1{\displaystyle D_{1}}de distancias por pares entre ellos:

En este ejemplo,D1(a,b)=17{\displaystyle D_{1}(a,b)=17}es el valor más pequeño deD1{\displaystyle D_{1}}, por lo que unimos elementosa{\displaystyle a}yb{\displaystyle b}.

  • Estimación de la longitud de la primera rama

Dejar{\displaystyle u}denota el nodo al quea{\displaystyle a}yb{\displaystyle b}Ahora están conectados. Configuración δ(a,)=δ(b,)=D1(a,b)/2{\displaystyle \delta (a,u)=\delta (b,u)=D_{1}(a,b)/2} asegura que los elementosa{\displaystyle a}yb{\displaystyle b}están equidistantes de{\displaystyle u}Esto corresponde a la expectativa de la hipótesis de ultrametricidad . Las ramas que se unena{\displaystyle a}yb{\displaystyle b}a{\displaystyle u}entonces tienen longitudes δ(a,)=δ(b,)=17/2=8.5{\displaystyle \delta (a,u)=\delta (b,u)=17/2=8.5}( véase el dendrograma final )

  • Primera actualización de la matriz de distancias

A continuación, procedemos a actualizar la matriz de proximidad inicial.D1{\displaystyle D_{1}}en una nueva matriz de proximidadD2{\displaystyle D_{2}}(ver abajo), reducido en tamaño por una fila y una columna debido a la agrupación dea{\displaystyle a}conb{\displaystyle b}. Valores en negrita enD2{\displaystyle D_{2}}corresponden a las nuevas distancias, calculadas conservando la distancia máxima entre cada elemento del primer clúster.(a,b){\displaystyle (a,b)}y cada uno de los elementos restantes:

D2((a,b),do)=metroaincógnita(D1(a,do),D1(b,do))=metroaincógnita(21,30)=30{\displaystyle D_{2}((a,b),c)=max(D_{1}(a,c),D_{1}(b,c))=max(21,30)=30}

D2((a,b),d)=metroaincógnita(D1(a,d),D1(b,d))=metroaincógnita(31,34)=34{\displaystyle D_{2}((a,b),d)=max(D_{1}(a,d),D_{1}(b,d))=max(31,34)=34}

D2((a,b),mi)=metroaincógnita(D1(a,mi),D1(b,mi))=metroaincógnita(23,21)=23{\displaystyle D_{2}((a,b),e)=max(D_{1}(a,e),D_{1}(b,e))=max(23,21)=23}

Valores en cursiva enD2{\displaystyle D_{2}}no se ven afectados por la actualización de la matriz ya que corresponden a distancias entre elementos que no están involucrados en el primer grupo.

Segundo paso

  • Segundo agrupamiento

Ahora reiteramos los tres pasos anteriores, partiendo de la nueva matriz de distancias.D2{\displaystyle D_{2}} :

Aquí,D2((a,b),mi)=23{\displaystyle D_{2}((a,b),e)=23} es el valor más bajo deD2{\displaystyle D_{2}}, así que nos unimos al clúster(a,b){\displaystyle (a,b)}con elementomi{\displaystyle e}.

  • Estimación de la longitud de la segunda rama

Dejarv{\displaystyle v}denota el nodo al que(a,b){\displaystyle (a,b)}ymi{\displaystyle e}ahora están conectados. Debido a la restricción de ultrametricidad, las ramas que se unena{\displaystyle a}ob{\displaystyle b}av{\displaystyle v}, ymi{\displaystyle e}av{\displaystyle v}son iguales y tienen la siguiente longitud total: δ(a,v)=δ(b,v)=δ(mi,v)=23/2=11.5{\displaystyle \delta (a,v)=\delta (b,v)=\delta (e,v)=23/2=11.5}

Deducimos la longitud de la rama faltante: δ(,v)=δ(mi,v)δ(a,)=δ(mi,v)δ(b,)=11.58.5=3{\displaystyle \delta (u,v)=\delta (e,v)-\delta (a,u)=\delta (e,v)-\delta (b,u)=11.5-8.5=3}( véase el dendrograma final )

  • Actualización de la segunda matriz de distancias

Luego procedemos a actualizar elD2{\displaystyle D_{2}}matriz en una nueva matriz de distanciasD3{\displaystyle D_{3}}(ver abajo), reducido en tamaño por una fila y una columna debido a la agrupación de(a,b){\displaystyle (a,b)}conmi{\displaystyle e} :

D3(((a,b),mi),do)=metroaincógnita(D2((a,b),do),D2(mi,do))=metroaincógnita(30,39)=39{\displaystyle D_{3}(((a,b),e),c)=max(D_{2}((a,b),c),D_{2}(e,c))=max(30,39)=39}

D3(((a,b),mi),d)=metroaincógnita(D2((a,b),d),D2(mi,d))=metroaincógnita(34,43)=43{\displaystyle D_{3}(((a,b),e),d)=max(D_{2}((a,b),d),D_{2}(e,d))=max(34,43)=43}

Tercer paso

  • Tercer agrupamiento

Reiteramos nuevamente los tres pasos anteriores, partiendo de la matriz de distancias actualizada.D3{\displaystyle D_{3}}.

Aquí,D3(do,d)=28{\displaystyle D_{3}(c,d)=28}es el valor más pequeño deD3{\displaystyle D_{3}}, por lo que unimos elementosdo{\displaystyle c}yd{\displaystyle d}.

  • Estimación de la longitud de la tercera rama

Dejarw{\displaystyle w}denota el nodo al quedo{\displaystyle c}yd{\displaystyle d}ahora están conectadas. Las ramas que se unendo{\displaystyle c}yd{\displaystyle d}aw{\displaystyle w}entonces tienen longitudes δ(do,w)=δ(d,w)=28/2=14{\displaystyle \delta (c,w)=\delta (d,w)=28/2=14}( véase el dendrograma final )

  • Tercera actualización de la matriz de distancias

Solo hay una entrada para actualizar: D4((do,d),((a,b),mi))=metroaincógnita(D3(do,((a,b),mi)),D3(d,((a,b),mi)))=metroaincógnita(39,43)=43{\displaystyle D_{4}((c,d),((a,b),e))=max(D_{3}(c,((a,b),e)),D_{3}(d,((a,b),e)))=max(39,43)=43}

Paso final

El finalD4{\displaystyle D_{4}}La matriz es:

Entonces nos unimos a los clústeres((a,b),mi){\displaystyle ((a,b),e)}y(do,d){\displaystyle (c,d)}.

Dejarr{\displaystyle r}denota el nodo (raíz) al que((a,b),mi){\displaystyle ((a,b),e)}y(do,d){\displaystyle (c,d)}ahora están conectadas. Las ramas que se unen((a,b),mi){\displaystyle ((a,b),e)}y(do,d){\displaystyle (c,d)}ar{\displaystyle r}entonces tienen longitudes:

δ(((a,b),mi),r)=δ((do,d),r)=43/2=21.5{\displaystyle \delta (((a,b),e),r)=\delta ((c,d),r)=43/2=21.5}

Deducimos las longitudes de las dos ramas restantes:

δ(v,r)=δ(((a,b),mi),r)δ(mi,v)=21.511.5=10{\displaystyle \delta (v,r)=\delta (((a,b),e),r)-\delta (e,v)=21.5-11.5=10}

δ(w,r)=δ((do,d),r)δ(do,w)=21.514=7.5{\displaystyle \delta (w,r)=\delta ((c,d),r)-\delta (c,w)=21.5-14=7.5}

El dendrograma de enlace completo

Datos del dendrograma 5S de WPGMA
Datos del dendrograma 5S de WPGMA

El dendrograma ya está completo. Es ultramétrico porque todas las puntas (a{\displaystyle a}ami{\displaystyle e}) están equidistantes der{\displaystyle r} :

δ(a,r)=δ(b,r)=δ(mi,r)=δ(do,r)=δ(d,r)=21.5{\displaystyle \delta (a,r)=\delta (b,r)=\delta (e,r)=\delta (c,r)=\delta (d,r)=21.5}

Por lo tanto, el dendrograma está enraizado porr{\displaystyle r}, su nodo más profundo.

Comparación con otros vínculos

Entre los esquemas de enlace alternativos se incluyen el agrupamiento por enlace simple y el agrupamiento por enlace promedio . Implementar un enlace diferente en el algoritmo ingenuo consiste simplemente en utilizar una fórmula distinta para calcular las distancias entre clústeres en el cálculo inicial de la matriz de proximidad y en el paso 4 del algoritmo anterior. Sin embargo, no existe un algoritmo óptimamente eficiente para enlaces arbitrarios. La fórmula que debe ajustarse se ha resaltado en negrita.

El método de agrupamiento de enlace completo evita una desventaja del método alternativo de enlace simple : el llamado fenómeno de encadenamiento , donde los grupos formados mediante enlace simple pueden verse forzados a unirse debido a la proximidad de elementos individuales, aunque muchos de los elementos de cada grupo estén muy distantes entre sí. El método de enlace completo tiende a encontrar grupos compactos de diámetros aproximadamente iguales. [ 7 ]

Véase también

Referencias

  1. Sorensen T (1948). "Un método para establecer grupos de igual amplitud en sociología vegetal basado en la similitud de especies y su aplicación a análisis de la vegetación en terrenos comunales daneses". Biologiske Skrifter . 5 : 1–34 .
  2. Legendre P, Legendre L (1998). Ecología numérica (Segunda edición en inglés). pág. 853.  
  3. Everitt BS, Landau S , Leese M (2001). Análisis de clústeres (Cuarta ed.). Londres: Arnold. ISBN  0-340-76119-9.
  4. Defays D (1977). "Un algoritmo eficiente para un método de enlace completo". The Computer Journal . 20 (4). British Computer Society: 364– 366. doi : 10.1093/comjnl/20.4.364 .
  5. Erdmann VA, Wolters J (1986). "Colección de secuencias de ARN ribosómico 5S, 5.8S y 4.5S publicadas" . Nucleic Acids Research . 14 Suppl (Suppl): r1-59. doi : 10.1093/nar/14.suppl.r1 . PMC 341310. PMID 2422630 .  
  6. Olsen GJ (1988). "Análisis filogenético mediante ARN ribosómico". Ribosomas . Métodos en enzimología. Vol. 164. págs. 793–812 . doi : 10.1016/s0076-6879(88)64084-5 . ISBN   978-0-12-182065-7. PMID 3241556 . 
  7. Everitt, Landau y Leese (2001), págs. 62–64.

Lecturas adicionales

  • Späth H (1980). Algoritmos de análisis de conglomerados . Chichester: Ellis Horwood.