Incorporación de gráficos de conocimiento

En el aprendizaje de representación , la incrustación de gráficos de conocimiento ( KGE ), también conocida como aprendizaje de representación de conocimiento ( KRL ) o aprendizaje de múltiples relaciones , ^[1] es una tarea de aprendizaje automático que consiste en aprender una representación de baja dimensión de las entidades y relaciones de un gráfico de conocimiento , preservando al mismo tiempo su significado semántico . ^{[1] [2] [3]} Aprovechando su representación incrustada , los gráficos de conocimiento (KG) se pueden utilizar para diversas aplicaciones, como la predicción de enlaces , la clasificación triple, el reconocimiento de entidades, la agrupación y la extracción de relaciones . ^{[1] [4]}

Un gráfico de conocimiento es una colección de entidades , relaciones y hechos . ^[5] Un hecho es un triple que denota un vínculo entre la cabeza y la cola del triple. Otra notación que se utiliza a menudo en la literatura para representar un triple (o hecho) es . Esta notación se llama marco de descripción de recursos (RDF). ^{[1] [5]} Un gráfico de conocimiento representa el conocimiento relacionado con un dominio específico; aprovechando esta representación estructurada, es posible inferir una pieza de nuevo conocimiento a partir de él después de algunos pasos de refinamiento. ^[6] Sin embargo, hoy en día, las personas tienen que lidiar con la escasez de datos y la ineficiencia computacional para usarlos en una aplicación del mundo real. ^{[3] [7]}${\displaystyle {\mathcal {G}}=\{E,R,F\}}$${\estilo de visualización E}$${\estilo de visualización R}$${\estilo de visualización F}$${\displaystyle (h,r,t)\en F}$${\displaystyle r\en R}$${\displaystyle h\in E}$${\displaystyle t\en E}$${\displaystyle <cabeza,relación,cola>}$

La incrustación de un gráfico de conocimiento traduce cada entidad y relación de un gráfico de conocimiento en un vector de una dimensión dada , llamada dimensión de incrustación. ^[7] En el caso general, podemos tener diferentes dimensiones de incrustación para las entidades y las relaciones . ^[7] La ​​colección de vectores de incrustación para todas las entidades y relaciones en el gráfico de conocimiento se puede utilizar luego para tareas posteriores. ${\displaystyle {\mathcal {G}}}$${\estilo de visualización d}$${\estilo de visualización d}$${\estilo de visualización k}$

La incrustación de un gráfico de conocimiento se caracteriza por cuatro aspectos diferentes: ^[1]

1. Espacio de representación: El espacio de baja dimensión en el que se representan las entidades y relaciones. ^[1]
2. Función de puntuación: una medida de la bondad de una representación triplemente incrustada. ^[1]
3. Modelos de codificación: La modalidad en la que la representación incorporada de las entidades y relaciones interactúan entre sí. ^[1]
4. Información adicional: Cualquier información adicional proveniente del gráfico de conocimiento que pueda enriquecer la representación incorporada. ^[1] Generalmente, se integra una función de puntuación ad hoc en la función de puntuación general para cada información adicional. ^{[5] [1] [8]}

Todos los diferentes modelos de incrustación de gráficos de conocimiento siguen aproximadamente el mismo procedimiento para aprender el significado semántico de los hechos. ^[7] En primer lugar, para aprender una representación incrustada de un gráfico de conocimiento, los vectores de incrustación de las entidades y relaciones se inicializan con valores aleatorios. ^[7] Luego, comenzando desde un conjunto de entrenamiento hasta que se alcanza una condición de parada, el algoritmo optimiza continuamente las incrustaciones. ^[7] Por lo general, la condición de parada viene dada por el sobreajuste sobre el conjunto de entrenamiento. ^[7] Para cada iteración, se muestrea un lote de tamaño del conjunto de entrenamiento, y para cada triple del lote se muestrea un hecho corrupto aleatorio, es decir, un triple que no representa un hecho verdadero en el gráfico de conocimiento. ^[7] La ​​corrupción de un triple implica sustituir la cabeza o la cola (o ambas) del triple con otra entidad que hace que el hecho sea falso. ^[7] El triple original y el triple corrupto se agregan en el lote de entrenamiento, y luego se actualizan las incrustaciones, optimizando una función de puntuación. ^{[5] [7]} Al final del algoritmo, las incrustaciones aprendidas deberían haber extraído el significado semántico de los triples y deberían predecir correctamente hechos verdaderos no vistos en el gráfico de conocimiento. ^[5]${\estilo de visualización b}$

El siguiente es el pseudocódigo para el procedimiento de incrustación general. ^{[9] [7]}

El algoritmo calcula las incrustaciones de entidades y relaciones como 
    entrada: el conjunto de entrenamiento ,${\displaystyle S=\{(h,r,t)\}}$
           conjunto de entidades  ,${\estilo de visualización E}$
           conjunto de relaciones  ,     ${\estilo de visualización R}$
           Salida de dimensión de incrustación  : incrustaciones de entidades y relaciones${\estilo de visualización k}$
    

    Inicialización:  las entidades  y relaciones incrustadas (vectores) se inicializan aleatoriamente.${\estilo de visualización e}$  ${\estilo de visualización r}$ 

    mientras que la condición de parada hace
         // Del conjunto de entrenamiento toma una muestra aleatoria de un lote de tamaño b
         para cada uno en hace   // toma una muestra de un hecho corrupto de triple
             fin para${\displaystyle S_{lote}\leftarrow muestra(S,b)}$ ${\estilo de visualización (h,r,t)}$  ${\displaystyle S_{lote}}$ 
            ${\displaystyle (h',r,t')\leftarrow muestra(S')}$${\displaystyle T_{lote}\leftarrow T_{lote}\cup \{((h,r,t),(h',r,t'))\}}$ 
        
        Actualizar las incrustaciones minimizando la función de pérdida
    terminar mientras

Estos índices se utilizan a menudo para medir la calidad de incrustación de un modelo. La simplicidad de los índices los hace muy adecuados para evaluar el rendimiento de un algoritmo de incrustación incluso a gran escala. ^[10] Dado como el conjunto de todas las predicciones clasificadas de un modelo, es posible definir tres índices de rendimiento diferentes: Hits@K, MR y MRR. ^[10]${\displaystyle {\ce {Q}}}$

Hits@K o en forma abreviada, H@K, es un índice de rendimiento que mide la probabilidad de encontrar la predicción correcta en las primeras K predicciones del modelo. ^[10] Por lo general, se utiliza . ^[10] Hits@K refleja la precisión de un modelo de incrustación para predecir correctamente la relación entre dos triples dados. ^[10]${\displaystyle k=10}$

Éxitos@K${\displaystyle ={\frac {|\{q\en Q:q<k\}|}{|Q|}}\en [0,1]}$

Los valores más grandes significan mejores resultados predictivos. ^[10]

El rango medio es la posición de clasificación promedio de los elementos predichos por el modelo entre todos los elementos posibles. ^[10]

${\displaystyle MR={\frac {1}{|Q|}}\suma _{q\in Q}{q}}$

Cuanto menor sea el valor, mejor será el modelo. ^[10]

El rango recíproco medio mide la cantidad de triples predichos correctamente. ^[10] Si el primer triple predicho es correcto, se suma 1, si el segundo es correcto se suma, y ​​así sucesivamente. ^[10]${\displaystyle {\frac {1}{2}}}$

El rango recíproco medio se utiliza generalmente para cuantificar el efecto de los algoritmos de búsqueda. ^[10]

${\displaystyle MRR={\frac {1}{|Q|}}\suma _{q\in Q}{\frac {1}{q}}\in [0,1]}$

Cuanto mayor sea el índice, mejor será el modelo. ^[10]

La finalización del gráfico de conocimiento (KGC) es una colección de técnicas para inferir conocimiento a partir de una representación de gráfico de conocimiento incrustada. ^[11] En particular, esta técnica completa un triple infiriendo la entidad o relación faltante. ^[11] Las subtareas correspondientes se denominan predicción de vínculo o entidad (es decir, adivinar una entidad a partir de la incrustación dada la otra entidad del triple y la relación) y predicción de relación (es decir, pronosticar la relación más plausible que conecta dos entidades). ^[11]

La clasificación triple es un problema de clasificación binaria. ^[1] Dado un triple, el modelo entrenado evalúa la plausibilidad del triple utilizando la incrustación para determinar si un triple es verdadero o falso. ^[11] La decisión se toma con la función de puntuación del modelo y un umbral determinado. ^[11] La agrupación es otra aplicación que aprovecha la representación incrustada de un gráfico de conocimiento disperso para condensar la representación de entidades semánticas similares cercanas en un espacio 2D. ^[4]

El uso de la incrustación de gráficos de conocimiento es cada vez más omnipresente en muchas aplicaciones. En el caso de los sistemas de recomendación , el uso de la incrustación de gráficos de conocimiento puede superar las limitaciones del aprendizaje de refuerzo habitual . ^{[12] [13]} El entrenamiento de este tipo de sistema de recomendación requiere una gran cantidad de información de los usuarios; sin embargo, las técnicas de gráficos de conocimiento pueden abordar este problema utilizando un gráfico ya construido sobre un conocimiento previo de la correlación del elemento y utilizando la incrustación para inferir de él la recomendación. ^[12] La reutilización de fármacos es el uso de un fármaco ya aprobado, pero para un propósito terapéutico diferente de aquel para el que fue diseñado inicialmente. ^[14] Es posible utilizar la tarea de predicción de enlaces para inferir una nueva conexión entre un fármaco ya existente y una enfermedad utilizando un gráfico de conocimiento biomédico construido aprovechando la disponibilidad de literatura masiva y bases de datos biomédicas. ^[14] La incrustación de gráficos de conocimiento también se puede utilizar en el ámbito de la política social. ^[4]

Dada una colección de triples (o hechos) , el modelo de incrustación del gráfico de conocimiento produce, para cada entidad y relación presente en el gráfico de conocimiento, una representación vectorial continua. ^[7] es la incrustación correspondiente de un triple con y , donde es la dimensión de incrustación para las entidades y para las relaciones. ^[7] La ​​función de puntuación de un modelo dado se denota por y mide la distancia de la incrustación de la cabeza desde la incrustación de la cola dada la incrustación de la relación, o en otras palabras, cuantifica la plausibilidad de la representación incrustada de un hecho dado. ^[5]${\displaystyle {\mathcal {F}}=\{<cabeza,relación,cola>\}}$ ${\estilo de visualización (h,r,t)}$${\displaystyle h,t\in {\rm {I\!R}}^{d}}$${\displaystyle r\in {\rm {I\!R}}^{k}}$${\estilo de visualización d}$${\estilo de visualización k}$${\displaystyle {\mathcal {f}}_{r}(h,t)}$

Rossi et al. proponen una taxonomía de los modelos de incrustación e identifican tres familias principales de modelos: modelos de descomposición tensorial, modelos geométricos y modelos de aprendizaje profundo. ^[5]

La descomposición tensorial es una familia de modelos de incrustación de gráficos de conocimiento que utilizan una matriz multidimensional para representar un gráfico de conocimiento, ^{[1] [5] [17]} que es parcialmente cognoscible debido a los huecos del gráfico de conocimiento que describe un dominio particular a fondo. ^{[5] En particular, estos modelos utilizan un} tensor de tres vías (3D) , que luego se factoriza en vectores de baja dimensión que son las incrustaciones de entidades y relaciones. ^{[5] [17]} El tensor de tercer orden es una metodología adecuada para representar un gráfico de conocimiento porque registra solo la existencia o la ausencia de una relación entre entidades, ^[17] y por esta razón es simple, y no hay necesidad de conocer a priori la estructura de la red, ^[15] lo que hace que esta clase de modelos de incrustación sean ligeros y fáciles de entrenar incluso si sufren de alta dimensión y escasez de datos. ^{[5] [17]}

Esta familia de modelos utiliza una ecuación lineal para incorporar la conexión entre las entidades a través de una relación. ^[1] En particular, la representación incorporada de las relaciones es una matriz bidimensional. ^[5] Estos modelos, durante el procedimiento de incorporación, solo utilizan los hechos individuales para calcular la representación incorporada e ignoran las otras asociaciones con la misma entidad o relación. ^[18]

• DistMult ^[19] : Dado que la matriz de inserción de la relación es una matriz diagonal, ^[5] la función de puntuación no puede distinguir hechos asimétricos. ^{[5] [18]}
• ComplEx ^[20] : Como DistMult utiliza una matriz diagonal para representar la incrustación de relaciones pero agrega una representación en el espacio vectorial complejo y el producto hermítico , puede distinguir hechos simétricos y asimétricos. ^{[5] [17]} Este enfoque es escalable a un gráfico de conocimiento grande en términos de costo de tiempo y espacio. ^[20]
• ANALOGÍA ^[21] : Este modelo codifica en la incrustación la estructura analógica del gráfico de conocimiento para simular el razonamiento inductivo. ^{[21] [5] [1]} Utilizando una función objetivo diferenciable, ANALOGÍA tiene buena generalidad teórica y escalabilidad computacional. ^[21] Se ha demostrado que la incrustación producida por ANALOGÍA recupera completamente la incrustación de DistMult, ComplEx y HolE. ^[21]
• SimplE ^[22] : Este modelo es la mejora de la descomposición poliádica canónica (CP), en la que se aprende un vector de incrustación para la relación y dos vectores de incrustación independientes para cada entidad, dependiendo de si es una cara o una cola en el hecho del gráfico de conocimiento. ^[22] SimplE resuelve el problema del aprendizaje independiente de las dos incrustaciones de entidades utilizando una relación inversa y promediando la puntuación CP de y . ^{[7] [17]} De esta manera, SimplE recoge la relación entre entidades mientras aparecen en el papel de sujeto u objeto dentro de un hecho, y es capaz de incrustar relaciones asimétricas. ^[5]${\estilo de visualización (h,r,t)}$${\displaystyle (t,r^{-1},h)}$

• HolE: ^[23] HolE utiliza correlación circular para crear una representación incrustada del gráfico de conocimiento, ^[23] que puede verse como una compresión del producto matricial, pero es más eficiente computacionalmente y escalable mientras mantiene las capacidades para expresar una relación asimétrica ya que la correlación circular no es conmutativa. ^[18] HolE vincula incrustaciones holográficas y complejas ya que, si se usa junto con Fourier , puede verse como un caso especial de ComplEx. ^[1]
• TuckER: ^[24] TuckER ve el gráfico de conocimiento como un tensor que podría descomponerse utilizando la descomposición de Tucker en una colección de vectores (es decir, las incrustaciones de entidades y relaciones) con un núcleo compartido. ^{[24] [5]} Los pesos del tensor central se aprenden junto con las incrustaciones y representan el nivel de interacción de las entradas. ^[25] Cada entidad y relación tiene su propia dimensión de incrustación, y el tamaño del tensor central está determinado por la forma de las entidades y relaciones que interactúan. ^[5] La incrustación del sujeto y el objeto de un hecho se suman de la misma manera, lo que hace que TuckER sea completamente expresivo, y otros modelos de incrustación como RESCAL, DistMult, ComplEx y SimplE se pueden expresar como una formulación especial de TuckER. ^[24]
• MEI: ^[26] MEI introduce la técnica de interacción de incrustación de múltiples particiones con el formato de tensor de términos de bloque, que es una generalización de la descomposición CP y la descomposición de Tucker. Divide el vector de incrustación en múltiples particiones y aprende los patrones de interacción locales a partir de los datos en lugar de utilizar patrones especiales fijos como en los modelos ComplEx o SimplE. Esto permite a MEI lograr una eficiencia óptima (compensación de expresividad, no solo ser completamente expresivo). ^[26] Los modelos anteriores como TuckER, RESCAL, DistMult, ComplEx y SimplE son casos especiales restringidos subóptimos de MEI.
• MEIM: ^[27] MEIM va más allá del formato tensor de términos de bloque para introducir el tensor de núcleo independiente para efectos de refuerzo de conjuntos y la ortogonalidad suave para el mapeo relacional de rango máximo, además de la interacción de incrustación de múltiples particiones. MEIM generaliza varios modelos anteriores como MEI y sus modelos subsumidos, RotaE y QuatE. ^[27] MEIM mejora la expresividad mientras sigue siendo altamente eficiente en la práctica, lo que ayuda a lograr buenos resultados utilizando tamaños de modelo bastante pequeños.

El espacio geométrico definido por esta familia de modelos codifica la relación como una transformación geométrica entre la cabeza y la cola de un hecho. ^[5] Por esta razón, para calcular la incrustación de la cola, es necesario aplicar una transformación a la incrustación de la cabeza, y se utiliza una función de distancia para medir la bondad de la incrustación o para puntuar la fiabilidad de un hecho. ^[5]${\estilo de visualización \tau}$${\estilo de visualización \delta}$

${\displaystyle {\mathcal {f}}_{r}(h,t)=\delta (\tau (h,r),t)}$

Los modelos geométricos son similares al modelo de descomposición tensorial, pero la principal diferencia entre ambos es que deben preservar la aplicabilidad de la transformación en el espacio geométrico en el que está definida. ^[5]${\estilo de visualización \tau}$

Esta clase de modelos está inspirada en la idea de invariancia de traducción introducida en word2vec . ^[7] Un modelo de traducción pura se basa en el hecho de que el vector de incrustación de las entidades está cerca uno del otro después de aplicar una traducción relacional adecuada en el espacio geométrico en el que están definidas. ^[18] En otras palabras, dado un hecho, cuando la incrustación de la cabeza se suma a la incrustación de la relación, el resultado esperado debería ser la incrustación de la cola. ^[5] La proximidad de la incrustación de las entidades está dada por alguna medida de distancia y cuantifica la confiabilidad de un hecho. ^[17]

• TransE ^[9] : Este modelo utiliza una función de puntuación que obliga a las incrustaciones a satisfacer una ecuación de suma vectorial simple en cada hecho en el que aparecen: . ^[7] La ​​incrustación será exacta si cada entidad y relación aparece en un solo hecho y, por esta razón, en la práctica no representa bien las relaciones uno a muchos , muchos a uno y asimétricas . ^{[5] [7]}${\displaystyle h+r=t}$
• TransH ^[28] : Es una evolución de TransE que introduce un hiperplano como espacio geométrico para resolver el problema de representar correctamente los tipos de relaciones. ^[28] En TransH, cada relación tiene una representación incrustada diferente, en un hiperplano diferente, en función de las entidades con las que interactúa. ^[7] Por lo tanto, para calcular, por ejemplo, la función de puntuación de un hecho, la representación incrustada de la cabeza y la cola debe proyectarse utilizando una matriz de proyección relacional en el hiperplano correcto de la relación. ^{[1] [7]}
• TransR ^[29] : TransR es una evolución de TransH porque utiliza dos espacios diferentes para representar la representación incrustada de las entidades y las relaciones, ^{[1] [18]} y separa completamente el espacio semántico de entidades y relaciones. ^[7] Además TransR utiliza una matriz de proyección relacional para traducir la incrustación de las entidades al espacio de relaciones. ^[7]
• TransD : ^[30] Dado un hecho, en TransR, la cabeza y la cola de un hecho podrían pertenecer a dos tipos diferentes de entidades, por ejemplo, en el hecho , Obama y EE. UU. son dos entidades pero una es una persona y la otra es un país. ^{[30] [7]} La ​​multiplicación de matrices también es un procedimiento costoso en TransR para calcular la proyección. ^{[7] [30]} En este contexto, TransD emplea dos vectores para cada par entidad-relación para calcular un mapeo dinámico que sustituye la matriz de proyección al tiempo que reduce la complejidad dimensional. ^{[1] [7] [30]} El primer vector se utiliza para representar el significado semántico de las entidades y relaciones, el segundo para calcular la matriz de mapeo. ^[30]${\displaystyle (Obama,presidente\_de,EE.UU.)}$
• TransA: ^[31] Todos los modelos traslacionales definen una función de puntuación en su espacio de representación, pero simplifican excesivamente esta pérdida métrica. ^[31] Dado que la representación vectorial de las entidades y relaciones no es perfecta, una traslación pura de podría estar distante de , y una distancia euclidiana equipotencial esférica hace que sea difícil distinguir cuál es la entidad más cercana. ^[31] TransA, en cambio, introduce una distancia de Mahalanobis adaptativa para ponderar las dimensiones de incrustación, junto con superficies elípticas para eliminar la ambigüedad. ^{[1] [7] [31]}${\estilo de visualización h+r}$${\estilo de visualización t}$

Es posible asociar información adicional a cada elemento en el gráfico de conocimiento y sus hechos de representación comunes. ^[1] Cada entidad y relación se puede enriquecer con descripciones de texto, pesos, restricciones y otros para mejorar la descripción general del dominio con un gráfico de conocimiento. ^[1] Durante la incrustación del gráfico de conocimiento, esta información se puede utilizar para aprender incrustaciones especializadas para estas características junto con la representación incrustada habitual de entidades y relaciones, con el costo de aprender un número más significativo de vectores. ^[5]

• STransE: ^[32] Este modelo es el resultado de la combinación de TransE y de la incrustación de estructuras ^[32] de tal manera que es capaz de representar mejor las relaciones uno-a-muchos, muchos-a-uno y muchos-a-muchos . ^[5] Para ello, el modelo implica dos matrices independientes adicionales y para cada relación incrustada en el KG. ^[32] Cada matriz adicional se utiliza en función del hecho de que la relación específica interactúa con la cabeza o la cola del hecho. ^[32] En otras palabras, dado un hecho , antes de aplicar la traducción vectorial, la cabeza se multiplica por y la cola se multiplica por . ^[7]$Estilo de visualización W_{r}^{h}}$$Estilo de visualización W_{r}^{t}}$${\estilo de visualización r}$${\estilo de visualización (h,r,t)}$${\estilo de visualización h}$$Estilo de visualización W_{r}^{h}}$$Estilo de visualización W_{r}^{t}}$
• CrossE : ^[33] Las interacciones cruzadas se pueden utilizar para la selección de información relacionada y podrían ser muy útiles para el procedimiento de incrustación. ^[33] Las interacciones cruzadas proporcionan dos contribuciones distintas en la selección de información: interacciones de relaciones a entidades e interacciones de entidades a relaciones. ^[33] Esto significa que una relación, por ejemplo 'president_of' selecciona automáticamente los tipos de entidades que conectan al sujeto con el objeto de un hecho. ^[33] De manera similar, la entidad de un hecho determina indirectamente cuál es la ruta de inferencia que se debe elegir para predecir el objeto de un triple relacionado. ^[33] CrossE, para hacerlo, aprende una matriz de interacción adicional , usa el producto elemento por elemento para calcular la interacción entre y . ^{[5] [33]} Incluso si CrossE no se basa en una arquitectura de red neuronal, se muestra que esta metodología se puede codificar en dicha arquitectura. ^[1]${\estilo de visualización C}$${\estilo de visualización h}$${\estilo de visualización r}$

Esta familia de modelos, además o en sustitución de una traslación, emplean una transformación de tipo rotación. ^[5]

• TorusE: ^[34] El término de regularización de TransE hace que la entidad incrustada construya un espacio esférico y, en consecuencia, pierde las propiedades de traducción del espacio geométrico. ^{[34] Para abordar este problema, TorusE aprovecha el uso de un} grupo de Lie compacto que en este caso específico es un espacio toral n-dimensional y evita el uso de regularización. ^{[1] [34]} TorusE define las funciones de distancia para sustituir la norma L1 y L2 de TransE. ^[5]
• RotatE: ^[35] RotatE está inspirado en la identidad de Euler e implica el uso del producto de Hadamard para representar una relación como una rotación desde la cabeza hasta la cola en el espacio complejo. ^[35] Para cada elemento del triple, la parte compleja de la incrustación describe una rotación en sentido antihorario con respecto a un eje, que se puede describir con la identidad de Euler, mientras que el módulo del vector de relación es 1. ^[35] Se muestra que el modelo es capaz de incrustar relaciones simétricas, asimétricas, de inversión y de composición a partir del gráfico de conocimiento. ^[35]${\estilo de visualización r}$${\estilo de visualización h}$${\estilo de visualización t}$

Este grupo de modelos de incrustación utiliza redes neuronales profundas para aprender patrones del gráfico de conocimiento que son los datos de entrada. ^[5] Estos modelos tienen la generalidad de distinguir el tipo de entidad y relación, información temporal, información de ruta, información estructurada subyacente, ^[18] y resuelven las limitaciones de los modelos basados ​​en la distancia y en la coincidencia semántica para representar todas las características de un gráfico de conocimiento. ^[1] El uso del aprendizaje profundo para la incrustación de gráficos de conocimiento ha demostrado un buen rendimiento predictivo incluso si son más costosos en la fase de entrenamiento, requieren de muchos datos y, a menudo, requieren una representación de incrustación entrenada previamente del gráfico de conocimiento que proviene de un modelo de incrustación diferente. ^{[1] [5]}

Esta familia de modelos, en lugar de utilizar capas totalmente conectadas, emplea una o más capas convolucionales que convolucionan los datos de entrada aplicando un filtro de baja dimensión capaz de incorporar estructuras complejas con pocos parámetros mediante el aprendizaje de características no lineales. ^{[1] [5] [18]}

• ConvE: ^[36] ConvE es un modelo de incrustación que representa un buen equilibrio entre la expresividad de los modelos de aprendizaje profundo y el costo computacional, ^[17] de hecho, se muestra que utiliza 8 veces menos parámetros, en comparación con DistMult. ^[36] ConvE utiliza una incrustación de tamaño unidimensional para representar las entidades y relaciones de un gráfico de conocimiento. ^{[5] [36]} Para calcular la función de puntuación de un triple, ConvE aplica un procedimiento simple: primero concatena y fusiona las incrustaciones de la cabeza del triple y la relación en un solo dato , luego esta matriz se usa como entrada para la capa convolucional 2D. ^{[5] [17]} Luego, el resultado se pasa a través de una capa densa que aplica una transformación lineal parametrizada por la matriz y al final, con el producto interno se vincula al triple de cola. ^{[5] [18]} ConvE también es particularmente eficiente en el procedimiento de evaluación: utilizando una puntuación 1-N, el modelo combina, dada una cara y una relación, todas las colas al mismo tiempo, ahorrando mucho tiempo de evaluación en comparación con el programa de evaluación 1-1 de los otros modelos. ^[18]${\estilo de visualización d}$${\displaystyle {\ce {[h;{\mathcal {r}}]}}}$${\displaystyle {\mathcal {W}}}$
• ConvR: ^[37] ConvR es una red convolucional adaptativa que tiene como objetivo representar en profundidad todas las interacciones posibles entre las entidades y las relaciones. ^[37] Para esta tarea, ConvR calcula un filtro convolucional para cada relación y, cuando es necesario, aplica estos filtros a la entidad de interés para extraer características convolucionales. ^[37] El procedimiento para calcular la puntuación del triple es el mismo que el de ConvE. ^[5]
• ConvKB: ^[38] ConvKB, para calcular la función de puntuación de una tripleta dada , produce una entrada de dimensión sin reestructurar y la pasa a una serie de filtros convolucionales de tamaño . ^[38] Este resultado alimenta una capa densa con una sola neurona que produce la puntuación final. ^[38] La única neurona final convierte a esta arquitectura en un clasificador binario en el que el hecho puede ser verdadero o falso. ^[5] Una diferencia con ConvE es que no se cambia la dimensionalidad de las entidades. ^[17]${\estilo de visualización (h,r,t)}$${\displaystyle {\ce {[h;{\mathcal {r}};t]}}}$${\displaystyle d\times 3}$${\displaystyle 1\times 3}$

Esta familia de modelos utiliza redes neuronales de cápsula para crear una representación más estable que sea capaz de reconocer una característica en la entrada sin perder información espacial. ^[5] La red está compuesta de capas convolucionales, pero están organizadas en cápsulas, y el resultado general de una cápsula se envía a una cápsula superior decidida por una rutina de proceso dinámico. ^[5]

• CapsE: ^[39] CapsE implementa una red de cápsulas para modelar un hecho . ^[39] Al igual que en ConvKB, cada elemento triple se concatena para construir una matriz y se utiliza para alimentar a una capa convolucional para extraer las características convolucionales. ^{[5] [39]} Estas características se redirigen luego a una cápsula para producir un vector continuo, cuanto más largo es el vector, más verdadero es el hecho. ^[39]${\estilo de visualización (h,r,t)}$${\displaystyle {\ce {[h;{\mathcal {r}};t]}}}$

Esta clase de modelos aprovecha el uso de redes neuronales recurrentes . ^[5] La ventaja de esta arquitectura es memorizar una secuencia de hechos, en lugar de simplemente elaborar eventos individuales. ^[40]

• RSN: ^[40] Durante el proceso de incrustación, se asume comúnmente que entidades similares tienen relaciones similares. ^[40] En la práctica, este tipo de información no se aprovecha, porque la incrustación se calcula solo sobre el hecho en curso en lugar de un historial de hechos. ^[40] Las redes de salto recurrente (RSN) utilizan una red neuronal recurrente para aprender la ruta relacional utilizando un muestreo de caminata aleatoria. ^{[5] [40]}

La tarea de aprendizaje automático para la incrustación de gráficos de conocimiento que se utiliza con más frecuencia para evaluar la precisión de incrustación de los modelos es la predicción de enlaces. ^{[1] [3] [5] [6] [7] [18]} Rossi et al. ^[5] produjeron un extenso punto de referencia de los modelos, pero también otras encuestas producen resultados similares. ^{[3] [7] [18] [25]} El punto de referencia involucra cinco conjuntos de datos FB15k, ^[9] WN18, ^[9] FB15k-237, ^[41] WN18RR, ^[36] y YAGO3-10. ^[42] Más recientemente, se ha discutido que estos conjuntos de datos están muy lejos de las aplicaciones del mundo real, y otros conjuntos de datos deberían integrarse como un punto de referencia estándar. ^[43]

• KGE en GitHub
• MEI-KGE en GitHub
• Pykg2vec en GitHub
• DGL-KE en GitHub
• PyKEEN en GitHub
• TorchKGE en GitHub
• AmpliGraph en GitHub
• OpenKE en GitHub
• scikit-kge en GitHub
• Fast-TransX en GitHub
• MEIM-KGE en GitHub
• DICEE en GitHub

• Gráfico de conocimiento
• Incrustar
• Aprendizaje automático
• Base de conocimientos
• Extracción de conocimiento
• Aprendizaje relacional estadístico
• Aprendizaje de representación
• Incorporación de gráficos

• Punto de referencia Open Graph - Stanford
• WordNet-Princeton