Word2vec

La idea de CBOW es representar cada palabra con un vector, de manera que sea posible predecir una palabra utilizando la suma de los vectores de sus vecinos. Específicamente, para cada palabra${\displaystyle w_{i}}$En el corpus, la codificación one-hot de la palabra se utiliza como entrada para la red neuronal. La salida de la red neuronal es una distribución de probabilidad sobre el diccionario, que representa una predicción de palabras individuales en el vecindario de${\displaystyle w_{i}}$El objetivo del entrenamiento es maximizar${\displaystyle \sum _{i}\ln \Pr(w_{i}\mid w_{i+j}\colon j\in N)}$dónde${\displaystyle N}$es un conjunto de índices (distintos de cero) que representan las ubicaciones relativas de palabras cercanas consideradas en${\displaystyle w_{i}}$barrio de.

Por ejemplo, si queremos que cada palabra del corpus sea predicha por todas las demás palabras en un pequeño intervalo de 4 palabras, el conjunto de índices relativos de palabras vecinas será:${\displaystyle N=\{-2,-1,+1,+2\}}$y el objetivo es maximizar${\displaystyle \sum _{i}\ln \Pr(w_{i}\mid w_{i-2},w_{i-1},w_{i+1},w_{i+2})}$.

En el modelo estándar de bolsa de palabras, el contexto de una palabra se representa mediante un recuento de palabras (también conocido como histograma de palabras ) de sus palabras vecinas. Por ejemplo, "sat" en "the cat sat on the mat" se representa como {"the": 2, "cat": 1, "on": 1}. Nótese que la última palabra, "mat", no se utiliza para representar "sat", porque está fuera del vecindario.${\displaystyle N=\{-2,-1,+1,+2\}}$.

En el modelo continuo de bolsa de palabras, el histograma se multiplica por una matriz.${\displaystyle V}$para obtener una representación continua del contexto de la palabra. La matriz${\displaystyle V}$También se le llama diccionario . Sus columnas son los vectores de palabras. Tiene${\displaystyle D}$columnas, donde${\displaystyle D}$es el tamaño del diccionario. Deje${\displaystyle d}$sea ​​la longitud de cada vector de palabra. Tenemos${\displaystyle V\in \mathbb {R} ^{d\times D}}$.

Por ejemplo, multiplicando la palabra histograma {"the": 2, "cat": 1, "on": 1} con${\displaystyle V}$, obtenemos${\displaystyle 2v_{\text{el}}+v_{\text{gato}}+v_{\text{sobre}}}$.

Luego, esto se multiplica por otra matriz.${\displaystyle V'}$de forma${\displaystyle \mathbb {R} ^{D\times d}}$Cada fila es un vector de palabras.${\displaystyle v'}$. Esto da como resultado un vector de longitud${\displaystyle D}$, una entrada por cada entrada del diccionario. Luego, aplique la función softmax para obtener una distribución de probabilidad sobre el diccionario.

Este sistema puede visualizarse como una red neuronal, similar en esencia a un autoencoder , de arquitectura lineal-lineal- softmax , como se muestra en el diagrama. El sistema se entrena mediante descenso de gradiente para minimizar la pérdida de entropía cruzada .

En su fórmula completa, la pérdida de entropía cruzada es:$${\displaystyle -\sum _{i}\ln {\frac {e^{v_{w_{i}}'\cdot (\sum _{j\in N}v_{w_{j+i}})}}{\sum _{w'}e^{v_{w'}'\cdot (\sum _{j\in N}v_{w_{j+i}})}}}}$$donde la suma externa${\displaystyle \sum _{i}}$es sobre las palabras en un corpus, la cantidad${\displaystyle \sum _{j\in N}v_{w_{j+i}}}$es la suma de los vectores de los vecinos de una palabra, etc.

Una vez que dicho sistema está entrenado, tenemos dos matrices entrenadas.${\displaystyle V,V'}$. Ya sean los vectores columna de${\displaystyle V}$o los vectores fila de${\displaystyle V'}$puede servir como diccionario. Por ejemplo, la palabra "sat" puede representarse como la columna "sat"-ésima de${\displaystyle V}$o la fila "sat" de${\displaystyle V'}$También es posible simplemente definir${\displaystyle V'=V^{\top }}$, en cuyo caso ya no habría opción.

La idea de skip-gram es representar cada palabra con un vector, de manera que sea posible predecir los vectores de sus vecinos utilizando el vector de una palabra.

La arquitectura sigue siendo lineal-lineal-softmax, la misma que CBOW, pero la entrada y la salida están intercambiadas. Específicamente, para cada palabra${\displaystyle w_{i}}$En el corpus, la codificación one-hot de la palabra se utiliza como entrada para la red neuronal. La salida de la red neuronal es una distribución de probabilidad sobre el diccionario, que representa una predicción de palabras individuales en el vecindario de${\displaystyle w_{i}}$El objetivo del entrenamiento es maximizar${\displaystyle \sum _{i}\sum _{j\in N}\ln \Pr(w_{j+i}\mid w_{i})}$.

En su fórmula completa, la función de pérdida es$${\displaystyle -\sum _{i}\sum _{j\in N}\ln {\frac {e^{v_{w_{j+i}}'\cdot v_{w_{i}}}}{\sum _{w'}e^{v_{w'}'\cdot v_{w_{i}}}}}}$$Al igual que con CBOW, una vez que dicho sistema está entrenado, tenemos dos matrices entrenadas.${\displaystyle V,V'}$. Ya sean los vectores columna de${\displaystyle V}$o los vectores fila de${\displaystyle V'}$puede servir como diccionario. También es posible simplemente definir${\displaystyle V'=V^{\top }}$, en cuyo caso ya no habría opción.

En esencia, skip-gram y CBOW tienen exactamente la misma arquitectura. Solo se diferencian en la función objetivo durante el entrenamiento.

Un modelo word2vec puede entrenarse con softmax jerárquico y/o muestreo negativo. Para aproximar la log-verosimilitud condicional que un modelo busca maximizar, el método softmax jerárquico utiliza un árbol de Huffman para reducir el cálculo. El método de muestreo negativo, por otro lado, aborda el problema de maximización minimizando la log-verosimilitud de las instancias negativas muestreadas. Según los autores, softmax jerárquico funciona mejor para palabras poco frecuentes, mientras que el muestreo negativo funciona mejor para palabras frecuentes y con vectores de baja dimensión. ^{[ 3 ]} A medida que aumentan las épocas de entrenamiento, softmax jerárquico deja de ser útil. ^{[ 15 ]}

Las palabras de alta y baja frecuencia suelen proporcionar poca información. Las palabras con una frecuencia superior o inferior a un determinado umbral pueden ser submuestreadas o eliminadas para acelerar el entrenamiento. ^{[ 16 ]}

La calidad de la incrustación de palabras aumenta con una mayor dimensionalidad. Pero después de cierto punto, la ganancia marginal disminuye. ^{[ 1 ]} Normalmente, la dimensionalidad de los vectores se establece entre 100 y 1000.

El tamaño de la ventana de contexto determina cuántas palabras antes y después de una palabra dada se incluyen como palabras de contexto de dicha palabra. Según la nota de los autores, el valor recomendado es 10 para skip-gram y 5 para CBOW. ^{[ 3 ]}

doc2vec genera representaciones distribuidas de fragmentos de texto de longitud variable , como oraciones, párrafos o documentos completos. ^{[ 17 ] [ 18 ]} doc2vec se ha implementado en las herramientas C , Python y Java / Scala (ver más abajo), y las versiones de Java y Python también admiten la inferencia de incrustaciones de documentos en documentos nuevos y no vistos.

doc2vec estima las representaciones distribuidas de documentos de forma muy similar a como word2vec estima las representaciones de palabras: doc2vec utiliza una de dos arquitecturas de modelo, ambas alegorías de las arquitecturas utilizadas en word2vec. La primera, Modelo de Memoria Distribuida de Vectores de Párrafo (PV-DM), es idéntica a CBOW, salvo que también proporciona un identificador de documento único como contexto adicional. La segunda arquitectura, Versión de Bolsa de Palabras Distribuida de Vector de Párrafo (PV-DBOW), es idéntica al modelo skip-gram, excepto que intenta predecir la ventana de palabras de contexto circundantes a partir del identificador de párrafo en lugar de la palabra actual. ^{[ 17 ]}

doc2vec también tiene la capacidad de capturar los "significados" semánticos de elementos adicionales de "contexto" alrededor de las palabras; puede estimar las incrustaciones semánticas para hablantes o atributos de hablantes, grupos y períodos de tiempo. Por ejemplo, doc2vec se ha utilizado para estimar las posiciones políticas de los partidos políticos en varios Congresos y Parlamentos de EE. UU. y Reino Unido, ^{[ 19 ]} respectivamente, y diversas instituciones gubernamentales. ^{[ 20 ]}

Otra extensión de word2vec es top2vec, que aprovecha tanto las incrustaciones de documentos como las de palabras para estimar representaciones distribuidas de temas. ^{[ 21 ] [ 22 ]} top2vec toma las incrustaciones de documentos aprendidas de un modelo doc2vec y las reduce a una dimensión menor (normalmente usando UMAP ). El espacio de documentos se escanea luego usando HDBSCAN , ^{[ 23 ]} y se encuentran clústeres de documentos similares. A continuación, el centroide de los documentos identificados en un clúster se considera el vector de tema de ese clúster. Finalmente, top2vec busca en el espacio semántico incrustaciones de palabras ubicadas cerca del vector de tema para determinar el "significado" del tema. ^{[ 21 ]} La palabra con incrustaciones más similares al vector de tema podría asignarse como el título del tema, mientras que las incrustaciones de palabras lejanas pueden considerarse no relacionadas.

A diferencia de otros modelos de temas como LDA , top2vec proporciona métricas de "distancia" canónicas entre dos temas, o entre un tema y otras incrustaciones (palabra, documento, etc.). Junto con los resultados de HDBSCAN, los usuarios pueden generar jerarquías de temas, o grupos de temas y subtemas relacionados.

Además, un usuario puede utilizar los resultados de top2vec para inferir los temas de documentos fuera de la muestra. Tras inferir la representación vectorial de un nuevo documento, solo es necesario buscar en el espacio de temas el vector de tema más cercano.

Asgari y Mofrad propusieron una extensión de los vectores de palabras para n-gramas en secuencias biológicas (por ejemplo, ADN , ARN y proteínas ) para aplicaciones bioinformáticas . ^{[ 24 ]} Denominados biovectores ( BioVec ) para referirse a secuencias biológicas en general, con vectores de proteínas (ProtVec) para proteínas (secuencias de aminoácidos) y vectores de genes (GeneVec) para secuencias de genes, esta representación puede utilizarse ampliamente en aplicaciones de aprendizaje automático en proteómica y genómica. Los resultados sugieren que los BioVectors pueden caracterizar secuencias biológicas en términos de interpretaciones bioquímicas y biofísicas de los patrones subyacentes. ^{[ 24 ]} Una variante similar, dna2vec, ha demostrado que existe una correlación entre la puntuación de similitud de Needleman-Wunsch y la similitud del coseno de los vectores de palabras dna2vec. ^{[ 25 ]}

^{Banerjee et al. [ 26 ]} propusieron una extensión de los vectores de palabras para crear una representación vectorial densa de informes radiológicos no estructurados. Uno de los mayores desafíos de Word2vec es cómo manejar palabras desconocidas o fuera del vocabulario (OOV) y palabras morfológicamente similares. Si el modelo Word2vec no ha encontrado una palabra en particular antes, se verá obligado a usar un vector aleatorio, que generalmente está lejos de su representación ideal. Esto puede ser un problema particularmente en dominios como la medicina, donde se pueden usar sinónimos y palabras relacionadas según el estilo preferido del radiólogo, y las palabras pueden haber sido usadas con poca frecuencia en un corpus grande.

IWE combina Word2vec con una técnica de mapeo de diccionario semántico para abordar los principales desafíos de la extracción de información de textos clínicos, que incluyen la ambigüedad del estilo narrativo del texto libre, las variaciones léxicas, el uso de frases agramaticales y telegráficas, el orden arbitrario de las palabras y la frecuente aparición de abreviaturas y acrónimos. Cabe destacar que el modelo IWE (entrenado con un conjunto de datos institucional) se tradujo con éxito a un conjunto de datos institucional diferente, lo que demuestra la buena generalización del enfoque entre instituciones.

El uso de diferentes parámetros del modelo y diferentes tamaños de corpus puede afectar significativamente la calidad de un modelo word2vec. La precisión se puede mejorar de varias maneras, incluyendo la elección de la arquitectura del modelo (CBOW o Skip-Gram), el aumento del conjunto de datos de entrenamiento, el aumento del número de dimensiones del vector y el aumento del tamaño de la ventana de palabras consideradas por el algoritmo. Cada una de estas mejoras conlleva un aumento de la complejidad computacional y, por lo tanto, un mayor tiempo de generación del modelo. ^{[ 1 ]}

En modelos que utilizan grandes corpus y un elevado número de dimensiones, el modelo skip-gram ofrece la mayor precisión general y produce de forma consistente la mayor precisión en las relaciones semánticas, además de ofrecer la mayor precisión sintáctica en la mayoría de los casos. Sin embargo, el CBOW es menos costoso computacionalmente y produce resultados de precisión similares. ^{[ 1 ]}

En general, la precisión aumenta con la cantidad de palabras utilizadas y la cantidad de dimensiones. Mikolov et al. ^{[ 1 ]} informan que duplicar la cantidad de datos de entrenamiento resulta en un aumento de la complejidad computacional equivalente a duplicar la cantidad de dimensiones del vector.

Altszyler y coautores (2017) estudiaron el rendimiento de Word2vec en dos pruebas semánticas para diferentes tamaños de corpus. ^{[ 32 ]} Encontraron que Word2vec tiene una curva de aprendizaje pronunciada , superando a otra técnica de incrustación de palabras, el análisis semántico latente (LSA), cuando se entrena con un tamaño de corpus mediano a grande (más de 10 millones de palabras). Sin embargo, con un corpus de entrenamiento pequeño, LSA mostró un mejor rendimiento. Además, muestran que la mejor configuración de parámetros depende de la tarea y del corpus de entrenamiento. No obstante, para los modelos skip-gram entrenados en corpus de tamaño mediano, con 50 dimensiones, un tamaño de ventana de 15 y 10 muestras negativas parece ser una buena configuración de parámetros.

• do
• DO#
• Python (Spark)
• Python (TensorFlow)
• Python (Gensim)
• Java/Scala
• R