semántica distribucional

La semántica distribucional ^{[ 1 ]} es un área de investigación que desarrolla y estudia teorías y métodos para cuantificar y categorizar las similitudes semánticas entre elementos lingüísticos basándose en sus propiedades distribucionales en grandes muestras de datos lingüísticos. La idea básica de la semántica distribucional se puede resumir en la hipótesis distribucional : los elementos lingüísticos con distribuciones similares tienen significados similares.

La hipótesis distribucional en lingüística se deriva de la teoría semántica del uso del lenguaje, es decir, las palabras que se usan y aparecen en los mismos contextos tienden a tener significados similares. ^{[ 2 ]}

La idea subyacente de que "una palabra se caracteriza por la compañía que frecuenta" fue popularizada por Firth en la década de 1950. ^{[ 3 ]}

La hipótesis distribucional es la base de la semántica estadística . Aunque la hipótesis distribucional se originó en la lingüística, ^{[ 4 ] [ 5 ]} ahora está recibiendo atención en la ciencia cognitiva, especialmente en lo que respecta al contexto del uso de las palabras. ^{[ 6 ]}

En los últimos años, la hipótesis distributiva ha proporcionado la base para la teoría de la generalización basada en la similitud en el aprendizaje de idiomas: la idea de que los niños pueden descubrir cómo usar palabras que rara vez han encontrado antes generalizando sobre su uso a partir de distribuciones de palabras similares. ^{[ 7 ] [ 8 ]}

La hipótesis distribucional sugiere que cuanto más similares sean semánticamente dos palabras, más similares serán a su vez en cuanto a su distribución, y por lo tanto, más tenderán a aparecer en contextos lingüísticos similares.

No está claro si esta sugerencia tiene implicaciones significativas tanto para el problema de la escasez de datos en el modelado computacional ^{[ 9 ]} como para la cuestión de cómo los niños son capaces de aprender el lenguaje tan rápidamente con una entrada relativamente pobre (esto también se conoce como el problema de la pobreza del estímulo ).

La semántica distribucional favorece el uso del álgebra lineal como herramienta computacional y marco de representación. El enfoque básico consiste en recopilar información distribucional en vectores de alta dimensión y definir la similitud distribucional/semántica en términos de similitud vectorial. ^{[ 10 ]} Se pueden extraer diferentes tipos de similitudes según el tipo de información distribucional que se utilice para recopilar los vectores: las similitudes temáticas se pueden extraer completando los vectores con información sobre las regiones de texto en las que aparecen los elementos lingüísticos; las similitudes paradigmáticas se pueden extraer completando los vectores con información sobre con qué otros elementos lingüísticos coocurren los elementos. Cabe señalar que este último tipo de vectores también se puede utilizar para extraer similitudes sintagmáticas analizando los componentes individuales del vector.

La idea básica de una correlación entre la similitud distribucional y semántica puede operacionalizarse de muchas maneras diferentes. Existe una rica variedad de modelos computacionales que implementan la semántica distribucional, incluyendo el análisis semántico latente (LSA), ^{[ 11 ] [ 12 ]} el Hyperspace Analogue to Language (HAL), modelos basados ​​en sintaxis o dependencia, ^{[ 13 ]} indexación aleatoria , plegado semántico ^{[ 14 ]} y varias variantes del modelo de temas . ^{[ 15 ]}

Los modelos semánticos distribucionales difieren principalmente con respecto a los siguientes parámetros:

• Tipo de contexto (regiones de texto frente a elementos lingüísticos)
• Ventana de contexto (tamaño, extensión, etc.)
• Ponderación de frecuencia (por ejemplo , entropía , información mutua puntual , ^{[ 16 ]} etc.)
• Reducción de dimensionalidad (por ejemplo, indexación aleatoria , descomposición en valores singulares , etc.)
• Medida de similitud (por ejemplo, similitud del coseno , distancia de Minkowski , etc.)

Los modelos semánticos distribucionales que utilizan elementos lingüísticos como contexto también se han denominado modelos de espacio de palabras o de espacio vectorial . ^{[ 17 ] [ 18 ]}

Aunque la semántica distribucional se ha aplicado típicamente a elementos léxicos —palabras y términos multipalabra— con considerable éxito, sobre todo debido a su aplicabilidad como capa de entrada para modelos de aprendizaje profundo inspirados en redes neuronales, la semántica léxica , es decir, el significado de las palabras, solo abarca parte de la semántica de una oración completa. El significado de una cláusula, por ejemplo, "Los tigres aman a los conejos" , solo puede entenderse parcialmente al examinar el significado de los tres elementos léxicos que la componen. La semántica distribucional puede extenderse fácilmente para abarcar elementos lingüísticos más grandes, como las construcciones, con y sin elementos no instanciados, pero es necesario ajustar algunos de los supuestos básicos del modelo. La gramática de construcciones y su formulación del continuo léxico-sintáctico ofrecen un enfoque para incluir construcciones más elaboradas en un modelo semántico distribucional, y se han implementado algunos experimentos utilizando el enfoque de indexación aleatoria. ^{[ 19 ]}

Los modelos semánticos distribucionales composicionales extienden los modelos semánticos distribucionales mediante funciones semánticas explícitas que utilizan reglas sintácticas para combinar la semántica de las unidades léxicas participantes en un modelo composicional que caracteriza la semántica de frases u oraciones completas. Este trabajo fue propuesto originalmente por Stephen Clark, Bob Coecke y Mehrnoosh Sadrzadeh de la Universidad de Oxford en su artículo de 2008, "Un modelo distribucional composicional del significado". ^{[ 20 ]} Se han explorado diferentes enfoques de composición, incluidos los modelos neuronales, y se están debatiendo en talleres establecidos como SemEval . ^{[ 21 ]}

Los modelos semánticos distribucionales se han aplicado con éxito a las siguientes tareas:

• encontrar similitud semántica entre palabras y expresiones compuestas por varias palabras;
• Agrupación de palabras basada en la similitud semántica;
• Creación automática de tesauros y diccionarios bilingües;
• desambiguación del sentido de las palabras ;
• Ampliar las solicitudes de búsqueda utilizando sinónimos y asociaciones;
• definir el tema de un documento;
• Agrupación de documentos para la recuperación de información ;
• minería de datos y reconocimiento de entidades nombradas ;
• creación de mapas semánticos de diferentes dominios temáticos;
• parafraseando ;
• análisis de sentimientos ;
• modelado de preferencias de selección de palabras.

• Espacio S
• Vectores semánticos
• Gensim
• Constructor de DISCO
• Indra

• Parecido familiar : idea filosófica popularizada por Ludwig Wittgenstein. 
• Espacio conceptual
• Coocurrencia
• Base de datos distribucional-relacional
• Gensim
• Frase
• Indexación aleatoria
• Incrustaciones de oraciones
• semántica estadística
• Word2vec
• Incrustaciones de palabras

• Zellig S. Harris