Modelo de tema

En el procesamiento del lenguaje natural , un modelo de temas es un tipo de modelo probabilístico , neuronal o algebraico para descubrir los temas abstractos que aparecen en una colección de documentos. El modelado de temas es una herramienta de minería de texto de uso frecuente para descubrir características y estructuras semánticas ocultas en un texto. Los temas producidos por los modelos de temas se generan a través de diversos marcos matemáticos, incluidos modelos generativos probabilísticos, métodos de factorización matricial basados ​​en la coocurrencia de palabras y algoritmos de agrupamiento aplicados a incrustaciones semánticas . ^{[ 1 ] [ 2 ] [ 3 ]}

Los modelos de temas se utilizan comúnmente para organizar y descubrir características latentes en grandes colecciones de texto no estructurado y otras formas de macrodatos . ^{[ 4 ] [ 5 ]} Más allá de la minería de texto, los modelos de temas también se han utilizado para descubrir estructuras latentes en campos como la información genética , la bioinformática , la visión artificial y las redes sociales . ^{[ 6 ] [ 7 ]}

Un modelo de temas temprano fue descrito por Papadimitriou, Raghavan, Tamaki y Vempala en 1998. ^{[ 8 ]} Otro, llamado análisis semántico latente probabilístico (PLSA), fue creado por Thomas Hofmann en 1999. ^{[ 9 ]} La asignación latente de Dirichlet (LDA), quizás el modelo de temas más común en uso actualmente, es una generalización de PLSA. Desarrollado por David Blei , Andrew Ng y Michael I. Jordan en 2002, LDA introduce distribuciones previas de Dirichlet dispersas sobre distribuciones documento-tema y tema-palabra, codificando la intuición de que los documentos cubren un número pequeño de temas y que los temas a menudo usan un número pequeño de palabras. ^{[ 10 ]} Otros modelos de temas son generalmente extensiones de LDA, como la asignación de Pachinko , que mejora LDA al modelar correlaciones entre temas además de las correlaciones de palabras que constituyen los temas. El análisis jerárquico de árboles latentes ( HLTA ) es una alternativa al LDA, que modela la coocurrencia de palabras utilizando un árbol de variables latentes y los estados de las variables latentes, que corresponden a grupos difusos de documentos, se interpretan como temas.

Los enfoques para la información temporal incluyen la determinación de Block y Newman de la dinámica temporal de los temas en la Pennsylvania Gazette durante 1728–1800. Griffiths y Steyvers utilizaron el modelado de temas en resúmenes de la revista PNAS para identificar temas que aumentaron o disminuyeron en popularidad de 1991 a 2001, mientras que Lamba y Madhusushan ^{[ 11 ]} utilizaron el modelado de temas en artículos de investigación de texto completo recuperados de la revista DJLIT de 1981 a 2018. En el campo de la bibliotecología y la ciencia de la información, Lamba y Madhusudhan ^{[ 11 ] [ 12 ] [ 13 ] [ 14 ]} aplicaron el modelado de temas en diferentes recursos indios como artículos de revistas y tesis y recursos electrónicos (ETD). Nelson ^{[ 15 ]} ha estado analizando el cambio en los temas a lo largo del tiempo en el Richmond Times-Dispatch para comprender los cambios y continuidades sociales y políticos en Richmond durante la Guerra Civil Estadounidense . Yang, Torget y Mihalcea aplicaron métodos de modelado de temas a periódicos desde 1829 hasta 2008. Mimno utilizó el modelado de temas con 24 revistas sobre filología clásica y arqueología que abarcan 150 años para analizar cómo cambian los temas en las revistas con el tiempo y cómo las revistas se vuelven más diferentes o similares con el paso del tiempo.

Yin et al. ^{[ 16 ]} introdujeron un modelo de temas para documentos distribuidos geográficamente, donde las posiciones de los documentos se explican por regiones latentes que se detectan durante la inferencia.

Chang y Blei ^{[ 17 ]} incluyeron información de red entre documentos vinculados en el modelo de tema relacional, para modelar los vínculos entre sitios web.

El modelo autor-tema de Rosen-Zvi et al. ^{[ 18 ]} modela los temas asociados con los autores de los documentos para mejorar la detección de temas para documentos con información de autoría.

HLTA se aplicó a una colección de artículos de investigación recientes publicados en importantes foros de IA y aprendizaje automático. El modelo resultante se llama The AI ​​Tree . Los temas resultantes se utilizan para indexar los artículos en aipano.cse.ust.hk para ayudar a los investigadores a seguir las tendencias de investigación e identificar artículos para leer , y para ayudar a los organizadores de conferencias y editores de revistas a identificar revisores para las presentaciones .

Para mejorar los aspectos cualitativos y la coherencia de los temas generados, algunos investigadores han explorado la eficacia de las "puntuaciones de coherencia", o dicho de otro modo, cómo los clústeres extraídos por computadora (es decir, los temas) se alinean con un punto de referencia humano. ^{[ 19 ] [ 20 ]} Las puntuaciones de coherencia son métricas para optimizar la cantidad de temas a extraer de un corpus de documentos. ^{[ 21 ]}

En la práctica, los investigadores intentan ajustar parámetros de modelo apropiados al corpus de datos utilizando una de varias heurísticas para el ajuste de máxima verosimilitud. Un estudio de D. Blei describe este conjunto de algoritmos. ^{[ 22 ]} Varios grupos de investigadores, comenzando con Papadimitriou et al. ^{[ 8 ]} , han intentado diseñar algoritmos con garantías demostrables. Suponiendo que los datos fueron generados realmente por el modelo en cuestión, intentan diseñar algoritmos que probablemente encuentren el modelo que se usó para crear los datos. Las técnicas utilizadas aquí incluyen la descomposición en valores singulares (SVD) y el método de los momentos . En 2012 se introdujo un algoritmo basado en la factorización de matrices no negativas (NMF) que también se generaliza a modelos de temas con correlaciones entre temas. ^{[ 23 ]}

Desde 2017, las redes neuronales se han utilizado en el modelado de temas para mejorar la velocidad de inferencia, ^{[ 24 ]} y han dado lugar a avances como vONTSS, que permite a los humanos incorporar conocimiento del dominio mediante aprendizaje débilmente supervisado. ^{[ 25 ]}

En 2018, se propuso un nuevo enfoque para los modelos de temas basado en el modelo de bloques estocásticos . ^{[ 26 ]}

El modelado de temas ha aprovechado los LLM a través de la incrustación contextual ^{[ 27 ]} y el ajuste fino. ^{[ 28 ]}

• Modelo de tema dinámico
• Aprendizaje no supervisado
• Análisis semántico explícito
• análisis semántico latente
• asignación de Dirichlet latente
• Proceso de Dirichlet jerárquico
• Factorización de matrices no negativas
• Clasificación estadística
• Incrustaciones de oraciones

• Steyvers, Mark; Griffiths, Tom (2007). «Modelos de temas probabilísticos» . En Landauer, T.; McNamara, D.; Dennis, S.; et  al. (eds.). Manual de análisis semántico latente (PDF) . Psychology Press. ISBN 978-0-8058-5418-3Archivado del original (PDF) el 24 de junio de 2013.
• Blei, DM; Lafferty, JD (2009). "Modelos de temas" (PDF) .
• Blei, D.; Lafferty, J. (2007). "Un modelo de temas correlacionados de la ciencia ". Annals of Applied Statistics . 1 (1): 17– 35. arXiv : 0708.3601 . doi : 10.1214/07-AOAS114 . S2CID 8872108 . 
• Mimno, D. (abril de 2012). "Historiografía computacional: minería de datos en un siglo de revistas de estudios clásicos" (PDF) . Journal on Computing and Cultural Heritage . 5 (1): 1– 19. doi : 10.1145/2160165.2160168 . S2CID 12153151 . 
• Marwick, Ben (2013). «Descubrimiento de temas y controversias emergentes en antropología mediante minería de texto, modelado de temas y análisis de redes sociales de contenido de microblogs» . En Yanchang, Zhao; Yonghua, Cen (eds.). Aplicaciones de minería de datos con R. Elsevier. pp. 63–93 . doi : 10.1016/B978-0-12-411511-8.00003-7 . ISBN  978-0-12-411511-8.
• Jockers, M. 2010 ¿Quién es tu compañero de blog de Humanidades Digitales?: Conectando a los blogueros de Humanidades Digitales con el modelado de temas Matthew L. Jockers, publicado el 19 de marzo de 2010
• Drouin, J. 2011. Incursión en el modelado de temas. Archivo Proust Eclesiástico. Publicado el 17 de marzo de 2011.
• Templeton, C. 2011. Modelado de temas en humanidades: una visión general. Blog del Instituto de Tecnología en Humanidades de Maryland. Publicado el 1 de agosto de 2011.
• Griffiths, T.; Steyvers, M. (2004). " Encontrar temas científicos" . Actas de la Academia Nacional de Ciencias . 101 (Supl. 1): 5228–35 . Bibcode : 2004PNAS..101.5228G . doi : 10.1073/pnas.0307752101 . PMC 387300. PMID 14872004 .  
• Yang, T., A. Torget y R. Mihalcea (2011) Modelado de temas en periódicos históricos. Actas del 5.º Taller ACL-HLT sobre Tecnología del Lenguaje para el Patrimonio Cultural, las Ciencias Sociales y las Humanidades . The Association for Computational Linguistics, Madison, WI. páginas 96–104.
• Block, S. (enero de 2006). "Haciendo más con la digitalización: una introducción al modelado de temas de fuentes estadounidenses tempranas" . Common-place the Interactive Journal of Early American Life . 6 (2).
• Newman, D.; Block, S. (marzo de 2006). "Descomposición probabilística de temas de un periódico del siglo XVIII" (PDF) . Journal of the American Society for Information Science and Technology . 57 (5): 753– 767. doi : 10.1002/asi.20342 . S2CID 1484286 . 

• Mimno, David. "Bibliografía de modelado de temas" .
• Brett, Megan R. "Modelado de temas: una introducción básica" . Revista de Humanidades Digitales.
• Modelos de temas aplicados a noticias y reseñas en línea. Video de una presentación de Google Tech Talk a cargo de Alice Oh sobre modelado de temas con LDA.
• Modelado de la ciencia: Modelos de temas dinámicos de la investigación académica. Vídeo de una presentación de Google Tech Talk a cargo de David M. Blei.
• Modelos automatizados de temas en ciencia política. Vídeo de una presentación de Brandon Stewart en el taller Tools for Text , 14 de junio de 2010.
• Shawn Graham, Ian Milligan y Scott Weingart, «Introducción al modelado de temas y MALLET» . The Programming Historian. Archivado del original el 28 de agosto de 2014. Consultado el 29 de mayo de 2014 .
• Blei, David M. "Material y software introductorios"
• código , demo - ejemplo de uso de LDA para modelado de temas