Resumen automático

A partir del trabajo de Turney, ^{[ 15 ]} muchos investigadores han abordado la extracción de frases clave como un problema de aprendizaje automático supervisado . Dado un documento, construimos un ejemplo para cada unigrama , bigrama y trigrama encontrado en el texto (aunque también son posibles otras unidades de texto, como se analiza más adelante). Luego calculamos varias características que describen cada ejemplo (por ejemplo, ¿la frase comienza con una letra mayúscula?). Suponemos que hay frases clave conocidas disponibles para un conjunto de documentos de entrenamiento. Usando las frases clave conocidas, podemos asignar etiquetas positivas o negativas a los ejemplos. Luego aprendemos un clasificador que puede discriminar entre ejemplos positivos y negativos en función de las características. Algunos clasificadores hacen una clasificación binaria para un ejemplo de prueba, mientras que otros asignan una probabilidad de ser una frase clave. Por ejemplo, en el texto anterior, podríamos aprender una regla que dice que las frases con letras mayúsculas iniciales tienen probabilidades de ser frases clave. Después de entrenar un aprendiz, podemos seleccionar frases clave para documentos de prueba de la siguiente manera. Aplicamos la misma estrategia de generación de ejemplos a los documentos de prueba y luego procesamos cada ejemplo con el algoritmo de aprendizaje. Podemos determinar las frases clave analizando las decisiones de clasificación binaria o las probabilidades que devuelve nuestro modelo. Si se proporcionan probabilidades, se utiliza un umbral para seleccionar las frases clave. Los extractores de frases clave se evalúan generalmente mediante precisión y exhaustividad . La precisión mide cuántas de las frases clave propuestas son correctas. La exhaustividad mide cuántas de las frases clave verdaderas propuso el sistema. Ambas medidas se pueden combinar en una puntuación F, que es la media armónica de ambas ( F  =  2 PR / ( P  + R )). Las coincidencias entre las frases clave propuestas y las conocidas se pueden verificar después de aplicar la lematización o alguna otra normalización de texto. 

El diseño de un sistema de extracción de frases clave supervisado implica tomar varias decisiones (algunas de ellas también se aplican a los sistemas no supervisados). La primera decisión es cómo generar los ejemplos. Turney y otros han utilizado todos los unigramas, bigramas y trigramas posibles sin puntuación intermedia y tras eliminar las palabras vacías. Hulth demostró que se puede obtener cierta mejora seleccionando ejemplos que sean secuencias de tokens que coincidan con ciertos patrones de etiquetas de partes de la oración. Idealmente, el mecanismo de generación de ejemplos produce todas las frases clave etiquetadas conocidas como candidatas, aunque esto no suele ser así. Por ejemplo, si solo utilizamos unigramas, bigramas y trigramas, nunca podremos extraer una frase clave conocida que contenga cuatro palabras. Por lo tanto, la exhaustividad puede verse afectada. Sin embargo, generar demasiados ejemplos también puede conducir a una baja precisión.

También necesitamos crear características que describan los ejemplos y que sean lo suficientemente informativas como para permitir que un algoritmo de aprendizaje distinga las frases clave de las que no lo son. Normalmente, estas características incluyen la frecuencia de los términos (cuántas veces aparece una frase en el texto actual o en un corpus más amplio), la longitud del ejemplo, la posición relativa de la primera aparición, diversas características sintácticas booleanas (por ejemplo, si está en mayúsculas), etc. El artículo de Turney utilizó unas 12 de estas características. Hulth utiliza un conjunto reducido de características, que resultaron ser las más eficaces en el algoritmo KEA (Keyphrase Extraction Algorithm), derivado del artículo fundamental de Turney.

En definitiva, el sistema deberá devolver una lista de frases clave para un documento de prueba, por lo que necesitamos un método para limitar su número. Se han utilizado métodos de conjunto (es decir, el uso de votos de varios clasificadores) para generar puntuaciones numéricas que pueden ajustarse a un umbral para proporcionar un número de frases clave definido por el usuario. Esta es la técnica empleada por Turney con los árboles de decisión C4.5. Hulth utilizó un único clasificador binario, de modo que el algoritmo de aprendizaje determina implícitamente el número adecuado.

Una vez creados los ejemplos y las características, necesitamos un método para aprender a predecir las frases clave. Prácticamente cualquier algoritmo de aprendizaje supervisado podría utilizarse, como árboles de decisión, Naive Bayes e inducción de reglas. En el caso del algoritmo GenEx de Turney, se utiliza un algoritmo genético para aprender los parámetros de un algoritmo de extracción de frases clave específico del dominio. El extractor sigue una serie de heurísticas para identificar las frases clave. El algoritmo genético optimiza los parámetros de estas heurísticas en función del rendimiento en documentos de entrenamiento con frases clave conocidas.

Otro algoritmo de extracción de frases clave es TextRank. Si bien los métodos supervisados ​​tienen algunas propiedades interesantes, como la capacidad de producir reglas interpretables sobre qué características caracterizan una frase clave, también requieren una gran cantidad de datos de entrenamiento . Se necesitan muchos documentos con frases clave conocidas. Además, el entrenamiento en un dominio específico tiende a personalizar el proceso de extracción a ese dominio, por lo que el clasificador resultante no es necesariamente portable, como demuestran algunos de los resultados de Turney. La extracción de frases clave no supervisada elimina la necesidad de datos de entrenamiento. Aborda el problema desde un ángulo diferente. En lugar de intentar aprender características explícitas que caracterizan las frases clave, el algoritmo TextRank ^{[ 16 ]} explota la estructura del texto mismo para determinar las frases clave que parecen "centrales" en el texto de la misma manera que PageRank selecciona páginas web importantes. Recordemos que esto se basa en la noción de "prestigio" o "recomendación" de las redes sociales . De esta forma, TextRank no depende de ningún dato de entrenamiento previo, sino que puede ejecutarse sobre cualquier texto y generar resultados basándose únicamente en sus propiedades intrínsecas. Por lo tanto, el algoritmo es fácilmente adaptable a nuevos dominios e idiomas.

TextRank es un algoritmo de clasificación basado en grafos de propósito general para el procesamiento del lenguaje natural (PLN) . Básicamente, ejecuta PageRank en un grafo diseñado específicamente para una tarea particular de PLN. Para la extracción de frases clave, construye un grafo utilizando un conjunto de unidades de texto como vértices. Las aristas se basan en alguna medida de similitud semántica o léxica entre los vértices de las unidades de texto. A diferencia de PageRank, las aristas suelen ser no dirigidas y pueden ponderarse para reflejar un grado de similitud. Una vez construido el grafo, se utiliza para formar una matriz estocástica, combinada con un factor de amortiguación (como en el modelo de navegación aleatoria ), y la clasificación sobre los vértices se obtiene al encontrar el vector propio correspondiente al valor propio 1 (es decir, la distribución estacionaria del paseo aleatorio en el grafo).

Los vértices deben corresponder a lo que queremos clasificar. Potencialmente, podríamos hacer algo similar a los métodos supervisados ​​y crear un vértice para cada unigrama, bigrama, trigrama, etc. Sin embargo, para mantener el grafo pequeño, los autores deciden clasificar los unigramas individuales en un primer paso, y luego incluir un segundo paso que fusiona los unigramas adyacentes mejor clasificados para formar frases de varias palabras. Esto tiene el efecto secundario de permitirnos generar frases clave de longitud arbitraria. Por ejemplo, si clasificamos los unigramas y encontramos que "avanzado", "natural", "lenguaje" y "procesamiento" obtienen altas clasificaciones, entonces examinaríamos el texto original y veríamos que estas palabras aparecen consecutivamente y crearíamos una frase clave final usando las cuatro juntas. Cabe señalar que los unigramas colocados en el grafo se pueden filtrar por categoría gramatical. Los autores encontraron que los adjetivos y los sustantivos eran los mejores para incluir. Por lo tanto, cierto conocimiento lingüístico entra en juego en este paso.

En esta aplicación de TextRank, las aristas se crean en función de la coocurrencia de palabras. Dos vértices se conectan mediante una arista si los unigramas aparecen dentro de una ventana de tamaño N en el texto original. N suele estar entre 2 y 10. Así, "natural" y "lenguaje" podrían estar vinculados en un texto sobre PLN. "Natural" y "procesamiento" también estarían vinculados, ya que ambos aparecerían en la misma cadena de N palabras. Estas aristas se basan en la noción de " cohesión textual " y en la idea de que las palabras que aparecen cerca unas de otras probablemente estén relacionadas de forma significativa y se "recomienden" mutuamente al lector.

Dado que este método simplemente clasifica los vértices individuales, necesitamos un método para establecer un umbral o generar un número limitado de frases clave. La técnica elegida consiste en fijar un valor T como una fracción especificada por el usuario del número total de vértices en el grafo. A continuación, se seleccionan los T vértices/unigramas principales en función de sus probabilidades estacionarias. Posteriormente, se aplica un paso de posprocesamiento para fusionar instancias adyacentes de estos T unigramas. Como resultado, se generarán potencialmente más o menos de T frases clave finales, pero el número debería ser aproximadamente proporcional a la longitud del texto original.

Inicialmente, no resulta claro por qué aplicar PageRank a un grafo de coocurrencia generaría frases clave útiles. Una forma de entenderlo es la siguiente: una palabra que aparece varias veces en un texto puede tener muchos vecinos que coocurren. Por ejemplo, en un texto sobre aprendizaje automático, el unigrama "aprendizaje" podría coocurrir con "máquina", "supervisado", "no supervisado" y "semisupervisado" en cuatro oraciones diferentes. Por lo tanto, el vértice "aprendizaje" sería un "nodo" central que conecta con estas otras palabras modificadoras. Al aplicar PageRank/TextRank al grafo, es probable que "aprendizaje" tenga una alta clasificación. De manera similar, si el texto contiene la frase "clasificación supervisada", entonces habría una arista entre "supervisado" y "clasificación". Si "clasificación" aparece en varios otros lugares y, por lo tanto, tiene muchos vecinos, su importancia contribuiría a la importancia de "supervisado". Si obtiene una alta clasificación, se seleccionará como uno de los principales unigramas T, junto con "aprendizaje" y probablemente "clasificación". En el paso final de posprocesamiento, obtendríamos las palabras clave "aprendizaje supervisado" y "clasificación supervisada".

En resumen, el grafo de coocurrencia contendrá regiones densamente conectadas para términos que aparecen con frecuencia y en diferentes contextos. Un recorrido aleatorio sobre este grafo tendrá una distribución estacionaria que asigna altas probabilidades a los términos en los centros de los clústeres. Esto es similar a cómo las páginas web densamente conectadas obtienen una alta clasificación en PageRank. Este enfoque también se ha utilizado en la generación de resúmenes de documentos, que se analiza más adelante.

La generación supervisada de resúmenes de texto es muy similar a la extracción supervisada de frases clave. Básicamente, si se dispone de una colección de documentos y resúmenes generados por humanos, se pueden aprender características de las oraciones que las convierten en buenas candidatas para su inclusión en el resumen. Estas características pueden incluir la posición en el documento (es decir, las primeras oraciones suelen ser importantes), el número de palabras, etc. La principal dificultad en la generación supervisada de resúmenes extractivos radica en que los resúmenes conocidos deben crearse manualmente extrayendo oraciones para que las oraciones de un documento de entrenamiento original puedan etiquetarse como "en el resumen" o "no en el resumen". Este no es el método habitual para crear resúmenes, por lo que el simple uso de resúmenes de revistas o resúmenes existentes no suele ser suficiente. Las oraciones de estos resúmenes no necesariamente coinciden con las del texto original, por lo que sería difícil asignar etiquetas a los ejemplos para el entrenamiento. Sin embargo, cabe destacar que estos resúmenes naturales aún pueden utilizarse para fines de evaluación, ya que la evaluación ROUGE-1 solo considera unigramas.

Durante los talleres de evaluación DUC 2001 y 2002, TNO desarrolló un sistema de extracción de oraciones para la generación de resúmenes de múltiples documentos en el ámbito de las noticias. El sistema se basaba en un sistema híbrido que utilizaba un clasificador Naive Bayes y modelos estadísticos del lenguaje para modelar la relevancia. Si bien el sistema arrojó buenos resultados, los investigadores quisieron explorar la eficacia de un clasificador de máxima entropía (ME) para la tarea de resumen de reuniones, dado que se sabe que ME es robusto frente a las dependencias de características. La máxima entropía también se ha aplicado con éxito para la generación de resúmenes en el ámbito de las noticias de radio y televisión.

Un enfoque prometedor es la generación de resúmenes adaptativos de documentos/textos. ^{[ 17 ]} Consiste en reconocer primero el género del texto y luego aplicar algoritmos de resumen optimizados para dicho género. Ya se ha creado software para ello. ^{[ 18 ]}

El enfoque no supervisado para la generación de resúmenes es bastante similar en esencia a la extracción no supervisada de frases clave y evita el problema del costoso conjunto de datos de entrenamiento. Algunos enfoques de resumen no supervisado se basan en encontrar una oración " centroide ", que es el vector de palabras promedio de todas las oraciones del documento. Luego, las oraciones se pueden clasificar según su similitud con esta oración centroide.

Una forma más rigurosa de estimar la importancia de las oraciones es mediante paseos aleatorios y centralidad de vector propio. LexRank ^{[ 19 ]} es un algoritmo prácticamente idéntico a TextRank, y ambos utilizan este enfoque para la generación de resúmenes de documentos. Los dos métodos fueron desarrollados por diferentes grupos simultáneamente, y LexRank se centró simplemente en la generación de resúmenes, pero podría utilizarse igualmente para la extracción de frases clave o cualquier otra tarea de clasificación en PLN.

Tanto en LexRank como en TextRank, se construye un gráfico creando un vértice para cada oración del documento.

Las conexiones entre oraciones se basan en algún tipo de similitud semántica o superposición de contenido. Mientras que LexRank utiliza la similitud del coseno de los vectores TF-IDF , TextRank emplea una medida muy similar basada en el número de palabras que dos oraciones tienen en común ( normalizado por la longitud de las oraciones). El artículo de LexRank exploró el uso de conexiones sin ponderación tras aplicar un umbral a los valores del coseno, pero también experimentó con conexiones con ponderaciones iguales a la puntuación de similitud. TextRank utiliza puntuaciones de similitud continuas como ponderaciones.

En ambos algoritmos, las oraciones se clasifican aplicando PageRank al grafo resultante. Se genera un resumen combinando las oraciones mejor clasificadas, utilizando un umbral o límite de longitud para restringir el tamaño del resumen.

Cabe destacar que TextRank se aplicó a la generación de resúmenes tal como se describe aquí, mientras que LexRank se utilizó como parte de un sistema de resumen más amplio ( MEAD ) que combina la puntuación de LexRank (probabilidad estacionaria) con otras características como la posición y la longitud de la oración mediante una combinación lineal con ponderaciones especificadas por el usuario o ajustadas automáticamente. En este caso, podrían ser necesarios algunos documentos de entrenamiento, aunque los resultados de TextRank muestran que las características adicionales no son absolutamente necesarias.

A diferencia de TextRank, LexRank se ha aplicado a la generación de resúmenes de múltiples documentos.

La generación de resúmenes de múltiples documentos es un procedimiento automático que extrae información de varios textos sobre el mismo tema. El informe resumido resultante permite a los usuarios, como los consumidores de información profesionales, familiarizarse rápidamente con la información contenida en un gran conjunto de documentos. De esta forma, los sistemas de resumen de múltiples documentos complementan a los agregadores de noticias , dando un paso más en la gestión de la sobrecarga de información . La generación de resúmenes de múltiples documentos también puede realizarse en respuesta a una pregunta. ^{[ 20 ] [ 11 ]}

La generación de resúmenes de múltiples documentos crea informes concisos y completos. Al reunir y organizar diferentes opiniones, cada tema se describe desde múltiples perspectivas en un solo documento. Si bien el objetivo de un resumen breve es simplificar la búsqueda de información y reducir el tiempo al señalar los documentos fuente más relevantes, un resumen completo de múltiples documentos debe contener la información necesaria, limitando así la necesidad de acceder a los archivos originales a los casos en que se requiera mayor precisión. Los resúmenes automáticos presentan información extraída de múltiples fuentes mediante algoritmos, sin ningún tipo de edición ni intervención humana subjetiva, lo que garantiza su total imparcialidad.