Estructuración de documentos

La estructuración de documentos es una subtarea de la generación de lenguaje natural , que consiste en decidir el orden y la agrupación (por ejemplo, en párrafos) de las oraciones en un texto generado. Está estrechamente relacionada con la tarea de determinación de contenido en la generación de lenguaje natural.

Supongamos que tenemos cuatro oraciones que queremos incluir en un texto generado.

1. Lloverá el sábado
2. El domingo hará sol.
3. La temperatura máxima será de 10  °C el sábado.
4. La temperatura máxima será de 15  °C el domingo.

Hay 24 (4!) ordenaciones de estos mensajes, incluyendo

• (1234) Lloverá el sábado. Hará sol el domingo. La temperatura máxima será de 10  °C el sábado. La temperatura máxima será de 15  °C el domingo.
• (2341) Hará sol el domingo. La temperatura máxima será de 10  °C el sábado. La temperatura máxima será de 15  °C el domingo. Lloverá el sábado.
• (4321) La temperatura máxima será de 15  °C el domingo. La temperatura máxima será de 10  °C el sábado. Hará sol el domingo. Lloverá el sábado.

Algunos de estos ordenamientos son mejores que otros. Por ejemplo, de los textos mostrados arriba, los lectores humanos prefieren (1234) sobre (2314) y (4321).

Para cualquier ordenación, también hay muchas maneras en que las oraciones pueden agruparse en párrafos y estructuras de nivel superior como secciones. Por ejemplo, hay 8 (2**3) maneras en que las oraciones en (1234) pueden agruparse en párrafos, incluyendo

• (12)(34)

El sábado lloverá. El domingo hará sol.

La temperatura máxima será de 10  °C el sábado. La temperatura máxima será de 15  °C el domingo.

• (1)(23)(4)

Lloverá el sábado.

El domingo hará sol. La temperatura máxima será de 10  °C el sábado.

La temperatura máxima será de 15  °C el domingo.

Al igual que con el ordenamiento, los lectores humanos prefieren algunas agrupaciones sobre otras; por ejemplo, (12)(34) se prefiere sobre (1)(23)(4).

La tarea de estructurar un documento consiste en elegir un orden y una agrupación de oraciones que den como resultado un texto coherente y bien organizado desde la perspectiva del lector.

Existen tres enfoques básicos para la estructuración de documentos: esquemas, basados ​​en corpus y heurísticos .

Los esquemas ^{[ 1 ]} son ​​plantillas que especifican explícitamente el orden y la agrupación de las oraciones de un documento (así como la información para la determinación del contenido ). Generalmente, se construyen analizando manualmente un corpus de textos escritos por humanos del género objetivo y extrayendo una plantilla de documento a partir de estos textos. Los esquemas funcionan bien en la práctica para textos cortos (5 oraciones o menos) y/o con una estructura estandarizada, pero presentan problemas para generar textos más largos y sin una estructura fija.

Las técnicas de estructuración basadas en corpus utilizan técnicas de análisis estadístico de corpus para construir automáticamente modelos de ordenación y/o agrupación. Estas técnicas son comunes en la generación automática de resúmenes , donde un programa informático genera automáticamente un resumen de un documento de texto. ^{[ 2 ]} En principio, podrían aplicarse a textos generados a partir de datos no lingüísticos, pero este trabajo está en sus inicios; parte del desafío radica en que se espera que los textos generados por sistemas de generación de lenguaje natural sean generalmente de bastante alta calidad, lo cual no siempre ocurre con los textos generados por sistemas de resumen automático.

El enfoque final es la estructuración basada en heurísticas. Estos algoritmos realizan la tarea de estructuración basándose en reglas heurísticas, que pueden provenir de teorías de la retórica, ^{[ 3 ]} modelos psicolingüísticos, ^{[ 4 ]} y/o una combinación de intuición y retroalimentación de experimentos piloto con usuarios potenciales. ^{[ 5 ]} La estructuración basada en heurísticas es atractiva intelectualmente, pero puede ser difícil lograr que funcione bien en la práctica, en parte porque las heurísticas a menudo dependen de información semántica (cómo se relacionan las oraciones entre sí) que no siempre está disponible. ^{[ 6 ]} Por otro lado, las reglas heurísticas pueden centrarse en lo que es mejor para los lectores de texto, mientras que los otros enfoques se centran en imitar a los autores (y muchos textos escritos por humanos no están bien estructurados).

Los enfoques más recientes, basados ​​en el aprendizaje profundo y en grandes modelos de lenguaje, suelen tratar la estructuración de documentos como parte de la generación neuronal de texto de extremo a extremo, aprendiendo el ordenamiento y la agrupación implícitamente a partir de grandes corpus de entrenamiento. Sin embargo, estos sistemas aún pueden presentar problemas de coherencia y organización del discurso. ^{[ 7 ] [ 8 ]}

Quizás el mayor desafío en la estructuración de documentos sea generar una buena narrativa ; es decir, un texto que comience por contextualizar la situación y ofrecer una introducción o panorama general; que luego describa una serie de eventos de forma clara, de manera que los lectores puedan comprender fácilmente cómo se relacionan entre sí; y que concluya con un resumen o conclusión. Cabe señalar que la narrativa, en este sentido, se aplica tanto a textos informativos como a relatos. Los sistemas actuales de generación de lenguaje natural (GLN) no generan narrativas de forma eficaz, lo que constituye una importante fuente de críticas por parte de los usuarios. ^{[ 9 ]}

Generar buenas narrativas supone un reto para todos los aspectos de la generación de lenguaje natural, pero el desafío más fundamental reside probablemente en la estructuración de los documentos.