Segmentación de texto

La segmentación de palabras es el problema de dividir una cadena de lenguaje escrito en sus palabras componentes.

En inglés y muchos otros idiomas que utilizan alguna forma del alfabeto latino , el espacio es una buena aproximación a un separador de palabras ( delimitador de palabras ), aunque este concepto tiene limitaciones debido a la variabilidad con la que los idiomas consideran enérgicamente las colocaciones y los compuestos . Muchos sustantivos compuestos en inglés se escriben de forma variable (por ejemplo, ice  box = ice-box = icebox ; pig  sty = pig-sty = pigsty ) con una variación correspondiente en si los hablantes los consideran frases nominales o sustantivos simples; existen tendencias en cómo se establecen las normas, como que los compuestos abiertos a menudo tienden a solidificarse con el tiempo por convención generalizada, pero la variación sigue siendo sistémica. En contraste, los sustantivos compuestos en alemán muestran menos variación ortográfica, siendo la solidificación una norma más fuerte.

Sin embargo, el equivalente al carácter de espacio de palabras no se encuentra en todos los sistemas de escritura, y sin él la segmentación de palabras es un problema difícil. Entre los idiomas que no tienen un proceso de segmentación de palabras sencillo se incluyen el chino y el japonés, donde se delimitan oraciones pero no palabras; el tailandés y el laosiano , donde se delimitan frases y oraciones pero no palabras; y el vietnamita , donde se delimitan sílabas pero no palabras.

Sin embargo, en algunos sistemas de escritura, como la escritura Ge'ez utilizada para el amárico y el tigriña, entre otros idiomas, las palabras están delimitadas explícitamente (al menos históricamente) con un carácter que no es un espacio en blanco.

El Consorcio Unicode ha publicado un Anexo Estándar sobre Segmentación de Texto [ ^{1 ] que} explora los problemas de segmentación en textos multiescritura.

La división de palabras es el proceso de analizar texto concatenado (es decir, texto que no contiene espacios ni otros separadores de palabras) para inferir dónde existen las divisiones de palabras.

La división de palabras también puede referirse al proceso de guionización .

Algunos estudiosos han sugerido que el chino moderno debería escribirse con segmentación de palabras, con espacios entre ellas como en el inglés escrito. ^{[ 2 ]} Esto se debe a que existen textos ambiguos cuyo significado solo conoce el autor. Por ejemplo, «美国会不同意。» puede significar «美国 会 不同意。» (Estados Unidos no estará de acuerdo.) o «美 国会 不同意。» (El Congreso de los Estados Unidos no está de acuerdo). Para más detalles, véase Escritura china con segmentación de palabras .

La segmentación de intenciones es el problema de dividir las palabras escritas en frases clave (grupos de 2 o más palabras).

En inglés y en todos los demás idiomas, la intención o el deseo principal se identifica y se convierte en la piedra angular de la segmentación de la intención. El producto/servicio principal, la idea, la acción o el pensamiento sirven de base para la frase clave.

"[Todas las cosas están hechas de átomos ]. [Pequeñas partículas que se mueven] [en movimiento perpetuo ], [atrayéndose entre sí ] [cuando están a poca distancia ], [pero repeliéndose ] [al ser comprimidas ] [unas contra otras ]."

La segmentación de oraciones consiste en dividir una cadena de texto escrito en sus oraciones componentes . En inglés y otros idiomas, el uso de la puntuación, en particular el punto , es una aproximación razonable. Sin embargo, incluso en inglés, este problema no es trivial debido al uso del punto para abreviaturas, que pueden o no finalizar una oración. Por ejemplo, «Sr. » no constituye una oración independiente en « El Sr. Smith fue a las tiendas de la calle Jones». Al procesar texto plano, las tablas de abreviaturas que contienen puntos pueden ayudar a evitar la asignación incorrecta de los límites de las oraciones.

Al igual que ocurre con la segmentación de palabras, no todos los idiomas escritos contienen caracteres de puntuación que resulten útiles para aproximar los límites de las oraciones.

El análisis temático consta de dos tareas principales: identificación de temas y segmentación de texto. Mientras que la primera consiste en una simple clasificación de un texto específico, la segunda implica que un documento puede contener múltiples temas, y la tarea de la segmentación de texto computarizada puede ser descubrir estos temas automáticamente y segmentar el texto en consecuencia. Los límites de los temas pueden ser evidentes a partir de los títulos de las secciones y los párrafos. En otros casos, es necesario utilizar técnicas similares a las empleadas en la clasificación de documentos .

La segmentación del texto en temas o turnos discursivos puede resultar útil en algunas tareas de procesamiento natural: puede mejorar significativamente la recuperación de información o el reconocimiento de voz (ya sea indexando o reconociendo documentos con mayor precisión o proporcionando como resultado la parte específica del documento que corresponde a la consulta). También es necesaria en sistemas de detección y seguimiento de temas , así como en problemas de resumen de texto .

Se han probado muchos enfoques diferentes: ^{[ 3 ] [ 4 ]} por ejemplo HMM , cadenas léxicas , similitud de pasajes mediante coocurrencia de palabras , agrupamiento , modelado de temas , etc.

Se trata de una tarea bastante ambigua: quienes evalúan los sistemas de segmentación de texto suelen tener límites temáticos diferentes. Por lo tanto, la evaluación de segmentos de texto también representa un problema complejo.

Es posible que se requieran procesos para segmentar el texto en segmentos distintos a los mencionados, incluidos morfemas (una tarea que generalmente se denomina análisis morfológico ) o párrafos .