Clasificación de documentos

La clasificación o categorización de documentos es un problema común en biblioteconomía , ciencias de la información e informática . La tarea consiste en asignar un documento a una o más clases o categorías . Esto puede hacerse de forma manual (o intelectual) o algorítmica . La clasificación intelectual de documentos ha sido tradicionalmente ámbito de la biblioteconomía, mientras que la clasificación algorítmica se centra principalmente en ciencias de la información e informática. Sin embargo, ambos problemas se solapan, por lo que existe investigación interdisciplinaria sobre la clasificación de documentos.

Los documentos a clasificar pueden ser textos, imágenes, música, etc. Cada tipo de documento presenta problemas de clasificación específicos. Salvo que se indique lo contrario, se sobreentiende que se trata de un documento de texto .

Los documentos pueden clasificarse según su temática o según otros atributos (como el tipo de documento, el autor, el año de impresión, etc.). En el resto de este artículo, solo se considera la clasificación temática. Existen dos enfoques principales para la clasificación temática de documentos: el enfoque basado en el contenido y el enfoque basado en la solicitud.

La clasificación basada en el contenido es aquella en la que la importancia que se le da a determinados temas en un documento determina la clase a la que se asigna dicho documento. Por ejemplo, una regla común para la clasificación en bibliotecas es que al menos el 20 % del contenido de un libro debe tratar sobre la clase a la que se le asigna. ^{[ 1 ]} En la clasificación automática, podría ser la cantidad de veces que aparecen determinadas palabras en un documento.

La clasificación (o indexación) orientada a solicitudes es aquella en la que la solicitud prevista de los usuarios influye en cómo se clasifican los documentos. El clasificador se pregunta: "¿Bajo qué descriptores debería encontrarse esta entidad?" y "piensa en todas las consultas posibles y decide para cuáles es relevante la entidad en cuestión" (Soergel, 1985, p. 230 ^{[ 2 ]} ).

La clasificación orientada a solicitudes puede estar dirigida a un público o grupo de usuarios específico. Por ejemplo, una biblioteca o base de datos de estudios feministas puede clasificar o indexar documentos de forma diferente a una biblioteca histórica. Sin embargo, probablemente sea mejor entender la clasificación orientada a solicitudes como una clasificación basada en políticas : la clasificación se realiza según ciertos ideales y refleja el propósito de la biblioteca o base de datos que la lleva a cabo. De esta manera, no se trata necesariamente de un tipo de clasificación o indexación basada en estudios de usuarios. Solo si se aplican datos empíricos sobre el uso o los usuarios, la clasificación orientada a solicitudes debería considerarse un enfoque centrado en el usuario.

A veces se distingue entre asignar documentos a clases («clasificación») y asignar temas a documentos (« indexación temática »), pero, como argumentó Frederick Wilfrid Lancaster , esta distinción no es provechosa. «Estas distinciones terminológicas», escribe, «carecen de sentido y solo sirven para generar confusión» (Lancaster, 2003, p. 21 ^{[ 3 ]} ). La idea de que esta distinción es puramente superficial también se ve respaldada por el hecho de que un sistema de clasificación puede transformarse en un tesauro y viceversa (cf. Aitchison, 1986, ^{[ 4 ]} 2004; ^{[ 5 ]} Broughton, 2008; ^{[ 6 ]} Riesthuis y Bliedung, 1991 ^{[ 7 ]} ). Por lo tanto, asignar un término temático a un documento en un índice equivale a asignar ese documento a la clase de documentos indexados por ese término (todos los documentos indexados o clasificados como X pertenecen a la misma clase de documentos).

Las tareas de clasificación automática de documentos se pueden dividir en tres tipos: clasificación de documentos supervisada, donde algún mecanismo externo (como la retroalimentación humana) proporciona información sobre la clasificación correcta de los documentos; clasificación de documentos no supervisada (también conocida como agrupamiento de documentos ), donde la clasificación debe realizarse completamente sin referencia a información externa; y clasificación de documentos semisupervisada , ^{[ 8 ]} donde partes de los documentos son etiquetadas por el mecanismo externo. Existen varios productos de software disponibles bajo diversos modelos de licencia. ^{[ 9 ] [ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ]}

Las técnicas de clasificación automática de documentos incluyen:

• Red neuronal artificial
• Minería de conceptos
• Árboles de decisión como ID3 o C4.5
• Maximización de la expectativa (ME)
• Redes neuronales entrenadas instantáneamente
• Indexación semántica latente
• Aprendizaje de instancias múltiples
• Clasificador Naive Bayes
• Enfoques de procesamiento del lenguaje natural
• Clasificador basado en conjuntos aproximados
• Clasificador basado en conjuntos suaves
• Máquinas de vectores de soporte (SVM)
• Algoritmos de k vecinos más cercanos
• tf–idf

Se han aplicado técnicas de clasificación a

• El filtrado de spam es un proceso que intenta distinguir los mensajes de correo electrónico no deseados de los correos electrónicos legítimos.
• enrutamiento de correo electrónico , enviar un correo electrónico enviado a una dirección general a una dirección o buzón específico según el tema ^{[ 15 ]}
• identificación de idioma , determinación automática del idioma de un texto
• clasificación de género, determinando automáticamente el género de un texto ^{[ 16 ]}
• Evaluación de legibilidad , que determina automáticamente el grado de legibilidad de un texto, ya sea para encontrar materiales adecuados para diferentes grupos de edad o tipos de lectores o como parte de un sistema de simplificación de texto más amplio.
• Análisis de sentimientos : determinar la actitud de un hablante o escritor con respecto a algún tema o la polaridad contextual general de un documento.
• clasificación relacionada con la salud mediante redes sociales en la vigilancia de la salud pública ^{[ 17 ]}
• triaje de artículos, selección de artículos que son relevantes para la curación manual de la literatura, por ejemplo, como se hace como primer paso para generar bases de datos de anotaciones curadas manualmente en biología ^{[ 18 ].}

• Fabrizio Sebastiani. Aprendizaje automático en la categorización automatizada de texto . ACM Computing Surveys, 34(1):1–47, 2002.
• Stefan Büttcher, Charles LA Clarke y Gordon V. Cormack. Recuperación de información: implementación y evaluación de motores de búsqueda . MIT Press, 2010. Archivado el 5 de octubre de 2020 en Wayback Machine .

• Introducción a la clasificación de documentos
• Bibliografía sobre categorización automática de textos archivada el 26/09/2019 en Wayback Machine.
• Bibliografía sobre clasificación de consultas archivada el 2 de octubre de 2019 en Wayback Machine.
• Página de análisis de clasificación de texto
• Aprender a clasificar textos - Capítulo 6 del libro Procesamiento del lenguaje natural con Python (disponible en línea)
• TechTC - Repositorio de conjuntos de datos de categorización de texto del Technion. Archivado el 14 de febrero de 2020 en Wayback Machine.
• Conjuntos de datos de David D. Lewis
• Conjunto de datos BioCreative III ACT (tarea de clasificación de artículos)