Minería de texto

Muchos paquetes de software de minería de texto se comercializan para aplicaciones de seguridad , especialmente para el monitoreo y análisis de fuentes de texto plano en línea, como noticias de Internet , blogs , etc., con fines de seguridad nacional . ^{[ 18 ]} También está involucrado en el estudio del cifrado / descifrado de texto .

Se ha descrito una variedad de aplicaciones de minería de texto en la literatura biomédica, ^{[ 20 ]} incluyendo enfoques computacionales para ayudar con estudios en acoplamiento de proteínas , ^{[ 21 ]} interacciones de proteínas , ^{[ 22 ] [ 23 ]} y asociaciones proteína-enfermedad. ^{[ 24 ]} Además, con grandes conjuntos de datos textuales de pacientes en el campo clínico, conjuntos de datos de información demográfica en estudios de población e informes de eventos adversos, la minería de texto puede facilitar los estudios clínicos y la medicina de precisión. Los algoritmos de minería de texto pueden facilitar la estratificación e indexación de eventos clínicos específicos en grandes conjuntos de datos textuales de pacientes de síntomas, efectos secundarios y comorbilidades de registros de salud electrónicos, informes de eventos e informes de pruebas de diagnóstico específicas. ^{[ 25 ]} Una aplicación de minería de texto en línea en la literatura biomédica es PubGene , un motor de búsqueda de acceso público que combina la minería de texto biomédico con la visualización de redes. ^{[ 26 ] [ 27 ]} GoPubMed es un motor de búsqueda basado en conocimiento para textos biomédicos. Las técnicas de minería de texto también nos permiten extraer conocimiento desconocido de documentos no estructurados en el dominio clínico ^{[ 28 ].}

También se están investigando y desarrollando métodos y software de minería de texto por parte de importantes empresas, incluidas IBM y Microsoft , para automatizar aún más los procesos de minería y análisis, y por diferentes empresas que trabajan en el área de búsqueda e indexación en general como una forma de mejorar sus resultados. Dentro del sector público, se ha concentrado mucho esfuerzo en crear software para rastrear y monitorear actividades terroristas . ^{[ 29 ]} Para fines de estudio, el software Weka es una de las opciones más populares en el mundo científico, actuando como un excelente punto de entrada para principiantes. Para los programadores de Python, existe un excelente conjunto de herramientas llamado NLTK para propósitos más generales. Para programadores más avanzados, también está la biblioteca Gensim , que se centra en representaciones de texto basadas en incrustaciones de palabras.

Grandes empresas de medios, como Tribune Company , utilizan la minería de texto para clarificar la información y ofrecer a los lectores mejores experiencias de búsqueda, lo que a su vez aumenta la fidelización de los usuarios y los ingresos del sitio. Además, los editores se benefician al poder compartir, asociar y presentar noticias en diferentes plataformas, lo que incrementa significativamente las oportunidades de monetizar el contenido.

El análisis de texto se utiliza en los negocios, particularmente en marketing, como en la gestión de relaciones con el cliente . ^{[ 30 ]} Coussement y Van den Poel (2008) ^{[ 31 ] [ 32 ]} lo aplican para mejorar los modelos de análisis predictivo para la deserción de clientes ( abandono de clientes ). ^{[ 31 ]} La minería de texto también se aplica en la predicción de rendimientos bursátiles. ^{[ 33 ]}

El análisis de sentimientos puede implicar el análisis de productos como películas, libros o reseñas de hoteles para estimar cuán favorable es una reseña para el producto. ^{[ 34 ]} Dicho análisis puede requerir un conjunto de datos etiquetados o el etiquetado de la afectividad de las palabras. Se han creado recursos para la afectividad de palabras y conceptos para WordNet ^{[ 35 ]} y ConceptNet , ^{[ 36 ]} respectivamente.

El texto se ha utilizado para detectar emociones en el área relacionada de la computación afectiva. ^{[ 37 ]} Los enfoques basados ​​en texto para la computación afectiva se han utilizado en múltiples corpus como evaluaciones de estudiantes, cuentos infantiles y noticias.

La minería de textos es fundamental para las editoriales que gestionan grandes bases de datos que requieren indexación para su recuperación. Esto es especialmente cierto en las disciplinas científicas, donde la información altamente específica suele estar contenida en el texto escrito. Por ello, se han emprendido iniciativas como la propuesta de Nature para una Interfaz Abierta de Minería de Textos (OTMI) y la Definición de Tipo de Documento (DTD) común para la publicación de revistas científicas de los Institutos Nacionales de la Salud, que proporcionarían pistas semánticas a las máquinas para responder a consultas específicas contenidas en el texto sin eliminar las barreras que las editoriales imponen al acceso público.

Las instituciones académicas también se han sumado a la iniciativa de minería de textos:

• El Centro Nacional de Minería de Texto (NaCTeM) es el primer centro de minería de texto financiado con fondos públicos del mundo. NaCTeM es operado por la Universidad de Manchester ^{[ 38 ]} en estrecha colaboración con el Laboratorio Tsujii ^{[ 39 ]} de la Universidad de Tokio ^{[ 40 ]} . NaCTeM proporciona herramientas personalizadas, instalaciones de investigación y ofrece asesoramiento a la comunidad académica. Está financiado por el Comité Conjunto de Sistemas de Información (JISC) y dos de los consejos de investigación del Reino Unido ( EPSRC y BBSRC ). Con un enfoque inicial en la minería de texto en las ciencias biológicas y biomédicas , la investigación se ha expandido posteriormente a las áreas de las ciencias sociales .
• En Estados Unidos, la Escuela de Información de la Universidad de California, Berkeley, está desarrollando un programa llamado BioText para ayudar a los investigadores en biología en la minería y el análisis de textos.
• El Portal de Análisis de Texto para la Investigación (TAPoR, por sus siglas en inglés), actualmente alojado en la Universidad de Alberta , es un proyecto académico cuyo objetivo es catalogar las aplicaciones de análisis de texto y crear un portal para los investigadores que se inician en esta práctica.

El análisis automático de vastos corpus textuales ha permitido a los investigadores analizar millones de documentos en múltiples idiomas con una intervención manual mínima. Las tecnologías clave que lo han hecho posible son el análisis sintáctico, la traducción automática , la categorización temática y el aprendizaje automático.

El análisis automático de corpus textuales ha permitido la extracción de actores y sus redes relacionales a gran escala, transformando datos textuales en datos de red. Las redes resultantes, que pueden contener miles de nodos, se analizan mediante herramientas de la teoría de redes para identificar a los actores clave, las comunidades o partes clave y propiedades generales como la robustez o la estabilidad estructural de la red global, o la centralidad de ciertos nodos. ^{[ 45 ]} Esto automatiza el enfoque introducido por el análisis narrativo cuantitativo, ^{[ 46 ]} en el que se identifican tripletas sujeto-verbo-objeto con pares de actores vinculados por una acción, o pares formados por actor-objeto. ^{[ 44 ]}

El análisis de contenido ha sido una parte tradicional de las ciencias sociales y los estudios de medios durante mucho tiempo. La automatización del análisis de contenido ha permitido que se produzca una revolución de " big data " en ese campo, con estudios en redes sociales y contenido periodístico que incluyen millones de noticias. El sesgo de género , la legibilidad , la similitud del contenido, las preferencias del lector e incluso el estado de ánimo se han analizado basándose en métodos de minería de texto sobre millones de documentos. ^{[ 47 ] [ 48 ] [ 49 ] [ 50 ] [ 51 ]} El análisis de la legibilidad, el sesgo de género y el sesgo temático se demostró en Flaounas et al. ^{[ 52 ]} mostrando cómo diferentes temas tienen diferentes sesgos de género y niveles de legibilidad; también se demostró la posibilidad de detectar patrones de estado de ánimo en una vasta población analizando el contenido de Twitter. ^{[ 53 ] [ 54 ]}

Según la legislación europea sobre derechos de autor y bases de datos , la extracción de datos de obras protegidas por derechos de autor (como la minería web ) sin el permiso del titular de los derechos está permitida en virtud de los artículos 3 y 4 de la Directiva de 2019 sobre derechos de autor en el mercado único digital . En el artículo 3 se describe una excepción específica para la minería de datos digitales en el ámbito de la investigación científica, mientras que la excepción más general descrita en el artículo 4 solo se aplica si el titular de los derechos de autor no ha optado por no participar. ^{[ 55 ]}

La Comisión Europea facilitó el debate entre las partes interesadas sobre la minería de texto y datos en 2013, bajo el título de Licencias para Europa. ^{[ 56 ]} El hecho de que el enfoque de la solución a este problema legal fueran las licencias, y no las limitaciones y excepciones a la ley de derechos de autor, llevó a los representantes de universidades, investigadores, bibliotecas, grupos de la sociedad civil y editores de acceso abierto a abandonar el diálogo con las partes interesadas en mayo de 2013. ^{[ 57 ]}

La ley de derechos de autor de EE. UU. , y en particular sus disposiciones sobre el uso legítimo , implica que la minería de texto en Estados Unidos, así como en otros países que también aplican el uso legítimo, como Israel, Taiwán y Corea del Sur, se considera legal. Dado que la minería de texto es transformadora, es decir, no sustituye la obra original, se considera lícita bajo el principio de uso legítimo. Por ejemplo, como parte del acuerdo con Google Books, el juez que presidió el caso dictaminó que el proyecto de digitalización de libros con derechos de autor de Google era legal, en parte debido a los usos transformadores que demostraba dicho proyecto, entre ellos la minería de texto y datos. ^{[ 58 ]}

La legislación australiana sobre derechos de autor no contempla excepciones para la minería de texto o datos en virtud de la Ley de Derechos de Autor de 1968. La Comisión Australiana de Reforma Legislativa ha señalado que es improbable que la excepción de uso legítimo para "investigación y estudio" se extienda a dicho tema, dado que excedería el requisito de "porción razonable". ^{[ 59 ]}

En el Reino Unido, en 2014, siguiendo la recomendación del informe Hargreaves , el gobierno modificó la ley de derechos de autor ^{[ 60 ]} para permitir la minería de texto como limitación y excepción . Fue el segundo país del mundo en hacerlo, después de Japón , que introdujo una excepción específica para la minería en 2009. Sin embargo, debido a la restricción de la Directiva sobre la Sociedad de la Información (2001), la excepción del Reino Unido solo permite la minería de contenido con fines no comerciales. La ley de derechos de autor del Reino Unido no permite que esta disposición sea anulada por términos y condiciones contractuales.

• Ananiadou, S. y McNaught, J. (Editores) (2006). Minería de texto para biología y biomedicina . Artech House Books. ISBN 978-1-58053-984-5
• Bilisoly, R. (2008). Minería de texto práctica con Perl . Nueva York: John Wiley & Sons. ISBN 978-0-470-17643-6
• Feldman, R., y Sanger, J. (2006). The Text Mining Handbook . Nueva York: Cambridge University Press. ISBN 978-0-521-83657-9
• Hotho, A., Nürnberger, A. y Paaß, G. (2005). "Una breve reseña de la minería de textos". En Ldv Forum, Vol. 20(1), págs.  19-62.
• Indurkhya, N., y Damerau, F. (2010). Manual de procesamiento del lenguaje natural , 2.ª edición. Boca Raton, FL: CRC Press. ISBN 978-1-4200-8592-1
• Kao, A., y Poteet, S. (Editores). Procesamiento del lenguaje natural y minería de texto . Springer. ISBN 1-84628-175-X
• Konchady, M. Programación de aplicaciones de minería de texto (Serie de programación) . Charles River Media. ISBN 1-58450-460-9
• Manning, C., y Schutze, H. (1999). Fundamentos del procesamiento estadístico del lenguaje natural . Cambridge, MA: MIT Press. ISBN 978-0-262-13360-9
• Miner, G., Elder, J., Hill, T., Nisbet, R., Delen, D. y Fast, A. (2012). Minería de texto práctica y análisis estadístico para aplicaciones de datos de texto no estructurados . Elsevier Academic Press. ISBN 978-0-12-386979-1
• McKnight, W. (2005). "Desarrollo de inteligencia empresarial: Minería de datos textuales en inteligencia empresarial". DM Review , 21–22.
• Srivastava, A., y Sahami, M. (2009). Minería de texto: clasificación, agrupamiento y aplicaciones . Boca Raton, FL: CRC Press. ISBN 978-1-4200-5940-3
• Zanasi, A. (Editor) (2007). Minería de texto y sus aplicaciones a la inteligencia, CRM y gestión del conocimiento . WIT Press. ISBN 978-1-84564-131-3