detección de contenido mediante inteligencia artificial

El software de detección de inteligencia artificial tiene como objetivo determinar si algún contenido (texto, imagen, vídeo o audio) fue generado mediante inteligencia artificial (IA). Este software suele ser poco fiable. ^{[ 1 ]}

Se ha demostrado que muchas herramientas de detección de IA no son fiables para detectar texto generado por IA. En un estudio de 2023 realizado por Weber-Wulff et al., los investigadores evaluaron 14 herramientas de detección, incluidas Turnitin y GPTZero , y descubrieron que "todas obtuvieron una precisión inferior al 80 % y solo 5 superaron el 70 %". ^{[ 2 ]} También descubrieron que estas herramientas tienden a tener un sesgo al clasificar los textos más como humanos que como generados por IA, y que la precisión de estas herramientas empeora al parafrasear. ^{[ 2 ]}

En el caso de los textos, esto se suele hacer para prevenir el supuesto plagio , a menudo detectando la repetición de palabras como indicios claros de que un texto fue generado por IA (incluidas las alucinaciones ). Los sistemas de detección también pueden basarse en regularidades estilísticas y estructurales asociadas con la producción de LLM, como una gramática inusualmente consistente, transiciones formularias, marcadores discursivos repetidos y plantillas retóricas recurrentes. Algunas herramientas están diseñadas menos para establecer la autoría que para señalar la prosa que se asemeja a patrones de estilo comunes generados por LLM.

Suelen ser utilizados por profesores para calificar a sus alumnos, generalmente de forma puntual . Tras el lanzamiento de ChatGPT y software similar de generación de texto mediante IA, muchos centros educativos han emitido políticas en contra del uso de IA por parte de los estudiantes. ^{[ 9 ]} El software de detección de texto mediante IA también es utilizado por quienes evalúan a los solicitantes de empleo, así como por los motores de búsqueda en línea , ^{[ 10 ]} la contratación, la moderación en línea y la publicación.

Los detectores actuales a veces pueden ser poco fiables y han marcado erróneamente trabajos de humanos como si provinieran de IA ^{[ 11 ] [ 12 ] [ 4 ]} mientras que en otros casos no detectan trabajos generados por IA. ^{[ 13 ]} MIT Technology Review dijo que la tecnología "tuvo dificultades para detectar texto generado por ChatGPT que había sido ligeramente reorganizado por humanos y ofuscado por una herramienta de parafraseo". ^{[ 14 ]} También se ha demostrado que el software de detección de texto de IA discrimina a los hablantes no nativos de inglés. ^{[ 10 ]}

Dos estudiantes de la Universidad de California, Davis , fueron remitidos a la Oficina de Éxito Estudiantil y Asuntos Judiciales (OSSJA) de la universidad después de que sus profesores analizaran sus ensayos con resultados positivos; el primero con un detector de IA llamado GPTZero, y el segundo con una integración de detector de IA en Turnitin . Sin embargo, tras la cobertura mediática ^{[ 15 ]} y una investigación exhaustiva, los estudiantes fueron exonerados de cualquier irregularidad. ^{[ 16 ] [ 17 ]}

En abril de 2023, la Universidad de Cambridge y otros miembros del Grupo Russell de universidades del Reino Unido optaron por no utilizar la herramienta de detección de texto mediante IA de Turnitin, tras expresar su preocupación por su falta de fiabilidad. ^{[ 18 ]} La Universidad de Texas en Austin optó por no utilizar el sistema seis meses después. ^{[ 19 ]}

En mayo de 2023, un profesor de la Universidad Texas A&M–Commerce utilizó ChatGPT para detectar si el contenido de sus alumnos había sido escrito por el programa, lo cual ChatGPT confirmó. Por ello, amenazó con suspender la asignatura a pesar de que ChatGPT no era capaz de detectar textos generados por IA. ^{[ 20 ]} Ningún alumno fue impedido de graduarse por este problema, y ​​todos, excepto uno (que admitió haber utilizado el software), fueron exonerados de las acusaciones de haber utilizado ChatGPT en su contenido. ^{[ 21 ]}

En julio de 2023, se publicó un artículo titulado "Los detectores GPT tienen un sesgo contra los escritores no nativos de inglés", que informaba que los GPT discriminaban a los autores no nativos de inglés. El artículo comparó siete detectores GPT con ensayos de hablantes no nativos de inglés y ensayos de estudiantes estadounidenses. Los ensayos de hablantes no nativos de inglés tuvieron una tasa promedio de falsos positivos del 61,3 %. ^{[ 22 ]}

Un artículo de Thomas Germain, publicado en Gizmodo en junio de 2024, informó sobre la pérdida de empleos entre escritores y periodistas independientes debido a que el software de detección de texto con IA clasificó erróneamente su trabajo como generado por IA. ^{[ 23 ]}

En septiembre de 2024, Common Sense Media informó que los detectores de IA generativa tenían una tasa de falsos positivos del 20 % para estudiantes negros, en comparación con el 10 % de los estudiantes latinos y el 7 % de los estudiantes blancos. ^{[ 24 ] [ 25 ]}

Para mejorar la fiabilidad de la detección de texto mediante IA, los investigadores han explorado técnicas de marca de agua digital . Un artículo de 2023 titulado "Una marca de agua para modelos de lenguaje grandes" ^{[ 26 ]} presenta un método para incrustar marcas de agua imperceptibles en texto generado por modelos de lenguaje grandes (LLM). Este enfoque de marca de agua permite identificar el contenido como generado por IA con un alto grado de precisión, incluso cuando el texto está ligeramente parafraseado o modificado. La técnica está diseñada para ser sutil y difícil de detectar para lectores casuales, preservando así la legibilidad, a la vez que proporciona una señal detectable para quienes emplean herramientas especializadas. Sin embargo, si bien es prometedora, la marca de agua presenta desafíos para mantener su robustez ante transformaciones adversarias y garantizar la compatibilidad entre diferentes LLM.

Existe software disponible diseñado para eludir la detección de texto por IA. ^{[ 27 ] [ 28 ]}

En la práctica, la evasión puede no requerir herramientas de elusión especializadas. La paráfrasis, la edición de estilo y la eliminación de marcadores discursivos repetidos pueden reducir sustancialmente la eficacia de los detectores que se basan en patrones superficiales reconocibles. Un estudio publicado en agosto de 2023 analizó 20 resúmenes de artículos publicados en la revista Eye Journal , que luego fueron parafraseados con GPT-4.0 . Los resúmenes parafraseados por IA se examinaron para detectar plagio con QueText y contenido generado por IA con Originality.AI. Posteriormente, los textos se reprocesaron mediante un software adversario llamado Undetectable.ai para reducir las puntuaciones de detección de IA. El estudio encontró que la herramienta de detección de IA, Originality.AI, identificó el texto generado por GPT-4 con una precisión media del 91,3 %. Sin embargo, después del reprocesamiento con Undetectable.ai, la precisión de detección de Originality.ai se redujo a una precisión media del 27,8 %. ^{[ 29 ]}

Algunos expertos también creen que técnicas como la marca de agua digital son ineficaces porque pueden eliminarse o añadirse para provocar falsos positivos. ^{[ 30 ]} El artículo "A Watermark for Large Language Models" de Kirchenbauer et al. (2023) ^{[ 26 ]} también aborda las posibles vulnerabilidades de las técnicas de marca de agua. Los autores describen una serie de tácticas adversarias, incluidos ataques de inserción, eliminación y sustitución de texto, que podrían utilizarse para eludir la detección de la marca de agua. Estos ataques varían en complejidad, desde la paráfrasis simple hasta enfoques más sofisticados que implican la tokenización y alteraciones de homoglifos. El estudio destaca el desafío de mantener la robustez de la marca de agua frente a atacantes que pueden emplear herramientas de paráfrasis automatizadas o incluso reemplazos específicos del modelo de lenguaje para alterar iterativamente fragmentos de texto manteniendo la similitud semántica. Los resultados experimentales muestran que, si bien tales ataques pueden degradar la fuerza de la marca de agua, también conllevan un coste en la calidad del texto y un aumento de los recursos computacionales.

Existen varios programas informáticos de detección de imágenes supuestamente basados ​​en IA, para detectar imágenes generadas por IA (por ejemplo, las que provienen de Midjourney o DALL-E ). No son completamente fiables. ^{[ 31 ] [ 32 ]}

Los análisis de la industria también han señalado que los sistemas de reconocimiento de imágenes impulsados ​​por IA a menudo tienen dificultades en entornos del mundo real, donde la iluminación inconsistente, el ruido y las entradas visuales variables reducen la confiabilidad de la detección, un desafío que se destaca en la investigación moderna sobre el control de calidad agrícola. ^{[ 33 ]}

Otros afirman identificar deepfakes de vídeo y audio , pero esta tecnología tampoco es del todo fiable todavía. ^{[ 34 ]}

A pesar del debate sobre la eficacia de las marcas de agua, Google DeepMind está desarrollando activamente un software de detección llamado SynthID, que funciona insertando una marca de agua digital invisible para el ojo humano en los píxeles de una imagen. ^{[ 35 ] [ 36 ]}

• Inteligencia artificial – Inteligencia de las máquinas 
• Marca de agua de contenido mediante IA
• Efecto IA : Fenómeno en el que los logros de la IA se reclasifican como no inteligentes. 
• Contenido digital generado por IA de baja calidad : 
• Copyleaks – Plataforma de detección de plagio 
• Alineación de la IA : Conformidad de la IA con los objetivos previstos. 
• Inteligencia artificial y elecciones
• Comparación de software antiplagio
• Detección de similitud de contenido : proceso de detección de plagio y/o infracción de derechos de autor. 
• Alucinación (inteligencia artificial) – Contenido erróneo generado por IA 
• Procesamiento del lenguaje natural : Procesamiento del lenguaje natural por una computadora.