Hispanopedia Wiki
Articulo de referencia

Inteligencia artificial explicable

Dentro de la inteligencia artificial (IA), la IA explicable ( XAI ), que generalmente se superpone con la IA interpretable o el aprendizaje automático explicable ( XML ), es un ...

Hispanopedia WikiContenido en espanolLectura gratuita

Dentro de la inteligencia artificial (IA), la IA explicable ( XAI ), que generalmente se superpone con la IA interpretable o el aprendizaje automático explicable ( XML ), es un campo de investigación que explora métodos que brindan a los humanos la capacidad de supervisión intelectual sobre los algoritmos de IA. [ 1 ] [ 2 ] El enfoque principal está en el razonamiento detrás de las decisiones o predicciones hechas por los algoritmos de IA, [ 3 ] para hacerlas más comprensibles y transparentes. [ 4 ] Esto responde al requisito de los usuarios de evaluar la seguridad y examinar la toma de decisiones automatizada en las aplicaciones. [ 5 ] [ 6 ] La XAI contrarresta la tendencia de la " caja negra " del aprendizaje automático, donde incluso los diseñadores de la IA no pueden explicar por qué llegó a una decisión específica. [ 7 ] [ 8 ]

XAI busca ayudar a los usuarios de sistemas impulsados ​​por IA a desempeñarse de manera más efectiva al mejorar su comprensión de cómo razonan esos sistemas. [ 9 ] XAI puede ser una implementación del derecho social a la explicación . [ 10 ] Incluso si no existe tal derecho legal o requisito regulatorio, XAI puede mejorar la experiencia del usuario de un producto o servicio al ayudar a los usuarios finales a confiar en que la IA está tomando buenas decisiones. [ 11 ] XAI tiene como objetivo explicar qué se ha hecho, qué se está haciendo, qué se hará a continuación y en qué información se basan estas acciones. [ 12 ] Esto permite confirmar el conocimiento existente, desafiar el conocimiento existente y generar nuevas suposiciones. [ 13 ]

Fondo

Los algoritmos de aprendizaje automático (ML) utilizados en IA se pueden clasificar como de caja blanca o de caja negra . [ 14 ] Los modelos de caja blanca proporcionan resultados comprensibles para los expertos en el dominio. Los modelos de caja negra, por otro lado, son extremadamente difíciles de explicar y pueden no ser comprendidos incluso por los expertos en el dominio. [ 15 ] Los algoritmos XAI siguen los tres principios de transparencia, interpretabilidad y explicabilidad.

  • Un modelo es transparente "si los procesos que extraen parámetros del modelo a partir de datos de entrenamiento y generan etiquetas a partir de datos de prueba pueden ser descritos y justificados por el diseñador del enfoque". [ 16 ]
  • La interpretabilidad describe la posibilidad de comprender el modelo de aprendizaje automático y presentar la base subyacente para la toma de decisiones de una manera comprensible para los humanos. [ 17 ] [ 18 ] [ 19 ]
  • La explicabilidad es un concepto reconocido como importante, pero aún no existe una definición consensuada; [ 16 ] una posibilidad es "el conjunto de características del dominio interpretable que han contribuido, para un ejemplo dado, a producir una decisión (por ejemplo, clasificación o regresión)". [ 20 ]

En resumen, la interpretabilidad se refiere a la capacidad del usuario para comprender los resultados del modelo, mientras que la transparencia del modelo incluye la simulabilidad (reproducibilidad de las predicciones), la descomponibilidad (explicaciones intuitivas de los parámetros) y la transparencia algorítmica (explicación del funcionamiento de los algoritmos). La funcionalidad del modelo se centra en descripciones textuales, visualización y explicaciones locales, que aclaran resultados o instancias específicas en lugar de modelos completos. Todos estos conceptos buscan mejorar la comprensibilidad y la usabilidad de los sistemas de IA. [ 21 ] Si los algoritmos cumplen con estos principios, proporcionan una base para justificar las decisiones, realizar un seguimiento de las mismas y, por lo tanto, verificarlas, mejorar los algoritmos y explorar nuevos hechos. [ 22 ]

A veces también es posible lograr un resultado de alta precisión con algoritmos de ML de caja blanca. Estos algoritmos tienen una estructura interpretable que puede usarse para explicar las predicciones. [ 23 ] Los modelos de cuello de botella conceptual, que usan abstracciones a nivel de concepto para explicar el razonamiento del modelo, son ejemplos de esto y pueden aplicarse tanto en tareas de predicción de imágenes [ 24 ] como de texto [ 25 ] . Esto es especialmente importante en dominios como medicina , defensa , finanzas y derecho , donde es crucial comprender las decisiones y generar confianza en los algoritmos. [ 12 ] Muchos investigadores argumentan que, al menos para el aprendizaje automático supervisado , el camino a seguir es la regresión simbólica , donde el algoritmo busca en el espacio de expresiones matemáticas para encontrar el modelo que mejor se ajuste a un conjunto de datos dado. [ 26 ] [ 27 ] [ 28 ]

Los sistemas de IA optimizan su comportamiento para satisfacer un sistema de objetivos especificado matemáticamente y elegido por los diseñadores del sistema, como el comando "maximizar la precisión al evaluar cuán positivas son las críticas de películas en el conjunto de datos de prueba". La IA puede aprender reglas generales útiles del conjunto de prueba, como "es probable que las críticas que contienen la palabra 'horrible' sean negativas". Sin embargo, también puede aprender reglas inapropiadas, como "las críticas que contienen ' Daniel Day-Lewis ' suelen ser positivas"; tales reglas pueden ser indeseables si es probable que no se generalicen fuera del conjunto de entrenamiento, o si las personas consideran que la regla es "trampa" o "injusta". Un humano puede auditar las reglas en una IA explicable (XAI) para tener una idea de cuán probable es que el sistema se generalice a datos futuros del mundo real fuera del conjunto de prueba. [ 29 ]

Objetivos

La cooperación entre agentes —en este caso, algoritmos y humanos— depende de la confianza. Para que los humanos acepten las prescripciones algorítmicas, necesitan confiar en ellas. La incompletitud de los criterios formales de confianza es una barrera para la optimización. La transparencia, la interpretabilidad y la explicabilidad son objetivos intermedios en el camino hacia estos criterios de confianza más completos. [ 30 ] Esto es particularmente relevante en medicina, [ 31 ] especialmente con los sistemas de apoyo a la toma de decisiones clínicas (CDSS), en los que los profesionales médicos deben poder comprender cómo y por qué se tomó una decisión basada en máquinas para confiar en la decisión y mejorar su proceso de toma de decisiones. [ 32 ] [ 33 ]

Los sistemas de IA a veces aprenden trucos indeseables que cumplen de manera óptima los objetivos preprogramados explícitos en los datos de entrenamiento, pero que no reflejan los deseos implícitos más sutiles de los diseñadores humanos del sistema ni la complejidad total de los datos del dominio. Por ejemplo, un sistema de 2017 encargado del reconocimiento de imágenes aprendió a "hacer trampa" buscando una etiqueta de derechos de autor que casualmente estaba asociada con imágenes de caballos, en lugar de aprender a determinar si realmente se trataba de una imagen de un caballo. [ 8 ] En otro sistema de 2017, una IA de aprendizaje supervisado encargada de agarrar objetos en un mundo virtual aprendió a hacer trampa colocando su manipulador entre el objeto y el espectador de tal manera que parecía falsamente que estaba agarrando el objeto. [ 34 ] [ 35 ]

Un proyecto de transparencia, el programa DARPA XAI, tiene como objetivo producir modelos de " caja de cristal " que sean explicables a un " humano en el bucle " sin sacrificar en gran medida el rendimiento de la IA. Los usuarios humanos de dicho sistema pueden comprender la cognición de la IA (tanto en tiempo real como a posteriori) y pueden determinar si confiar en la IA. [ 36 ] Otras aplicaciones de XAI son la extracción de conocimiento de modelos de caja negra y las comparaciones de modelos. [ 37 ] En el contexto de los sistemas de monitoreo para el cumplimiento ético y sociolegal, el término "caja de cristal" se usa comúnmente para referirse a herramientas que rastrean las entradas y salidas del sistema en cuestión y proporcionan explicaciones basadas en valores para su comportamiento. Estas herramientas tienen como objetivo asegurar que el sistema opere de acuerdo con los estándares éticos y legales, y que sus procesos de toma de decisiones sean transparentes y responsables. El término "caja de cristal" se usa a menudo en contraste con los sistemas de "caja negra", que carecen de transparencia y pueden ser más difíciles de monitorear y regular. [ 38 ] El término también se utiliza para nombrar a un asistente de voz que produce afirmaciones contrafactuales como explicaciones. [ 39 ]

Técnicas de explicabilidad e interpretabilidad

Existe una sutil diferencia entre los términos explicabilidad e interpretabilidad en el contexto de la IA. [ 40 ]

Algunas técnicas de explicabilidad no requieren comprender cómo funciona el modelo y pueden aplicarse a diversos sistemas de IA. En ocasiones, tratar el modelo como una caja negra y analizar cómo los cambios mínimos en las entradas afectan al resultado proporciona una explicación suficiente.

Explicabilidad

La explicabilidad es útil para garantizar que los modelos de IA no tomen decisiones basadas en criterios irrelevantes o injustos. Para los modelos de clasificación y regresión , existen varias técnicas populares:

  • Los gráficos de dependencia parcial muestran el efecto marginal de una característica de entrada sobre el resultado previsto.
  • SHAP (SHapley Additive exPlanations) permite visualizar la contribución de cada característica de entrada a la salida. Funciona calculando los valores de Shapley , que miden la contribución marginal promedio de una característica en todas las combinaciones posibles de características. [ 42 ]
  • La importancia de las características estima la relevancia de una característica para el modelo. Generalmente se utiliza la importancia de permutación , que mide la disminución del rendimiento cuando el valor de la característica se reordena aleatoriamente en todas las muestras.
  • LIME (método de explicaciones locales interpretables e independientes del modelo) aproxima localmente las salidas de un modelo con un modelo interpretable más simple. [ 43 ]
  • El aprendizaje multitarea proporciona una gran cantidad de resultados además de la clasificación objetivo. Estos otros resultados pueden ayudar a los desarrolladores a deducir lo que la red ha aprendido. [ 44 ]

Para las imágenes, los mapas de prominencia resaltan las partes de una imagen que más influyeron en el resultado. [ 45 ]

Los sistemas expertos o basados ​​en el conocimiento son sistemas de software creados por expertos. Este sistema consiste en una codificación basada en el conocimiento del dominio. Generalmente, se modela como reglas de producción, y alguien utiliza esta base de conocimiento para que el usuario pueda consultar el sistema. En los sistemas expertos, el lenguaje y las explicaciones se comprenden junto con una explicación del razonamiento o la actividad de resolución de problemas. [ 5 ]

Sin embargo, estas técnicas no son muy adecuadas para modelos de lenguaje como los transformadores generativos preentrenados . Dado que estos modelos generan lenguaje, pueden proporcionar una explicación, pero esta puede no ser fiable. Otras técnicas incluyen el análisis de atención (examinar cómo el modelo se centra en diferentes partes de la entrada), métodos de sondeo (probar qué información se captura en las representaciones del modelo), rastreo causal (rastrear el flujo de información a través del modelo) y descubrimiento de circuitos (identificar subredes específicas responsables de ciertos comportamientos). La investigación sobre explicabilidad en esta área se solapa significativamente con la investigación sobre interpretabilidad y alineación . [ 46 ]

Interpretabilidad

Grokking es un ejemplo de fenómeno estudiado en interpretabilidad. Implica un modelo que inicialmente memoriza todas las respuestas ( sobreajuste ), pero luego adopta un algoritmo que se generaliza a datos no vistos. [ 47 ]

Los académicos a veces utilizan el término " interpretabilidad mecanicista " para referirse al proceso de ingeniería inversa de redes neuronales artificiales para comprender sus mecanismos y componentes internos de toma de decisiones, de manera similar a como se podría analizar una máquina compleja o un programa informático. [ 48 ] [ 49 ]

El estudio de la interpretabilidad de los modelos fundamentales más avanzados suele implicar la búsqueda de una forma automatizada de identificar "características" en transformadores generativos preentrenados. En una red neuronal , una característica es un patrón de activaciones neuronales que corresponde a un concepto. Una técnica computacionalmente intensiva denominada " aprendizaje de diccionarios " permite identificar características hasta cierto punto. Se espera que mejorar la capacidad de identificar y editar características mejore significativamente la seguridad de los modelos de IA de vanguardia . [ 50 ] [ 51 ]

Para las redes neuronales convolucionales , DeepDream puede generar imágenes que activan fuertemente una neurona en particular, proporcionando una pista visual sobre lo que la neurona está entrenada para identificar. [ 52 ]

localización del conocimiento

Los modelos de lenguaje grandes (LLM, por sus siglas en inglés), como los modelos basados ​​en transformadores (GPT, por sus siglas en inglés), parecen utilizar conocimiento general al generar resultados (completar la inferencia ). Esta capacidad plantea la cuestión de cómo se almacena exactamente dicho conocimiento dentro del modelo.

Las investigaciones han sugerido que el componente MLP del modelo (las capas de alimentación directa) es el principal lugar donde se almacena el conocimiento, codificando la información a través de enlaces asociativos que funcionan como memorias clave-valor: cada clave corresponde a patrones textuales en los datos de entrenamiento, mientras que cada valor induce una distribución sobre el vocabulario de salida. [ 53 ]

Un estudio de 2022, cuyo objetivo era localizar dónde reside el conocimiento en el modelo, empleó una técnica conocida como Rastreo Causal. [ 54 ] En tareas que requerían conocimiento general, los investigadores inyectaron ruido en las activaciones ocultas del modelo, impidiendo que completara la tarea. Luego, restauraron los valores de activación limpios (obtenidos de una ejecución sin ruido) en una parte diferente del modelo cada vez, observando cuándo el modelo recuperaba su capacidad para producir la respuesta correcta. Con base en estos resultados, los autores concluyeron que el conocimiento factual se almacena principalmente en los componentes MLP de las capas intermedias del modelo. Además, propusieron que la edición del modelo sería más efectiva en esas regiones, aunque esta afirmación fue posteriormente cuestionada. [ 55 ]

Estudios posteriores sugieren que, en la mayoría de los casos, la información fáctica se distribuye a lo largo del modelo en lugar de estar localizada en una sola capa. [ 56 ] [ 57 ] Según una versión de esta perspectiva, las diferentes capas codifican distintos aspectos de la misma asociación. Por ejemplo, una pregunta sobre la capital de Japón puede activar representaciones relacionadas con "Japón" en una capa y representaciones correspondientes a "capitales" en otra; la combinación de estas representaciones da como resultado el concepto de "Tokio". [ 57 ]

Historia y métodos

Durante las décadas de 1970 a 1990, los sistemas de razonamiento simbólico , como MYCIN , [ 58 ] GUIDON, [ 59 ] SOPHIE, [ 60 ] y PROTOS [ 61 ] [ 62 ] podían representar, razonar y explicar su razonamiento para fines de diagnóstico, instrucción o aprendizaje automático (aprendizaje basado en explicaciones). MYCIN, desarrollado a principios de la década de 1970 como un prototipo de investigación para diagnosticar infecciones de bacteriemia del torrente sanguíneo, podía explicar [ 63 ] cuál de sus reglas codificadas manualmente contribuía a un diagnóstico en un caso específico. La investigación en sistemas de tutoría inteligente dio como resultado el desarrollo de sistemas como SOPHIE que podían actuar como un "experto elocuente", explicando la estrategia de resolución de problemas a un nivel que el estudiante pudiera comprender, para que supiera qué acción tomar a continuación. Por ejemplo, SOPHIE podía explicar el razonamiento cualitativo detrás de su solución de problemas electrónicos, aunque en última instancia dependía del simulador de circuitos SPICE . De manera similar, GUIDON agregó reglas tutoriales para complementar las reglas de nivel de dominio de MYCIN, de modo que pudiera explicar la estrategia para el diagnóstico médico. Los enfoques simbólicos para el aprendizaje automático que se basan en el aprendizaje basado en explicaciones, como PROTOS, utilizaron representaciones explícitas de explicaciones expresadas en un lenguaje de explicación específico, tanto para explicar sus acciones como para adquirir nuevos conocimientos. [ 62 ]

En la década de 1980 hasta principios de la de 1990, los sistemas de mantenimiento de la verdad (TMS) ampliaron las capacidades de los sistemas de inferencia basados ​​en razonamiento causal, reglas y lógica. [ 64 ] : 360–362 Un TMS rastrea explícitamente líneas de razonamiento alternativas, justificaciones para conclusiones y líneas de razonamiento que conducen a contradicciones, lo que permite que el razonamiento futuro evite estos callejones sin salida. Para proporcionar una explicación, rastrean el razonamiento desde las conclusiones hasta las suposiciones a través de operaciones de reglas o inferencias lógicas, lo que permite generar explicaciones a partir de los rastros del razonamiento. Como ejemplo, consideremos un solucionador de problemas basado en reglas con solo unas pocas reglas sobre Sócrates que concluye que murió envenenado:

Con solo rastrear la estructura de dependencias, quien resuelve el problema puede construir la siguiente explicación: «Sócrates murió porque era mortal y bebió veneno, y todos los mortales mueren cuando beben veneno. Sócrates era mortal porque era hombre y todos los hombres son mortales. Sócrates bebió veneno porque tenía creencias disidentes, el gobierno era conservador, y quienes tienen creencias disidentes conservadoras bajo gobiernos conservadores deben beber veneno». [ 65 ] : 164–165

En la década de 1990, los investigadores comenzaron a estudiar si era posible extraer de manera significativa las reglas no codificadas manualmente generadas por redes neuronales entrenadas opacas. [ 66 ] Los investigadores en sistemas expertos clínicos que crearon sistemas de apoyo a la toma de decisiones basados ​​en redes neuronales para médicos buscaron desarrollar explicaciones dinámicas que permitieran que estas tecnologías fueran más confiables y dignas de confianza en la práctica. [ 10 ] En la década de 2010, las preocupaciones públicas sobre el sesgo racial y de otro tipo en el uso de la IA para decisiones de sentencia penal y hallazgos de solvencia crediticia pueden haber llevado a una mayor demanda de inteligencia artificial transparente. [ 8 ] Como resultado, muchos académicos y organizaciones están desarrollando herramientas para ayudar a detectar el sesgo en sus sistemas. [ 67 ]

Marvin Minsky y otros plantearon la cuestión de que la IA puede funcionar como una forma de vigilancia, con los sesgos inherentes a la vigilancia, sugiriendo la HI (Inteligencia Humanista) como una forma de crear una IA "humana en el bucle" más justa y equilibrada. [ 68 ]

La IA explicable se ha convertido recientemente en un tema de investigación dentro del aprendizaje profundo . Las técnicas modernas de IA complejas, como el aprendizaje profundo, son naturalmente opacas. [ 69 ] Para abordar este problema, se han desarrollado métodos para hacer que los nuevos modelos sean más explicables e interpretables. [ 18 ] [ 70 ] Esto incluye la propagación de relevancia por capas (LRP), una técnica para determinar qué características en un vector de entrada particular contribuyen más fuertemente a la salida de una red neuronal, [ 71 ] [ 72 ] aunque se ha demostrado que esta técnica sufre de varios problemas importantes. [ 73 ] Otras técnicas explican alguna predicción particular hecha por un modelo de caja negra (no lineal), un objetivo conocido como "interpretabilidad local". [ 74 ] [ 75 ] [ 76 ] [ 77 ] [ 78 ] También hay investigación sobre si los conceptos de interpretabilidad local se pueden aplicar a un contexto remoto, donde un modelo es operado por un tercero. [ 79 ] [ 80 ]

Se ha trabajado en la creación de modelos de caja de cristal que sean más transparentes a la inspección. [ 23 ] [ 81 ] Esto incluye árboles de decisión , [ 82 ] redes bayesianas , modelos lineales dispersos , [ 83 ] y más. [ 84 ] La Conferencia de la Asociación para la Maquinaria de Computación sobre Equidad, Responsabilidad y Transparencia (ACM FAccT) se estableció en 2018 para estudiar la transparencia y la explicabilidad en el contexto de los sistemas sociotécnicos, muchos de los cuales incluyen inteligencia artificial. [ 85 ] [ 86 ]

Algunas técnicas permiten visualizar las entradas a las que las neuronas individuales del software responden con mayor intensidad. Varios grupos descubrieron que las neuronas pueden agruparse en circuitos que realizan funciones comprensibles para el ser humano, algunas de las cuales surgen de forma fiable en diferentes redes entrenadas independientemente. [ 87 ] [ 88 ]

Existen diversas técnicas para extraer representaciones comprimidas de las características de entradas dadas, que luego pueden analizarse mediante técnicas de agrupamiento estándar . Alternativamente, las redes pueden entrenarse para generar explicaciones lingüísticas de su comportamiento, que luego son directamente interpretables por humanos. [ 89 ] El comportamiento del modelo también puede explicarse con referencia a los datos de entrenamiento; por ejemplo, evaluando qué entradas de entrenamiento influyeron más en un comportamiento dado, [ 90 ] o aproximando sus predicciones utilizando las instancias más similares de los datos de entrenamiento. [ 91 ]

El uso de inteligencia artificial explicable (XAI) en la investigación del dolor, específicamente en la comprensión del papel de la actividad electrodérmica para el reconocimiento automatizado del dolor : características diseñadas manualmente y modelos de aprendizaje profundo en el reconocimiento del dolor, destacando las ideas de que las características simples diseñadas manualmente pueden producir rendimientos comparables a los modelos de aprendizaje profundo y que tanto la ingeniería de características tradicional como los enfoques de aprendizaje profundo de características se basan en características simples de los datos de series temporales de entrada. [ 92 ]

Regulación

A medida que los reguladores, los organismos oficiales y los usuarios en general dependen cada vez más de los sistemas dinámicos basados ​​en IA, se requerirá una rendición de cuentas más clara para los procesos automatizados de toma de decisiones a fin de garantizar la confianza y la transparencia. La primera conferencia mundial dedicada exclusivamente a esta disciplina emergente fue la Conferencia Conjunta Internacional sobre Inteligencia Artificial de 2017 : Taller sobre Inteligencia Artificial Explicable (XAI). [ 93 ] Ha evolucionado a lo largo de los años, con varios talleres organizados y celebrados conjuntamente con muchas otras conferencias internacionales, y ahora cuenta con un evento mundial dedicado, "La conferencia mundial sobre Inteligencia Artificial Explicable", con sus propias actas. [ 94 ] [ 95 ]

La Unión Europea introdujo el derecho a la explicación en el Reglamento General de Protección de Datos (RGPD) para abordar los posibles problemas derivados de la creciente importancia de los algoritmos. La implementación del reglamento comenzó en 2018. Sin embargo, el derecho a la explicación en el RGPD cubre solo el aspecto local de la interpretabilidad. En Estados Unidos, las compañías de seguros están obligadas a poder explicar sus decisiones sobre tarifas y cobertura. [ 96 ] En Francia, la Ley para una República Digital (Ley para la República Digital) otorga a los sujetos el derecho a solicitar y recibir información relativa a la implementación de algoritmos que procesan datos sobre ellos.

Limitaciones

A pesar de los esfuerzos continuos por mejorar la capacidad de explicación de los modelos de IA, estos siguen presentando varias limitaciones inherentes.

partes adversarias

Hacer que un sistema de IA sea más explicable también revela más de su funcionamiento interno. Por ejemplo, el método de explicabilidad de la importancia de las características identifica las características o variables más importantes para determinar la salida del modelo, mientras que el método de muestras influyentes identifica las muestras de entrenamiento más influyentes para determinar la salida, dada una entrada particular. [ 97 ] Las partes adversarias podrían aprovechar este conocimiento.

Por ejemplo, las empresas competidoras podrían replicar aspectos del sistema de IA original en su propio producto, reduciendo así la ventaja competitiva. [ 98 ] Un sistema de IA explicable también es susceptible de ser manipulado, es decir, influenciado de una manera que socave su propósito previsto. Un estudio da el ejemplo de un sistema de vigilancia predictiva; en este caso, quienes podrían manipular el sistema son los delincuentes sujetos a las decisiones del sistema. En este estudio, los desarrolladores del sistema discutieron el problema de las bandas criminales que buscan obtener pasaportes ilegalmente y expresaron su preocupación de que, si se les diera una idea de qué factores podrían activar una alerta en el proceso de solicitud de pasaporte, esas bandas podrían "enviar conejillos de indias" para probar esos activadores, encontrando finalmente una laguna que les permitiría "obtener pasaportes de manera confiable ante las narices de las autoridades". [ 99 ]

Integración y explicación adaptativas

Muchos de los enfoques que utiliza ofrecen explicaciones generales, sin tener en cuenta la diversidad de antecedentes y niveles de conocimiento de los usuarios. Esto genera dificultades para una comprensión precisa por parte de todos los usuarios. Los usuarios expertos pueden encontrar las explicaciones poco profundas y demasiado simplificadas, mientras que un usuario principiante puede tener dificultades para comprenderlas debido a su complejidad. Esta limitación reduce la capacidad de las técnicas de IA explicable (XAI) para atraer a usuarios con diferentes niveles de conocimiento, lo que puede afectar la confianza de los usuarios y de quienes las utilizan. La calidad de las explicaciones puede variar entre los usuarios, ya que todos tienen diferentes niveles de experiencia, además de diferentes situaciones y condiciones. [ 100 ]

Complejidad técnica

Una barrera fundamental para lograr que los sistemas de IA sean explicables es su complejidad técnica. Los usuarios finales a menudo carecen de los conocimientos de programación necesarios para comprender cualquier tipo de software. Los métodos actuales para explicar la IA son principalmente técnicos y están orientados a los ingenieros de aprendizaje automático para la depuración, en lugar de a los usuarios finales, quienes son los que se ven afectados por el sistema, lo que genera una brecha entre la explicabilidad en la práctica y el objetivo de transparencia. [ 97 ] Entre las soluciones propuestas para abordar el problema de la complejidad técnica se incluyen promover la educación en programación del público en general para que las explicaciones técnicas sean más accesibles a los usuarios finales, o proporcionar explicaciones en lenguaje sencillo. [ 98 ]

La solución debe evitar la simplificación excesiva. Es importante encontrar un equilibrio entre la precisión —cuán fielmente la explicación refleja el proceso del sistema de IA— y la explicabilidad —cuán bien comprenden el proceso los usuarios finales—. Lograr este equilibrio es difícil, ya que la complejidad del aprendizaje automático dificulta su comprensión incluso para los ingenieros de ML, y mucho más para los no expertos. [ 97 ]

Comprensión versus confianza

El objetivo de la explicabilidad a los usuarios finales de los sistemas de IA es aumentar la confianza en los sistemas, incluso "abordar las preocupaciones sobre la falta de 'equidad' y los efectos discriminatorios". [ 98 ] Sin embargo, incluso con una buena comprensión de un sistema de IA, los usuarios finales no necesariamente confían en él. [ 101 ] En un estudio, se presentaron a los participantes combinaciones de explicaciones de caja blanca y caja negra, y explicaciones estáticas e interactivas de sistemas de IA. Si bien estas explicaciones sirvieron para aumentar tanto su comprensión autoinformada como objetiva, no tuvieron impacto en su nivel de confianza, que se mantuvo escéptico. [ 102 ]

Este resultado fue especialmente cierto para decisiones que impactaban significativamente al usuario final, como la admisión a la escuela de posgrado. Los participantes consideraron que los algoritmos eran demasiado inflexibles e implacables en comparación con quienes toman decisiones humanas; en lugar de adherirse rígidamente a un conjunto de reglas, los humanos pueden considerar casos excepcionales, así como apelaciones a su decisión inicial. [ 102 ] Para tales decisiones, la explicabilidad no necesariamente hará que los usuarios finales acepten el uso de algoritmos de toma de decisiones.

Sin embargo, algunos enfatizan que el propósito de la explicabilidad de la inteligencia artificial no es simplemente aumentar la confianza de los usuarios en las decisiones del sistema, sino calibrar el nivel de confianza de los usuarios al nivel correcto. [ 103 ] Según este principio, un exceso o una falta de confianza del usuario en el sistema de IA perjudicará el rendimiento general de la unidad humano-sistema. Cuando la confianza es excesiva, los usuarios no son críticos con los posibles errores del sistema y cuando no confían lo suficiente en él, no aprovechan al máximo los beneficios inherentes al mismo.

Crítica

Algunos académicos han sugerido que la explicabilidad en la IA debería considerarse un objetivo secundario a la efectividad de la IA, y que fomentar el desarrollo exclusivo de la IA explicable (XAI) puede limitar la funcionalidad de la IA en general. [ 104 ] [ 105 ] Las críticas a la XAI se basan en conceptos desarrollados de razonamiento mecanicista y empírico de la medicina basada en la evidencia para sugerir que las tecnologías de IA pueden validarse clínicamente incluso cuando su función no puede ser comprendida por sus operadores. [ 104 ]

Algunos investigadores defienden el uso de modelos de aprendizaje automático inherentemente interpretables, en lugar de utilizar explicaciones post hoc en las que se crea un segundo modelo para explicar el primero. Esto se debe en parte a que los modelos post hoc aumentan la complejidad en una ruta de decisión y en parte a que a menudo no está claro hasta qué punto una explicación post hoc puede imitar fielmente los cálculos de un modelo completamente separado. [ 23 ] Sin embargo, otra perspectiva es que lo importante es que la explicación cumpla la tarea en cuestión, y que sea pre hoc o post hoc no importa. Si un método de explicación post hoc ayuda a un médico a diagnosticar mejor el cáncer, es de importancia secundaria si la explicación es correcta o incorrecta.

Los objetivos de la IA explicable (XAI) equivalen a una forma de compresión con pérdida que se volverá menos efectiva a medida que los modelos de IA aumenten su número de parámetros. Junto con otros factores, esto conlleva un límite teórico para la explicabilidad. [ 106 ]

Explicabilidad en la elección social

La explicabilidad también se ha estudiado en la teoría de la elección social . Esta teoría busca encontrar soluciones a problemas de decisión social basadas en axiomas bien establecidos. Ariel D. Procaccia [ 107 ] explica que estos axiomas pueden utilizarse para construir explicaciones convincentes de las soluciones. Este principio se ha aplicado para elaborar explicaciones en diversos subcampos de la elección social.

Votación

Cailloux y Endriss [ 108 ] presentan un método para explicar las reglas de votación utilizando los axiomas que las caracterizan. Ejemplifican su método con la regla de votación de Borda .

Peters, Procaccia, Psomas y Zhou [ 109 ] presentan un algoritmo para explicar los resultados de la regla de Borda usando O( m 2 ) explicaciones, y demuestran que esto es ajustado en el peor de los casos.

Presupuesto participativo

Yang, Hausladen, Peters, Pournaras, Fricker y Helbing [ 110 ] presentan un estudio empírico de la explicabilidad en el presupuesto participativo . Compararon las reglas de reparto equitativo y de reparto igualitario , y tres tipos de explicaciones: explicación del mecanismo (una explicación general de cómo funciona la regla de agregación a partir de la entrada de votación), explicación individual (que explica cuántos votantes tuvieron al menos un proyecto aprobado, al menos 10000 CHF en proyectos aprobados) y explicación grupal (que explica cómo se distribuye el presupuesto entre los distritos y temas). Compararon la confiabilidad y la equidad percibidas de reparto equitativo y de reparto igualitario, antes y después de las explicaciones. Descubrieron que, para MES, la explicación del mecanismo produce el mayor aumento en la equidad y confiabilidad percibidas; la segunda más alta fue la explicación grupal. Para reparto equitativo, la explicación del mecanismo aumenta la confiabilidad percibida pero no la equidad, mientras que la explicación individual aumenta tanto la equidad como la confiabilidad percibidas. La explicación grupal disminuye la equidad y la confiabilidad percibidas.

Asignación de pagos

Nizri, Azaria y Hazon [ 111 ] presentan un algoritmo para calcular explicaciones del valor de Shapley . Dado un juego de coalición, su algoritmo lo descompone en subjuegos, para los cuales es fácil generar explicaciones verbales basadas en los axiomas que caracterizan el valor de Shapley. La distribución de recompensas para cada subjuego se percibe como justa, por lo que la distribución de recompensas basada en Shapley para el juego dado también debería parecer justa. Un experimento con 210 sujetos humanos muestra que, con sus explicaciones generadas automáticamente, los sujetos perciben la distribución de recompensas basada en Shapley como significativamente más justa que con una explicación estándar general.

Véase también

Referencias

  1. ↑ Longo, Luca; et  al. (2024). "Inteligencia Artificial Explicable (XAI) 2.0: Un manifiesto de desafíos abiertos y direcciones de investigación interdisciplinarias" . Information Fusion . 106 102301. arXiv : 2310.19775 . doi : 10.1016/j.inffus.2024.102301 .
  2. ↑ Mihály, Héder (2023). "IA explicable: una breve historia del concepto" (PDF) . Noticias ERCIM (134): 9– 10.
  3. ↑ Phillips, P. Jonathon; Hahn, Carina A.; Fontana, Peter C.; Yates, Amy N.; Greene, Kristen; Broniatowski, David A.; Przybocki, Mark A. (2021-09-29). "Cuatro principios de la inteligencia artificial explicable" . NIST . doi : 10.6028/nist.ir.8312 .
  4. ↑ Vilone, Giulia; Longo, Luca (2021). "Nociones de explicabilidad y enfoques de evaluación para la inteligencia artificial explicable" . Information Fusion . 76 : 89–106 . Bibcode : 2021InfFu..76...89V . doi : 10.1016/j.inffus.2021.05.009 .
  5. 1 2 Confalonieri, Roberto; Coba, Ludovik; Wagner, Benedikt; Besold, Tarek R. (enero de 2021). "Una perspectiva histórica de la inteligencia artificial explicable" . WIREs Data Mining and Knowledge Discovery . 11 (1) e1391. doi : 10.1002/widm.1391 . hdl : 11577/3471605 .
  6. ^ Wang, Shen; Qureshi, M. Atif; Miralles-Pechuán, Luis; Huynh-The, Thien; Gadekallu, Thippa Reddy; Liyanage, Madhusanka (2024). "IA explicable para casos de uso de 6G: aspectos técnicos y desafíos de investigación" . Revista abierta IEEE de la sociedad de las comunicaciones . 5 : 2490– 2540. Código Bib : 2024IOJCS...5.2490W . doi : 10.1109/OJCOMS.2024.3386872 . ISSN 2644-125X . 
  7. ↑ Castelvecchi, Davide (2016-10-06). "¿Podemos abrir la caja negra de la IA?" . Nature . 538 (7623): 20– 23. Bibcode : 2016Natur.538...20C . doi : 10.1038/538020a . ISSN 0028-0836 . PMID 27708329 . S2CID 4465871 .   
  8. 1 2 3 Sample, Ian (5 de noviembre de 2017). "La computadora dice que no: por qué es crucial que las IA sean justas, responsables y transparentes" . The Guardian . Recuperado el 30 de enero de 2018 .
  9. ↑ Alizadeh, Fatemeh (2021). "No lo sé, ¿también se usa la IA en los airbags?: Un estudio empírico de conceptos populares y expectativas de la gente sobre la inteligencia artificial actual y futura" . Icom . 20 (1): 3–17 . doi : 10.1515/icom-2021-0009 . S2CID 233328352 . 
  10. 1 2 Edwards, Lilian; Veale, Michael (2017). "¿Esclavo del algoritmo? Por qué un 'derecho a una explicación' probablemente no sea el remedio que busca". Duke Law and Technology Review . 16 : 18. SSRN 2972855 . 
  11. ↑ Do Couto, Mark (22 de febrero de 2024). "Entrando en la era de la IA explicable" . TDWI . Recuperado el 11 de septiembre de 2024 .
  12. 1 2 Gunning, D.; Stefik, M.; Choi, J.; Miller, T.; Stumpf, S.; Yang, G.-Z. (2019-12-18). "XAI-Inteligencia artificial explicable" . Science Robotics . 4 (37) eaay7120. doi : 10.1126/scirobotics.aay7120 . ISSN 2470-9476 . PMID 33137719 .  
  13. ↑ Rieg, Thilo; Frick, Janek; Baumgartl, Hermann; Buettner, Ricardo (2020-12-17). "Demostración del potencial de los enfoques de aprendizaje automático de caja blanca para obtener información a partir de electrocardiogramas de enfermedades cardiovasculares" . PLOS ONE . 15 (12) e0243615. Bibcode : 2020PLoSO..1543615R . doi : 10.1371/journal.pone.0243615 . ISSN 1932-6203 . PMC 7746264. PMID 33332440 .   
  14. ↑ Vilone, Giulia; Longo, Luca (2021). "Clasificación de métodos de inteligencia artificial explicables a través de sus formatos de salida" . Machine Learning and Knowledge Extraction . 3 (3): 615– 661. doi : 10.3390/make3030032 .
  15. ↑ Loyola-González, O. (2019). "Black-Box vs. White-Box: Understanding Their Advantages and Weaknesses From a Practical Point of View" . IEEE Access . 7 : 154096–154113 . Bibcode : 2019IEEEA...7o4096L . doi : 10.1109/ACCESS.2019.2949286 . ISSN 2169-3536 . 
  16. 1 2 Roscher, R.; Bohn, B.; Duarte, MF; Garcke, J. (2020). "Aprendizaje automático explicable para obtener información y realizar descubrimientos científicos" . IEEE Access . 8 : 42200–42216 . arXiv : 1905.08883 . Bibcode : 2020IEEEA...842200R . doi : 10.1109/ACCESS.2020.2976199 . ISSN 2169-3536 . 
  17. ↑ Murdoch, W. James; Singh, Chandan; Kumbier, Karl; Abbasi-Asl, Reza; Yu, Bin (2019-01-14). "Aprendizaje automático interpretable: definiciones, métodos y aplicaciones" . Actas de la Academia Nacional de Ciencias de los Estados Unidos de América . 116 (44 ) : 22071– 22080. arXiv : 1901.04592 . doi : 10.1073/pnas.1900654116 . PMC 6825274. PMID 31619572 .  
  18. 1 2 Lipton, Zachary C. (junio de 2018). "El mito de la interpretabilidad de los modelos: en el aprendizaje automático, el concepto de interpretabilidad es importante y a la vez resbaladizo" . ACM Queue . 16 (3): 31– 57. arXiv : 1606.03490 . doi : 10.1145/3236386.3241340 . ISSN 1542-7730 . 
  19. ↑ "Inteligencia Artificial Explicable (XAI): Conceptos, Taxonomías, Oportunidades y Desafíos hacia una IA Responsable" . DeepAI . 22 de octubre de 2019. Consultado el 13 de enero de 2021 .
  20. ↑ Montavon, Grégoire; Samek, Wojciech; Müller, Klaus-Robert (2018-02-01). "Métodos para interpretar y comprender redes neuronales profundas" . Procesamiento de señales digitales . 73 : 1–15 . arXiv : 1706.07979 . Bibcode : 2018DSP....73....1M . doi : 10.1016/j.dsp.2017.10.011 . ISSN 1051-2004 . 
  21. ↑ Notovich, Aviv., Chalutz-Ben Gal, Hila y Ben-Gal, Irad (2023). «Inteligencia Artificial Explicable (XAI): Motivación, Terminología y Taxonomía» (PDF) . En Manual de Aprendizaje Automático para la Ciencia de Datos: Manual de Minería de Datos y Descubrimiento de Conocimiento (págs. 971-985). Cham: Springer International Publishing.{{cite web}}: CS1 maint: nombres múltiples: lista de autores ( enlace ) CS1 maint: nombres numéricos: lista de autores ( enlace )
  22. ↑ Adadi, A.; Berrada, M. (2018). "Echando un vistazo al interior de la caja negra: una revisión sobre la inteligencia artificial explicable (XAI)" . IEEE Access . 6 : 52138–52160 . Bibcode : 2018IEEEA...652138A . doi : 10.1109/ACCESS.2018.2870052 . ISSN 2169-3536 . 
  23. 1 2 3 Rudin, Cynthia (2019). "Deje de explicar los modelos de aprendizaje automático de caja negra para decisiones de alto riesgo y utilice modelos interpretables en su lugar" . Nature Machine Intelligence . 1 (5): 206– 215. arXiv : 1811.10154 . doi : 10.1038/s42256-019-0048-x . ISSN 2522-5839 . PMC 9122117. PMID 35603010 .   
  24. ↑ Koh, PW; Nguyen, T.; Tang, YS; Mussmann, S.; Pierson, E.; Kim, B.; Liang, P. (noviembre de 2020). "Modelos de cuello de botella conceptuales". Conferencia Internacional sobre Aprendizaje Automático . PMLR. págs. 5338–5348 . 
  25. ↑ Ludan, JM; Lyu, Q.; Yang, Y.; Dugan, L.; Yatskar, M.; Callison-Burch, C. (2023). "Clasificación de texto interpretable por diseño con cuello de botella de concepto generado iterativamente". arXiv : 2310.19660 [ cs.CL ].
  26. ↑ Wenninger, Simon; Kaymakci, Can; Wiethe, Christian (2022). "Predicción explicable del consumo energético de edificios a largo plazo mediante QLattice". Applied Energy . 308 118300. Elsevier BV. Bibcode : 2022ApEn..30818300W . doi : 10.1016/j.apenergy.2021.118300 . ISSN 0306-2619 . S2CID 245428233 .  
  27. ↑ Christiansen, Michael; Wilstrup, Casper; Hedley, Paula L. (2022). "El aprendizaje automático explicable de "caja blanca" es el camino a seguir en la detección de la preeclampsia". American Journal of Obstetrics and Gynecology . 227 (5). Elsevier BV: 791. doi : 10.1016/j.ajog.2022.06.057 . ISSN 0002-9378 . PMID 35779588 . S2CID 250160871 .   
  28. ↑ Wilstup, Casper; Cave, Chris (2022). "Combinar la regresión simbólica con el modelo de riesgos proporcionales de Cox mejora la predicción de muertes por insuficiencia cardíaca" . BMC Medical Informatics and Decision Making . 22 (1) 196. doi : 10.1186/s12911-022-01943-1 . medRxiv 10.1101/2021.01.15.21249874 . PMC 9316394. PMID 35879758 .   
  29. ↑ "Cómo los detectives de la IA están descifrando la caja negra del aprendizaje profundo" . Science . 5 de julio de 2017. Consultado el 30 de enero de 2018 ..
  30. ^ Dosilovic, Filip; Brcic, Mario; Hlupic, Nikica (25 de mayo de 2018). "Inteligencia artificial explicable: una encuesta" (PDF) . MIPRO 2018 - Actas de la 41ª Convención Internacional . MIPRO 2018. Opatija, Croacia. págs. 210–215 . doi : 10.23919/MIPRO.2018.8400040 . ISBN  978-953-233-095-3. Archivado del original (PDF) el 10-12-2018 . Consultado el 09-12-2018 .
  31. ↑ Bernal, Jose; Mazo, Claudia (11 de octubre de 2022). "Transparencia de la inteligencia artificial en la atención médica: perspectivas de profesionales de la informática y la atención médica en todo el mundo" . Applied Sciences . 12 (20) 10228. doi : 10.3390/app122010228 . ISSN 2076-3417 . 
  32. ↑ Antoniadi, Anna Markella; Du, Yuhan; Guendouz, Yasmine; Wei, Lan; Mazo, Claudia; Becker, Brett A.; Mooney, Catherine (enero de 2021). "Desafíos actuales y oportunidades futuras para la IA explicable en sistemas de apoyo a la toma de decisiones clínicas basados ​​en aprendizaje automático: una revisión sistemática" . Applied Sciences . 11 (11): 5088. Bibcode : 2021ApSci..11.5088A . doi : 10.3390/app11115088 . ISSN 2076-3417 . 
  33. ↑ Noor, Abdul Aziz; Manzoor, Awais; Mazhar Qureshi, Muhammad Deedahwar; Qureshi, M. Atif; Rashwan, Wael (junio de 2025). "Revelando la IA explicable en la atención médica: tendencias actuales, desafíos y direcciones futuras" . WIREs Data Mining and Knowledge Discovery . 15 (2) e70018. doi : 10.1002/widm.70018 . ISSN 1942-4787 . 
  34. ↑ "DeepMind tiene pruebas sencillas que podrían evitar el apocalipsis de la IA de Elon Musk" . Bloomberg.com . 11 de diciembre de 2017. Consultado el 30 de enero de 2018 .
  35. ↑ "Aprendizaje a partir de las preferencias humanas" . Blog de OpenAI . 13 de junio de 2017. Consultado el 30 de enero de 2018 .
  36. ↑ "Inteligencia Artificial Explicable (XAI)" . DARPA . Consultado el 17 de julio de 2017 .
  37. ↑ Biecek, Przemyslaw (23 de junio de 2018). "DALEX: explicadores para modelos predictivos complejos". Journal of Machine Learning Research . 19 : 1–5 . arXiv : 1806.08915 .
  38. ↑ Rai, Arun. "Inteligencia artificial explicable: de caja negra a caja de cristal". Revista de la Academia de Ciencias del Marketing 48 (2020): 137-141.
  39. ↑ Sokol, Kacper; Flach, Peter (2018). «Caja de cristal: Explicación de decisiones de IA mediante afirmaciones contrafactuales a través de una conversación con un asistente virtual habilitado por voz». Actas de la Vigésimo Séptima Conferencia Internacional Conjunta sobre Inteligencia Artificial . págs. 5868–5870 . doi : 10.24963/ijcai.2018/865 . ISBN  978-0-9992411-2-7. S2CID 51608978 . 
  40. ↑ Broniatowski, David A. (2021). "Fundamentos psicológicos de la explicabilidad y la interpretabilidad en la inteligencia artificial" . NIST Pubs .
  41. 1 2 ISO/IEC TR 29119-11:2020, Ingeniería de software y sistemas, Pruebas de software, Parte 11: Directrices sobre las pruebas de sistemas basados ​​en IA . ISO . 2020. Recuperado el 25 de noviembre de 2023 .
  42. ↑ Verma, Yugesh (25 de diciembre de 2021). "Guía completa de SHAP: explicaciones aditivas de SHAPley para profesionales" . Analytics India Magazine . Consultado el 10 de julio de 2024 .
  43. ↑ Rothman, Denis (2020-10-07). "Explorando las explicaciones de LIME y las matemáticas que las sustentan" . Codemotion Magazine . Recuperado el 2024-07-10 .
  44. ↑ Christian, Brian (2020). "DÍMELO TODO: REDES MULTITAREA". El problema de la alineación : aprendizaje automático y valores humanos . WW Norton & Company. ISBN 978-0-393-86833-3.
  45. ↑ Sharma, Abhishek (11 de julio de 2018). "¿Qué son los mapas de prominencia en el aprendizaje profundo?" . Analytics India Magazine . Consultado el 10 de julio de 2024 .
  46. ↑ Luo, Haoyan; Specia, Lucia (2024-02-21). "De la comprensión a la utilización: un estudio sobre la explicabilidad de los modelos de lenguaje a gran escala". arXiv : 2401.12874 [ cs.CL ].
  47. ↑ Ananthaswamy, Anil (12 de abril de 2024). "¿Cómo 'comprenden' las máquinas los datos?" . Quanta Magazine . Consultado el 21 de enero de 2025 .
  48. ↑ García-Carrasco, J.; Maté, A.; Trujillo, JC (2024). "¿Cómo predice GPT-2 los acrónimos? Extracción y comprensión de un circuito mediante interpretabilidad mecanicista". Actas de la Conferencia Internacional sobre Inteligencia Artificial y Estadística . Actas de la Investigación en Aprendizaje Automático. pp. 3322–3330 . arXiv : 2405.04156 . 
  49. ↑ "Interpretabilidad mecanicista para la seguridad de la IA: una revisión" . TMLR . 2024.
  50. ↑ Ropek, Lucas (21 de mayo de 2024). "Nueva investigación antropológica arroja luz sobre la 'caja negra' de la IA"" . Gizmodo . Consultado el 23 de mayo de 2024 .
  51. ↑ Perrigo, Billy (21 de mayo de 2024). "La inteligencia artificial es una 'caja negra'. Quizás no por mucho tiempo" . Time . Consultado el 24 de mayo de 2024 .
  52. ↑ Barber, Gregory. "Dentro de la 'caja negra' de una red neuronal" . Wired . ISSN 1059-1028 . Consultado el 10 de julio de 2024 . 
  53. ↑ Geva, M.; Schuster, R.; Berant, J.; Levy, O. (noviembre de 2021). "Las capas de alimentación directa de transformadores son memorias de clave-valor". Actas de la Conferencia de 2021 sobre Métodos Empíricos en Procesamiento del Lenguaje Natural . págs. 5484–5495 . arXiv : 2012.14913 . doi : 10.18653/v1/2021.emnlp-main.446 . {{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace )
  54. ↑ Meng, K.; Bau, D.; Andonian, A.; Belinkov, Y. (2022). "Localización y edición de asociaciones fácticas en GPT" . Advances in Neural Information Processing Systems . 35 : 17359–17372 . ISBN 978-1-7138-7108-8.{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  55. ↑ Hase, P.; Bansal, M.; Kim, B.; Ghandeharioun, A. (2023). "¿Influye la localización en la edición? Sorprendentes diferencias entre la localización basada en la causalidad y la edición del conocimiento en los modelos de lenguaje" . Advances in Neural Information Processing Systems . 36 : 17643–17668 .{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  56. ↑ McGrath, T.; Rahtz, M.; Kramar, J.; Mikulik, V.; Legg, S. (2023). "El efecto hidra: autorreparación emergente en los cálculos del modelo de lenguaje 2307.15771". arXiv : 2307.15771 [ cs.LG ].{{cite arXiv}}: CS1 maint: varios nombres: lista de autores ( enlace )
  57. 1 2 Katz, S.; Belinkov, Y. (2023). "VISIT: Visualización e interpretación del flujo de información semántica de los transformadores". Hallazgos de la Asociación para la Lingüística Computacional: EMNLP 2023 : 14094–14113 . doi : 10.18653/v1/2023.findings-emnlp.939 .{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  58. ↑ Fagan, LM; Shortliffe, EH; Buchanan, BG (1980). "Toma de decisiones médicas asistida por computadora: de MYCIN a VM". Automedica . 3 (2): 97– 108.
  59. ↑ Clancey, William (1987). Tutoría basada en el conocimiento: El programa GUIDON . Cambridge, Massachusetts: The MIT Press.
  60. ↑ Brown, John S.; Burton, RR; De Kleer, Johan (1982). «Técnicas pedagógicas, de lenguaje natural y de ingeniería del conocimiento en SOPHIE I, II y III». Sistemas de tutoría inteligente . Academic Press. ISBN 0-12-648680-8.
  61. ↑ Bareiss, Ray; Porter, Bruce; Weir, Craig; Holte, Robert (1990). "Protos: Un aprendiz de aprendizaje basado en ejemplos". Machine Learning . Vol. 3. Morgan Kaufmann Publishers Inc. pp. 112–139 . ISBN   1-55860-119-8.
  62. 1 2 Bareiss, Ray (1989). Adquisición de conocimiento basada en ejemplos: un enfoque unificado para la representación, clasificación y aprendizaje de conceptos . Perspectivas en inteligencia artificial. Academic Press .
  63. ↑ Van Lent, M.; Fisher, W.; Mancuso, M. (julio de 2004). «Un sistema de inteligencia artificial explicable para el comportamiento táctico de unidades pequeñas». Actas de la Conferencia Nacional sobre Inteligencia Artificial . San José, CA: AAAI Press. págs. 900–907 . ISBN  0-262-51183-5.
  64. ↑ Russell, Stuart; Norvig, Peter (2003). Inteligencia artificial: un enfoque moderno . Serie Prentice Hall en Inteligencia Artificial (Segunda edición). Upper Saddle River, Nueva Jersey: Prentice Hall, Pearson Education. ISBN  0-13-790395-2.
  65. ^ Forbus, Kenneth; De Kleer, Johan (1993). Solucionadores de problemas de construcción . Cambridge, Massachusetts: Prensa del MIT. ISBN 0-262-06157-0.
  66. ↑ Tickle, AB; Andrews, R.; Golea, M.; Diederich, J. (noviembre de 1998). "La verdad saldrá a la luz: direcciones y desafíos en la extracción del conocimiento incrustado dentro de las redes neuronales artificiales entrenadas". IEEE Transactions on Neural Networks . 9 (6): 1057– 1068. Bibcode : 1998ITNN....9.1057T . doi : 10.1109 /72.728352 . ISSN 1045-9227 . PMID 18255792. S2CID 11111578 .   
  67. ↑ "Accenture presenta una herramienta para ayudar a las empresas a garantizar que su IA sea justa" . Bloomberg.com . Junio ​​de 2018. Consultado el 5 de agosto de 2018 .
  68. ^ Minsky, et al., "La sociedad de la vigilancia inteligente" IEEE ISTAS2013, páginas 13-17.
  69. ↑ Mukherjee, Siddhartha (27 de marzo de 2017). "IA versus MD" The New Yorker . Recuperado el 30 de enero de 2018 .
  70. ↑ Dombi, József; Csiszár, Orsolya (2021). Redes neuronales explicables basadas en lógica difusa y herramientas de decisión multicriterio . Estudios en Borrosidad y Soft Computing. vol. 408.doi : 10.1007 /978-3-030-72280-7 . ISBN  978-3-030-72279-1. ISSN 1434-9922 . S2CID 233486978 .  
  71. ↑ Bach, Sebastian; Binder, Alexander; Montavon, Grégoire; Klauschen, Frederick; Müller, Klaus-Robert ; Samek, Wojciech (2015-07-10). Suarez, Oscar Deniz (ed.). "On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation" . PLOS ONE . 10 (7) e0130140. Bibcode : 2015PLoSO..1030140B . doi : 10.1371/journal.pone.0130140 . ISSN 1932-6203 . PMC 4498753. PMID 26161953 .   
  72. ↑ Sample, Ian (5 de noviembre de 2017). "La computadora dice que no: por qué es crucial que las IA sean justas, responsables y transparentes" . The Guardian . Consultado el 5 de agosto de 2018 .
  73. ↑ Sixt, Leon; Landgraf, Tim (09-11-2022). "Un estudio riguroso de la descomposición profunda de Taylor" . Transactions on Machine Learning Research . arXiv : 2211.08425 . Recuperado el 13-11-2025 .
  74. ↑ Martens, David; Provost, Foster (2014). "Explicando las clasificaciones de documentos basadas en datos" (PDF) . MIS Quarterly . 38 : 73–99 . doi : 10.25300/MISQ/2014/38.1.04 . S2CID 14238842 . 
  75. ↑ Lundberg, Scott M; Lee, Su-In (2017), Guyon, I.; Luxburg, UV; Bengio, S.; Wallach, H. (eds.), "Un enfoque unificado para interpretar las predicciones de modelos" (PDF) , Advances in Neural Information Processing Systems 30 , Curran Associates, Inc., pp. 4765–4774 , arXiv : 1705.07874 , consultado el 13 de marzo de 2020. 
  76. ↑ Carter, Brandon; Mueller, Jonas; Jain, Siddhartha; Gifford, David (11 de abril de 2019). "¿Qué te impulsó a hacer esto? Comprender las decisiones de caja negra con subconjuntos de entrada suficientes" . XXII Conferencia Internacional sobre Inteligencia Artificial y Estadística : 567–576 .
  77. ↑ Shrikumar, Avanti; Greenside, Peyton; Kundaje, Anshul (17 de julio de 2017). "Aprendizaje de características importantes mediante la propagación de diferencias de activación" . Conferencia Internacional sobre Aprendizaje Automático : 3145–3153 .
  78. ↑ Sundararajan, Mukund; Taly, Ankur; Yan, Qiqi (6 de agosto de 2017). "Atribución axiomática para redes profundas" . Actas de la 34.ª Conferencia Internacional sobre Aprendizaje Automático : 3319–3328 . arXiv : 1703.01365 . Recuperado el 13 de marzo de 2020 .
  79. ↑ Le Merrer, Erwan; Trédan, Gilles (septiembre de 2020). "La explicabilidad remota se enfrenta al problema del portero" . Nature Machine Intelligence . 2 (9): 529– 539. arXiv : 1910.01432 . doi : 10.1038/s42256-020-0216-z . ISSN 2522-5839 . S2CID 225207140 .  
  80. ↑ Aivodji, Ulrich; Arai, Hiromi; Fortineau, Olivier; Gambs, Sébastien; Hara, Satoshi; Tapp, Alain (2019-05-24). "Fairwashing: el riesgo de racionalización" . Conferencia Internacional sobre Aprendizaje Automático . PMLR: 161–170 . arXiv : 1901.09749 .
  81. ↑ Singh, Chandan; Nasseri, Keyan; Tan, Yan Shuo; Tang, Tiffany; Yu, Bin (4 de mayo de 2021). "imodels: un paquete de Python para ajustar modelos interpretables" . Journal of Open Source Software . 6 (61): 3192. Bibcode : 2021JOSS....6.3192S . doi : 10.21105/joss.03192 . ISSN 2475-9066 . S2CID 235529515 .  
  82. ↑ Vidal, Thibaut; Schiffer, Maximilian (2020). "Born-Again Tree Ensembles" . Conferencia Internacional sobre Aprendizaje Automático . 119. PMLR: 9743–9753 . arXiv : 2003.11132 .
  83. ↑ Ustun, Berk; Rudin, Cynthia (1 de marzo de 2016). "Modelos lineales enteros superdispersos para sistemas de puntuación médica optimizados" . Machine Learning . 102 (3): 349–391 . arXiv : 1502.04269 . doi : 10.1007/s10994-015-5528-6 . ISSN 1573-0565 . S2CID 207211836 .  
  84. ↑ Bostrom, N., & Yudkowsky, E. (2014). La ética de la inteligencia artificial . The Cambridge Handbook of Artificial Intelligence , 316-334.
  85. ↑ "Conferencia FAT*" .
  86. ↑ "Los programas informáticos reconocen mejor a los hombres blancos que a las mujeres negras" . The Economist . 2018. Consultado el 5 de agosto de 2018 .
  87. ↑ Olah, Chris; Cammarata, Nick; Schubert, Ludwig; Goh, Gabriel; Petrov, Michael; Carter, Shan (10 de marzo de 2020). "Zoom In: Una introducción a los circuitos" . Distill . 5 (3) e00024.001. doi : 10.23915/distill.00024.001 . ISSN 2476-0757 . 
  88. ↑ Li, Yixuan; Yosinski, Jason; Clune, Jeff; Lipson, Hod; Hopcroft, John (8 de diciembre de 2015). "Aprendizaje convergente: ¿Aprenden las mismas representaciones las diferentes redes neuronales?" . Extracción de características: preguntas y desafíos modernos . PMLR: 196–212 .
  89. ↑ Hendricks, Lisa Anne; Akata, Zeynep; Rohrbach, Marcus; Donahue, Jeff; Schiele, Bernt; Darrell, Trevor (2016). "Generación de explicaciones visuales" . Visión por computadora – ECCV 2016. Notas de clase en ciencias de la computación. Vol. 9908. Springer International Publishing. pp. 3–19 . arXiv : 1603.08507 . doi : 10.1007/978-3-319-46493-0_1 . ISBN   978-3-319-46492-3. S2CID 12030503 . 
  90. ↑ Koh, Pang Wei; Liang, Percy (17 de julio de 2017). "Comprensión de las predicciones de caja negra mediante funciones de influencia" . Conferencia Internacional sobre Aprendizaje Automático . PMLR: 1885–1894 . arXiv : 1703.04730 .
  91. ↑ Schmaltz, Allen (23 de diciembre de 2021). "Detección de información local a partir de etiquetas globales: etiquetado de secuencias supervisado y de cero disparos mediante una descomposición convolucional" . Lingüística Computacional . 47 (4): 729–773 . doi : 10.1162/coli_a_00416 .
  92. ↑ Gouverneur, Philip; Li, Frédéric; Shirahama, Kimiaki; Luebke, Luisa; Adamczyk, Wacław M.; Szikszay, Tibor M.; Luedtke, Kerstin; Grzegorzek, Marcin (2023-02-09). "Inteligencia Artificial Explicable (XAI) en la Investigación del Dolor: Entendiendo el Papel de la Actividad Electrodérmica para el Reconocimiento Automatizado del Dolor" . Sensors . 23 (4): 1959. Bibcode : 2023Senso..23.1959G . doi : 10.3390/s23041959 . ISSN 1424-8220 . PMC 9960387. PMID 36850556 .   
  93. ↑ "Taller IJCAI 2017 sobre Inteligencia Artificial Explicable (XAI)" (PDF) . Earthlink . IJCAI. Archivado del original (PDF) el 4 de abril de 2019. Consultado el 17 de julio de 2017 .
  94. ↑ Inteligencia Artificial Explicable, Primera Conferencia Mundial, xAI 2023, Lisboa, Portugal, 26-28 de julio de 2023, Actas, Partes I/II/III . Communications in Computer and Information Science. Vol. 1903. springer. 2023. doi : 10.1007/978-3-031-44070-0 . ISBN  978-3-031-44070-0.
  95. ↑ Inteligencia Artificial Explicable, Segunda Conferencia Mundial, xAI 2024, Valletta, Malta, 17-19 de julio de 2024, Actas, Parte I/II/III/IV . Communications in Computer and Information Science. Vol. 2153. Springer. 2024. doi : 10.1007/978-3-031-63787-2 . ISBN  978-3-031-63787-2.
  96. ↑ Kahn, Jeremy (12 de diciembre de 2018). "La inteligencia artificial tiene que dar algunas explicaciones" . Bloomberg Businessweek . Consultado el 17 de diciembre de 2018 .
  97. 1 2 3 Bhatt, Umang; Xiang, Alice; Sharma, Shubham; Weller, Adrian; Taly, Ankur; Jia, Yunhan; Ghosh, Joydeep; Puri, Richir; MF Moura, José; Eckersley, Peter (2022). "Aprendizaje automático explicable en la implementación" . Actas de la Conferencia de 2020 sobre equidad, rendición de cuentas y transparencia . págs. 648–657 . doi : 10.1145/3351095.3375624 . ISBN  978-1-4503-6936-7. S2CID 202572724 . 
  98. 1 2 3 Burrel, Jenna (2016). "Cómo 'piensa' la máquina: Entendiendo la opacidad en los algoritmos de aprendizaje automático" . Big Data & Society . 3 (1) 2053951715622512. doi : 10.1177/2053951715622512 . S2CID 61330970 . 
  99. ↑ Veale, Michael; Van Kleek, Max; Binns, Reuben (2018). «Necesidades de diseño de equidad y rendición de cuentas para el soporte algorítmico en la toma de decisiones de alto riesgo en el sector público» . Actas de la Conferencia CHI 2018 sobre Factores Humanos en Sistemas Informáticos . Vol. 40. págs. 1–14 . doi : 10.1145/3173574.3174014 . ISBN   978-1-4503-5620-6. S2CID 3639135 . 
  100. ^ Yang, Wenli; Wei, Yuchen; Wei, Hanyu; Chen, Yanyu; Huang, Guan; Li, Xiang; Li, Renjie; Yao, Naimeng; Wang, Xinyi; Gu, Xiaotong; Amin, Muhammad Bilal; Kang, Byeong (10 de agosto de 2023). "Encuesta sobre IA explicable: desde enfoques, limitaciones y aspectos de aplicaciones" . Sistemas inteligentes centrados en el ser humano . 3 (3): 161– 188. doi : 10.1007/s44230-023-00038-y . ISSN 2667-1336 . 
  101. ↑ Hu, Tongxi; Zhang, Xuesong; Bohrer, Gil; Liu, Yanlan; Zhou, Yuyu; Martin, Jay; LI, Yang; Zhao, Kaiguang (2023). "Predicción del rendimiento de los cultivos mediante IA explicable y aprendizaje automático interpretable: Peligros de los modelos de caja negra para evaluar los impactos del cambio climático en el rendimiento de los cultivos" . Meteorología Agrícola y Forestal . 336 109458. Bibcode : 2023AgFM..33609458H . doi : 10.1016/j.agrformet.2023.109458 . S2CID 258552400 . 
  102. 1 2 Cheng, Hao-Fei; Wang, Ruotang; Zhang, Zheng; O'Connell, Fiona; Gray, Terrance; Harper, F. Maxwell; Zhu, Haiyi (2019). Explicación de algoritmos de toma de decisiones a través de la interfaz de usuario: estrategias para ayudar a las partes interesadas no expertas . Actas de la Conferencia CHI 2019 sobre factores humanos en sistemas informáticos. Vol. 559. págs. 1–12 . doi : 10.1145/3290605.3300789 . ISBN   978-1-4503-5970-2. S2CID 140281803 . 
  103. ↑ Liel, Yotam; Zalmanson, Lior (agosto de 2023). "Desactivando tu mejor juicio: conformidad con las recomendaciones algorítmicas" . Academy of Management Proceedings . 2023 (1) 16319. doi : 10.5465/AMPROC.2023.277bp . ISSN 0065-0668 . S2CID 260212999 .  
  104. 1 2 McCoy, Liam G.; Brenna, Connor TA; Chen, Stacy S.; Vold, Karina; Das, Sunit (2021-11-05). "Creer en las cajas negras: el aprendizaje automático para la atención médica no necesita explicabilidad para estar basado en la evidencia" . Journal of Clinical Epidemiology . 142 (en línea antes de la impresión): 252–257 . doi : 10.1016/j.jclinepi.2021.11.001 . ISSN 0895-4356 . PMID 34748907. S2CID 243810442 .   
  105. ↑ Ghassemi, Marzyeh; Oakden-Rayner, Luke; Beam, Andrew L. (2021-11-01). "La falsa esperanza de los enfoques actuales de la inteligencia artificial explicable en la atención médica" . The Lancet Digital Health . 3 (11): e745– e750. doi : 10.1016/S2589-7500(21)00208-9 . ISSN 2589-7500 . PMID 34711379. S2CID 239963176 .   
  106. ↑ Sarkar, Advait (2022). "¿Es la IA explicable una carrera contra la complejidad del modelo?" (PDF) . Taller sobre Transparencia y Explicaciones en Sistemas Inteligentes (TeXSS), en conjunto con ACM Intelligent User Interfaces (IUI 2022) : 192–199 . arXiv : 2205.10119 – vía CEUR Workshop Proceedings.
  107. ↑ Procaccia, Ariel D. (2019), «Los axiomas deberían explicar las soluciones», en Laslier, Jean-François; Moulin, Hervé; Sanver, M. Remzi; Zwicker, William S. (eds.), El futuro del diseño económico: el desarrollo continuo de un campo según lo conciben sus investigadores , Estudios en diseño económico, Cham: Springer International Publishing, pp. 195–199 , doi : 10.1007/978-3-030-18050-8_27 , ISBN  978-3-030-18050-8
  108. ↑ Cailloux, Olivier; Endriss, Ulle (09/05/2016). «Discutiendo sobre las reglas de votación» . Actas de la Tercera Conferencia Internacional Conjunta sobre Agentes Autónomos y Sistemas Multiagente - Volumen 1. AAMAS '16. Richland, SC: Fundación Internacional para Agentes Autónomos y Sistemas Multiagente. pp. 287–295 . doi : 10.65109/MRUW9849 . ISBN  978-1-4503-4239-1.
  109. ↑ Peters, Dominik; Procaccia, Ariel D; Psomas, Alexandros; Zhou, Zixin (2020). "Votación explicable" . Avances en sistemas de procesamiento de información neuronal . 33. Curran Associates, Inc.: 1525–1534 .
  110. ↑ Yang, Joshua C.; Hausladen, Carina I.; Peters, Dominik; Pournaras, Evangelos; Regula Häenggli Fricker; Helbing, Dirk (2024). "Diseño de sistemas de votación digital para los ciudadanos: lograr equidad y legitimidad en el presupuesto participativo". Gobierno digital: investigación y práctica . 5 (3): 1– 30. arXiv : 2310.03501 . doi : 10.1145/3665332 .
  111. ↑ Nizri, Meir; Hazon, Noam; Azaria, Amos (28-06-2022). "Asignación explicable basada en Shapley (Resumen del estudiante)" . Actas de la Conferencia AAAI sobre Inteligencia Artificial . 36 (11): 13023– 13024. doi : 10.1609/aaai.v36i11.21648 . ISSN 2374-3468 . S2CID 250296641 .  
  • "Los líderes de hoy se enfrentan a una nueva paradoja: implementar soluciones de IA potentes" . 31 de octubre de 2025.
  • "La Conferencia Mundial sobre Inteligencia Artificial Explicable" .
  • "Conferencia de la ACM sobre equidad, rendición de cuentas y transparencia (FAccT)" .
  • Mazumdar, Dipankar; Neto, Mário Popolin; Paulovich, Fernando V. (2021). "Mapas de similitud de bosques aleatorios: una representación visual escalable para la interpretación global y local" . Electronics . 10 (22): 2862. doi : 10.3390/electronics10222862 .
  • "Inteligencia Artificial Explicable: Haciendo que las máquinas sean comprensibles para los humanos" . Inteligencia Artificial Explicable: Haciendo que las máquinas sean comprensibles para los humanos . Consultado el 2 de noviembre de 2017 .
  • "Explicando cómo el aprendizaje profundo de extremo a extremo dirige un automóvil autónomo" . Parallel Forall . 23 de mayo de 2017. Consultado el 2 de noviembre de 2017 .
  • Knight, Will (14 de marzo de 2017). "DARPA está financiando proyectos que intentarán abrir las cajas negras de la IA" . MIT Technology Review . Recuperado el 2 de noviembre de 2017 .
Obtenido de " https://en.wikipedia.org/w/index.php?title=Explainable_artificial_intelligence&oldid=1360657002 "
Lecturas relacionadas
6 articulos
Inteligencia artificialInteligencia artificialLa inteligencia artificial ( IA ), en su sentido más amplio, es la inteligencia que exhiben las máquinas , en particular los sistemas informáticos ...Razonamiento automatizadoRazonamiento automatizadoEn informática , en particular en la representación y razonamiento del conocimiento y la metalógica , el área del razonamiento automático se dedica...Caja negraCaja negraEn ciencia, informática e ingeniería, una caja negra es un sistema que puede verse en términos de sus entradas y salidas (o características de tran...Derecho a explicaciónEn la regulación de algoritmos , particularmente la inteligencia artificial y su subcampo del aprendizaje automático , el derecho a una explicación...Experiencia de usuarioExperiencia de usuarioLa experiencia del usuario ( UX ) es la forma en que un usuario interactúa con un producto , sistema o servicio y la experimenta . Incluye las perc...Aprendizaje automáticoAprendizaje automáticoEl aprendizaje automático ( ML ) es un campo de estudio en inteligencia artificial que se ocupa del desarrollo y estudio de algoritmos estadísticos...