Interpretabilidad mecanicista

La interpretabilidad mecanicista (a veces abreviada como mech interp , mechinterp o MI ) es un subcampo de investigación dentro de la inteligencia artificial explicable que busca comprender el funcionamiento interno de las redes neuronales mediante el análisis de sus estructuras, algoritmos y circuitos concretos. Este enfoque pretende analizar las redes neuronales de forma similar a la ingeniería inversa del software convencional.

El término "interpretabilidad mecanicista" fue acuñado por Chris Olah para describir su trabajo en análisis de circuitos, en contraposición a los métodos habituales en IA interpretable. El análisis de circuitos intentaba caracterizar completamente las características y circuitos individuales dentro de los modelos, mientras que el campo más amplio tendía hacia enfoques basados ​​en gradientes, como los mapas de prominencia . ^{[ 1 ] [ 2 ]}

Antes del análisis de circuitos, el trabajo en el subcampo combinaba varias técnicas como la visualización de características, la reducción de dimensionalidad y la atribución con métodos de interacción humano-computadora para analizar modelos como el modelo de visión Inception v1 . ^{[ 3 ] [ 4 ]}

La interpretabilidad mecanicista busca identificar estructuras, circuitos o algoritmos codificados en los pesos de los modelos de aprendizaje automático. ^{[ 5 ] [ 6 ]} Esto contrasta con los métodos de interpretabilidad anteriores que se centraban principalmente en explicaciones de " caja negra ". ^{[ 7 ]}

Hipótesis de representación lineal

Esta hipótesis sugiere que los conceptos de alto nivel se representan como direcciones lineales en el espacio de activación de las redes neuronales. La evidencia empírica de las incrustaciones de palabras y los grandes modelos de lenguaje respalda esta visión, aunque no es universal. ^{[ 8 ] [ 9 ]}

La interpretabilidad mecanicista emplea métodos causales para comprender cómo los componentes internos del modelo influyen en los resultados, a menudo utilizando herramientas formales de la teoría de la causalidad. ^{[ 10 ]}

La interpretabilidad mecanicista, en el campo de la seguridad de la IA , se utiliza para comprender y verificar el comportamiento de sistemas de IA complejos y para intentar identificar riesgos potenciales ^{[ 11 ] [ 6 ]} como la desalineación de la IA.

• Nanda, Neel (2023). "Representaciones lineales emergentes en modelos de mundo de modelos de secuencia auto-supervisados" . Taller BlackNLP : 16–30 . doi : 10.18653/v1/2023.blackboxnlp-1.2 .