Selección de acciones

En los inicios de la inteligencia artificial , se asumía que la mejor manera para que un agente eligiera su siguiente acción sería calcular un plan probablemente óptimo y luego ejecutarlo. Esto dio lugar a la hipótesis del sistema de símbolos físicos , según la cual un agente físico capaz de manipular símbolos es necesario y suficiente para la inteligencia. Muchos agentes de software aún utilizan este enfoque para la selección de acciones. Normalmente, requiere describir todas las lecturas de los sensores, el mundo, todas las acciones y todos los objetivos del agente mediante algún tipo de lógica de predicados . Los críticos de este enfoque argumentan, con razón, que es demasiado lento para la planificación en tiempo real y que, a pesar de las pruebas, es improbable que produzca planes óptimos, ya que reducir las descripciones de la realidad a la lógica es propenso a errores.

La estrategia de satisfacción busca cumplir con criterios de adecuación, en lugar de identificar una solución óptima. De hecho, una estrategia de satisfacción puede ser (casi) óptima si se consideran los costos del propio proceso de toma de decisiones, como el costo de obtener información completa, en el cálculo del resultado.

Arquitecturas orientadas a objetivos : en estas arquitecturas simbólicas , el comportamiento del agente se describe típicamente mediante un conjunto de objetivos. Cada objetivo se puede lograr mediante un proceso o una actividad, que se describe mediante un plan predefinido. El agente solo debe decidir qué proceso llevar a cabo para lograr un objetivo determinado. El plan puede expandirse a subobjetivos, lo que hace que el proceso sea ligeramente recursivo. Técnicamente, los planes explotan, en mayor o menor medida, reglas de condición. Estas arquitecturas son reactivas o híbridas. Ejemplos clásicos de arquitecturas orientadas a objetivos son refinamientos implementables de la arquitectura de creencia-deseo-intención, como JAM o IVE .

A diferencia del enfoque simbólico, los sistemas distribuidos de selección de acciones no tienen un único componente que decida la siguiente acción. Al menos en su forma idealizada, los sistemas distribuidos cuentan con múltiples módulos que se ejecutan en paralelo y determinan la mejor acción basándose en el conocimiento local. En estos sistemas idealizados, se espera que surja una coherencia general, posiblemente mediante un diseño cuidadoso de los componentes que interactúan. Este enfoque suele inspirarse en la investigación sobre redes neuronales artificiales .

• ASMO es una arquitectura basada en la atención desarrollada por Mary-Anne Williams , Benjamin Johnston y su estudiante de doctorado Rony Novianto. ^{[ 1 ]} Orquesta una diversidad de procesos distribuidos modulares que pueden usar sus propias representaciones y técnicas para percibir el entorno, procesar información, planificar acciones y proponer acciones para realizar.
• Diversos tipos de arquitecturas de "el ganador se lo lleva todo" , en las que la única acción seleccionada toma el control total del sistema motor.
• Activación de la propagación, incluidas las redes Maes (ANA)
• La arquitectura Rosenblatt & Payton extendida es una arquitectura de activación propagada desarrollada por Toby Tyrrell en 1993. El comportamiento del agente se almacena en forma de una red de conexionismo jerárquica , que Tyrrell denominó jerarquía de flujo libre. Recientemente, ha sido utilizada, por ejemplo, por de Sevin & Thalmann (2005) y Kadleček (2001).
• La IA basada en el comportamiento surgió como respuesta a la lentitud de los robots que utilizaban técnicas de selección de acciones simbólicas. En esta forma, módulos separados responden a diferentes estímulos y generan sus propias respuestas. En su forma original, la arquitectura de subsunción consistía en diferentes capas que podían monitorear y suprimir las entradas y salidas de las demás.
• Las criaturas son mascotas virtuales de un videojuego impulsado por una red neuronal adaptativa de tres capas. Su mecanismo es reactivo, ya que la red determina en cada paso de tiempo la tarea que debe realizar la mascota. La red se describe detalladamente en el artículo de Grand et al. (1997) y en los Recursos para Desarrolladores de Creatures . Véase también la Wiki de Creatures .

Debido a la dificultad de construir sistemas puramente distribuidos, muchos investigadores han recurrido al uso de planes explícitos codificados para determinar las prioridades de su sistema.

Los métodos de planificación dinámicos o reactivos calculan una única acción siguiente en cada instante, basándose en el contexto actual y en planes predefinidos. A diferencia de los métodos de planificación clásicos, los enfoques reactivos o dinámicos no sufren explosión combinatoria . Sin embargo, a veces se consideran demasiado rígidos para ser considerados IA fuerte , dado que los planes se codifican con antelación. Al mismo tiempo, la inteligencia natural puede ser rígida en algunos contextos, aunque es fluida y capaz de adaptarse en otros.

Algunos ejemplos de mecanismos de planificación dinámica son:

• Máquinas de estados finitos. Se trata de arquitecturas reactivas utilizadas principalmente para agentes de videojuegos, en particular para bots de juegos de disparos en primera persona , o para actores virtuales de películas. Normalmente, las máquinas de estados son jerárquicas. Para ejemplos concretos de juegos, véase el artículo sobre bots de Halo 2 de Damian Isla (2005) o la tesis de máster sobre bots de Quake III de Jan Paul van Waveren (2001). Para un ejemplo de película, véase Softimage .
• Otros planes reactivos estructurados tienden a parecerse un poco más a los planes convencionales, a menudo con formas de representar la estructura jerárquica y secuencial . Algunos, como los "actos" de PRS, tienen soporte para planes parciales . ^{[ 2 ]} Muchas arquitecturas de agentes de mediados de la década de 1990 incluían tales planes como una "capa intermedia" que proporcionaba organización para módulos de comportamiento de bajo nivel mientras eran dirigidos por un planificador en tiempo real de nivel superior. A pesar de esta supuesta interoperabilidad con planificadores automatizados, la mayoría de los planes reactivos estructurados se codifican manualmente (Bryson 2001, cap. 3). Ejemplos de planes reactivos estructurados incluyen el sistema RAP de James Firby y los planes teleorreactivos de Nils Nilsson . PRS, RAP y TRP ya no se desarrollan ni reciben soporte. Un descendiente de este enfoque que aún se mantenía activo (a fecha de 2006) es el sistema de selección de acciones jerárquico de apilamiento deslizante ordenado con raíz paralela (o POSH ), que forma parte del Diseño Orientado al Comportamiento de Joanna Bryson.

En ocasiones, para abordar la aparente inflexibilidad de la planificación dinámica, se utilizan técnicas híbridas. En estas, un sistema de planificación de IA más convencional busca nuevos planes cuando el agente tiene tiempo libre y actualiza la biblioteca de planes dinámicos cuando encuentra buenas soluciones. El aspecto importante de cualquier sistema de este tipo es que, cuando el agente necesita seleccionar una acción, existe alguna solución que puede utilizarse de inmediato (véase el algoritmo anytime ).

• CogniTAO es un motor de toma de decisiones basado en BDI (creencia-deseo-intención) e incluye capacidades integradas para el trabajo en equipo.
• Soar es una arquitectura cognitiva simbólica . Se basa en reglas de condición-acción conocidas como producciones . Los programadores pueden usar el kit de desarrollo de Soar para crear agentes reactivos y de planificación, o cualquier solución intermedia entre estos dos extremos.
• Excalibur fue un proyecto de investigación liderado por Alexander Nareyek que presentaba agentes de planificación en cualquier momento para videojuegos. Su arquitectura se basa en la satisfacción de restricciones estructurales , una técnica avanzada de inteligencia artificial .
• ACT-R es similar a Soar. Incluye un sistema de aprendizaje bayesiano para ayudar a priorizar las producciones.
• ABL/Hap
• Arquitecturas difusas. El enfoque difuso en la selección de acciones produce un comportamiento más fluido que el que pueden generar las arquitecturas que utilizan reglas booleanas de condición-acción (como Soar o POSH). Estas arquitecturas son principalmente reactivas y simbólicas.

Algunos investigadores crean modelos elaborados de selección de acciones neuronales. Véase, por ejemplo:

• El Laboratorio de Neurociencia Cognitiva Computacional (CU Boulder).
• El Grupo de Investigación sobre Comportamiento Adaptativo archivó el 8 de octubre de 2006 en la Wayback Machine (Sheffield).

El locus coeruleus (LC) es una de las fuentes primarias de noradrenalina en el cerebro y se ha asociado con la selección del procesamiento cognitivo , como la atención y las tareas conductuales. ^{[ 3 ] [ 4 ] [ 5 ] [ 6 ]} La sustancia negra pars compacta (SNc) es una de las fuentes primarias de dopamina en el cerebro y se ha asociado con la selección de acciones, principalmente como parte de los ganglios basales . ^{[ 7 ] [ 8 ] [ 9 ] [ 10 ] [ 11 ]}  CNET es un mecanismo de señalización neuronal hipotético en la SNc y LC (que son neuronas catecolaminérgicas), que podría ayudar con la selección de acciones al dirigir la energía entre las neuronas en cada grupo como parte de la selección de acciones, para ayudar a una o más neuronas en cada grupo a alcanzar el potencial de acción . ^{[ 12 ] [ 13 ]} Se propuso por primera vez en 2018 y se basa en una serie de parámetros físicos de esas neuronas, que se pueden dividir en tres componentes principales:

1) La ferritina y la neuromelanina están presentes en altas concentraciones en esas neuronas, pero en 2018 se desconocía si formaban estructuras capaces de transmitir electrones a distancias relativamente largas, del orden de micras, entre las neuronas más grandes, lo cual no se había propuesto ni observado previamente. ^{[ 14 ]}  Estas estructuras también tendrían que proporcionar una función de enrutamiento o conmutación, lo cual tampoco se había propuesto ni observado previamente. Posteriormente se obtuvo evidencia de la presencia de estructuras de ferritina y neuromelanina en esas neuronas y de su capacidad tanto para conducir electrones mediante tunelización secuencial como para enrutar/conmutar la trayectoria de las neuronas. ^{[ 15 ] [ 16 ] [ 17 ]}

2) ) Se sabía que los axones de las neuronas grandes de la SNc tenían arborizaciones extensas, pero se desconocía si la actividad postsináptica en las sinapsis de esos axones elevaría el potencial de membrana de esas neuronas lo suficiente como para que los electrones se dirigieran a la neurona o neuronas con mayor actividad postsináptica para la selección de acciones. En ese momento, las explicaciones predominantes sobre la función de esas neuronas eran que no mediaban la selección de acciones y que solo eran moduladoras e inespecíficas. ^{[ 18 ]}  Posteriormente, el Prof. Pascal Kaeser de la Facultad de Medicina de Harvard obtuvo evidencia de que las neuronas grandes de la SNc pueden ser específicas temporal y espacialmente y mediar la selección de acciones. ^{[ 19 ]}   Otra evidencia indica que los axones grandes del LC tienen un comportamiento similar. ^{[ 20 ] [ 21 ]}

3) En 2018 se plantearon varias hipótesis sobre fuentes de electrones o excitones que proporcionarían la energía para el mecanismo, pero no se habían observado hasta entonces. El profesor Doug Brash, de Yale, propuso simultáneamente la escisión del dioxetano (que puede ocurrir durante el metabolismo somático de la dopamina mediante la degradación de la melanina por la quinona) para generar electrones de estado triplete de alta energía, lo que podría proporcionar una fuente de electrones para el mecanismo CNET. ^{[ 22 ] [ 23 ] [ 24 ]}

Si bien se han obtenido evidencias de varias predicciones físicas de la hipótesis CNET, no se ha buscado evidencia de si la hipótesis en sí es correcta. Una forma de intentar determinar si el mecanismo CNET está presente en estas neuronas sería utilizar fluoróforos de puntos cuánticos y sondas ópticas para determinar si el efecto túnel de electrones asociado con la ferritina en las neuronas ocurre en asociación con acciones específicas. ^{[ 6 ] [ 25 ] [ 26 ]}