Regresión simbólica

La regresión simbólica ( RS ) es un tipo de análisis de regresión que busca en el espacio de expresiones matemáticas el modelo que mejor se ajuste a un conjunto de datos determinado, tanto en términos de precisión como de simplicidad.

No se proporciona ningún modelo en particular como punto de partida para la regresión simbólica. En cambio, las expresiones iniciales se forman combinando aleatoriamente bloques matemáticos básicos como operadores matemáticos , funciones analíticas , constantes y variables de estado . Por lo general, la persona que opera el sistema especificará un subconjunto de estos elementos básicos, pero esto no es un requisito de la técnica. El problema de la regresión simbólica para funciones matemáticas se ha abordado con una variedad de métodos, incluyendo la recombinación de ecuaciones, más comúnmente mediante programación genética , ^{[ 1 ]} así como métodos más recientes que utilizan métodos bayesianos ^{[ 2 ]} y redes neuronales . ^{[ 3 ]} Otro método alternativo no clásico a la regresión simbólica se denomina Universal Functions Originator (UFO), que tiene un mecanismo, un espacio de búsqueda y una estrategia de construcción diferentes. ^{[ 4 ]} Otros métodos, como el aprendizaje exacto, intentan transformar el problema de ajuste en un problema de momentos en un espacio de funciones naturales, generalmente construido en torno a generalizaciones de la función Meijer-G . ^{[ 5 ]}

Al no requerir la especificación a priori de un modelo, la regresión simbólica no se ve afectada por el sesgo humano ni por lagunas desconocidas en el conocimiento del dominio . Intenta descubrir las relaciones intrínsecas del conjunto de datos, permitiendo que los patrones en los propios datos revelen los modelos apropiados, en lugar de imponer una estructura de modelo que se considere matemáticamente manejable desde una perspectiva humana. La función de aptitud que impulsa la evolución de los modelos tiene en cuenta no solo las métricas de error (para asegurar que los modelos predigan los datos con precisión), sino también medidas de complejidad especiales, ^{[ 6 ]} asegurando así que los modelos resultantes revelen la estructura subyacente de los datos de una manera comprensible desde una perspectiva humana. Esto facilita el razonamiento y favorece las probabilidades de obtener información sobre el sistema generador de datos, además de mejorar la generalización y el comportamiento de extrapolación al prevenir el sobreajuste . La precisión y la simplicidad pueden dejarse como dos objetivos separados de la regresión —en cuyo caso las soluciones óptimas forman un frente de Pareto— o pueden combinarse en un único objetivo mediante un principio de selección de modelos como la longitud de descripción mínima .

Se ha demostrado que la regresión simbólica es un problema NP-difícil . ^{[ 7 ]} Sin embargo, si la ecuación buscada no es demasiado compleja, es posible resolver el problema de regresión simbólica de forma exacta generando todas las funciones posibles (construidas a partir de un conjunto predefinido de operadores) y evaluándolas en el conjunto de datos en cuestión. ^{[ 8 ]}

Mientras que las técnicas de regresión convencionales buscan optimizar los parámetros para una estructura de modelo predefinida, la regresión simbólica evita imponer supuestos previos y, en cambio, infiere el modelo a partir de los datos. En otras palabras, intenta descubrir tanto la estructura del modelo como sus parámetros.

Este enfoque tiene la desventaja de requerir un espacio de búsqueda mucho mayor, ya que no solo el espacio de búsqueda en la regresión simbólica es infinito, sino que además existe un número infinito de modelos que se ajustan perfectamente a un conjunto de datos finito (siempre que la complejidad del modelo no esté limitada artificialmente). Esto significa que un algoritmo de regresión simbólica podría tardar más en encontrar un modelo y una parametrización adecuados que las técnicas de regresión tradicionales. Esto puede mitigarse limitando el conjunto de bloques de construcción proporcionados al algoritmo, en función del conocimiento existente del sistema que generó los datos; pero, en definitiva, el uso de la regresión simbólica es una decisión que debe sopesarse con el conocimiento que se tiene del sistema subyacente.

No obstante, esta característica de la regresión simbólica también presenta ventajas: dado que el algoritmo evolutivo requiere diversidad para explorar eficazmente el espacio de búsqueda, es probable que el resultado sea una selección de modelos con puntuaciones altas (y su correspondiente conjunto de parámetros). El análisis de esta colección podría proporcionar una mejor comprensión del proceso subyacente y permite al usuario identificar una aproximación que se ajuste mejor a sus necesidades en términos de precisión y simplicidad.

La mayoría de los algoritmos de regresión simbólica evitan la explosión combinatoria mediante la implementación de algoritmos evolutivos que mejoran iterativamente la expresión de mejor ajuste a lo largo de muchas generaciones. Recientemente, los investigadores han propuesto algoritmos que utilizan otras tácticas en IA .

Silviu-Marian Udrescu y Max Tegmark desarrollaron el algoritmo "AI Feynman", ^{[ 11 ] [ 12 ]} que intenta la regresión simbólica entrenando una red neuronal para representar la función misteriosa, y luego realiza pruebas contra la red neuronal para intentar dividir el problema en partes más pequeñas. Por ejemplo, si${\displaystyle f(x_{1},...,x_{i},x_{i+1},...,x_{n})=g(x_{1},...,x_{i})+h(x_{i+1},...,x_{n})}$Las pruebas contra la red neuronal pueden reconocer la separación y proceder a resolverla.${\displaystyle g}$y${\displaystyle h}$por separado y con diferentes variables como entradas. Este es un ejemplo de divide y vencerás , que reduce el tamaño del problema para que sea más manejable. AI Feynman también transforma las entradas y salidas de la función misteriosa para producir una nueva función que se puede resolver con otras técnicas, y realiza un análisis dimensional para reducir el número de variables independientes involucradas. El algoritmo fue capaz de "descubrir" 100 ecuaciones de The Feynman Lectures on Physics , mientras que un software líder que utiliza algoritmos evolutivos, Eureqa , resolvió solo 71. AI Feynman, a diferencia de los métodos clásicos de regresión simbólica, requiere un conjunto de datos muy grande para entrenar primero la red neuronal y está naturalmente sesgado hacia ecuaciones que son comunes en la física elemental.

• Expresión en forma cerrada § Conversión de formas numéricas
• Programación genética
• Programación de la expresión génica
• complejidad de Kolmogorov
• Programación genética lineal
• Optimización matemática
• Programación de expresiones múltiples
• Análisis de regresión
• Matemáticas inversas
• Sistema de descubrimiento (investigación en IA) ^{[ 3 ]}

• Mark J. Willis; Hugo G. Hiden; Ben McKay; Gary A. Montague; Peter Marenbach (1997). "Programación genética: Introducción y panorama general de las aplicaciones" (PDF) . Publicaciones de la Conferencia IEE . IEE . págs. 314–319 . 
• Wouter Minnebo; Sean Stijven (2011). "Capítulo 4: Regresión simbólica" (PDF) . Potenciando la computación del conocimiento con selección de variables (tesis de maestría). Universidad de Amberes .
• John R. Koza; Martin A. Keane; James P. Rice (1993). "Mejora del rendimiento del aprendizaje automático mediante el descubrimiento automático de funciones facilitadoras aplicadas a un problema de identificación de sistemas simbólicos" (PDF) . Conferencia Internacional IEEE sobre Redes Neuronales . San Francisco: IEEE . págs. 191–198 . 

• Ivan Zelinka (2004). "Regresión simbólica: una visión general" .
• Hansueli Gerber (1998). "Regresión simbólica simple mediante programación genética" .(Applet de Java) — aproxima una función mediante la evolución de combinaciones de operadores aritméticos simples, utilizando algoritmos desarrollados por John Koza .
• Katya Vladislavleva. "Regresión simbólica: descubrimiento de funciones y más" . Archivado del original el 18 de diciembre de 2014.
• Mentron