Longitud mínima del mensaje

La longitud mínima del mensaje ( MML ) es un método bayesiano de teoría de la información para la comparación y selección de modelos estadísticos. ^{[ 1 ]} Proporciona una reformulación formal de la navaja de Occam en el marco de la teoría de la información : incluso cuando los modelos son iguales en su medida de precisión de ajuste a los datos observados, es más probable que el que genere la explicación más concisa de los datos sea correcto (donde la explicación consiste en la declaración del modelo, seguida de la codificación sin pérdida de los datos utilizando el modelo declarado). MML fue inventado por Chris Wallace y apareció por primera vez en el artículo fundamental "Una medida de información para la clasificación". ^{[ 2 ]} MML no solo se concibe como una construcción teórica, sino como una técnica que puede implementarse en la práctica. ^{[ 3 ]} Se diferencia del concepto relacionado de complejidad de Kolmogorov en que no requiere el uso de un lenguaje Turing-completo para modelar los datos. ^{[ 4 ]}

La obra de Shannon , *A Mathematical Theory of Communication * (1948), establece que en un código óptimo, la longitud del mensaje (en binario) de un evento${\displaystyle E}$,${\displaystyle \operatorname {length} (E)}$, dónde${\displaystyle E}$tiene probabilidad${\displaystyle P(E)}$, se da por${\displaystyle \operatorname {length} (E)=-\log _{2}(P(E))}$.

El teorema de Bayes establece que la probabilidad de una hipótesis (variable)${\displaystyle H}$dada evidencia fija${\displaystyle E}$es proporcional a${\displaystyle P(E|H)P(H)}$, que, por definición de probabilidad condicional , es igual a${\displaystyle P(H\land E)}$Queremos el modelo (hipótesis) con la mayor probabilidad posterior . Supongamos que codificamos un mensaje que representa (describe) tanto el modelo como los datos conjuntamente. Dado que${\displaystyle \operatorname {length} (H\land E)=-\log _{2}(P(H\land E))}$El modelo más probable tendrá el mensaje más corto. El mensaje se divide en dos partes:${\displaystyle -\log _{2}(P(H\land E))=-\log _{2}(P(H))+-\log _{2}(P(E|H))}$La primera parte codifica el modelo en sí. La segunda parte contiene información (por ejemplo, valores de parámetros o condiciones iniciales, etc.) que, al ser procesada por el modelo, genera los datos observados.

MML, de forma natural y precisa, prioriza la calidad del ajuste sobre la complejidad del modelo. Un modelo más complejo requiere más tiempo para su formulación (primera parte más larga), pero probablemente se ajusta mejor a los datos (segunda parte más corta). Por lo tanto, una métrica MML no elegirá un modelo complejo a menos que este resulte rentable.

Una razón por la que un modelo podría ser más extenso es simplemente porque sus diversos parámetros se especifican con mayor precisión, lo que requiere la transmisión de más dígitos. Gran parte de la potencia de MML radica en su manejo de la precisión con la que se especifican los parámetros de un modelo, y en diversas aproximaciones que lo hacen factible en la práctica. Esto permite comparar de forma útil, por ejemplo, un modelo con muchos parámetros especificados de forma imprecisa con otro con menos parámetros especificados de forma más precisa.

• MML se puede utilizar para comparar modelos de distinta estructura. Por ejemplo, su primera aplicación fue la búsqueda de modelos de mezcla con el número óptimo de clases. Añadir clases adicionales a un modelo de mezcla siempre permitirá ajustar los datos con mayor precisión, pero según MML, esto debe sopesarse con los bits adicionales necesarios para codificar los parámetros que definen dichas clases.
• MML es un método de comparación de modelos bayesianos . Asigna una puntuación a cada modelo.
• MML es invariante a la escala e invariante estadísticamente. A diferencia de muchos métodos de selección bayesianos, a MML no le importa si se cambia de la medición de longitud a la de volumen o de coordenadas cartesianas a coordenadas polares.
• MML es estadísticamente consistente. Para problemas como el de Neyman-Scott (1948) o el análisis factorial, donde la cantidad de datos por parámetro está limitada superiormente, MML puede estimar todos los parámetros con consistencia estadística .
• MML tiene en cuenta la precisión de la medición. Utiliza la información de Fisher (en la aproximación de Wallace-Freeman de 1987, u otros hipervolúmenes en otras aproximaciones ) para discretizar de forma óptima los parámetros continuos. Por lo tanto, la distribución posterior siempre es una probabilidad, no una densidad de probabilidad.
• MML se utiliza desde 1968. Se han desarrollado esquemas de codificación MML para diversas distribuciones y muchos tipos de algoritmos de aprendizaje automático, incluyendo clasificación no supervisada, árboles de decisión y grafos, secuencias de ADN, redes bayesianas , redes neuronales (hasta ahora solo de una capa), compresión de imágenes, segmentación de imágenes y funciones, etc.

• Probabilidad algorítmica
• Teoría de la información algorítmica
• Inducción gramatical
• Inferencia inductiva
• Probabilidad inductiva
• Complejidad de Kolmogorov : complejidad absoluta (dentro de una constante, dependiendo de la elección particular de la Máquina de Turing Universal ); MML es típicamente una aproximación computable (ver ^{[ 4 ]} ).
• Longitud mínima de descripción : una alternativa con una motivación posiblemente diferente (no bayesiana), desarrollada 10 años después de MML.
• La navaja de Occam

Publicación original:

• Wallace; Boulton (agosto de 1968). "Una medida de información para la clasificación" . Computer Journal . 11 (2): 185– 194. doi : 10.1093/comjnl/11.2.185 .

Libros:

• Wallace, CS (mayo de 2005). Inferencia estadística e inductiva mediante la longitud mínima del mensaje . Information Science and Statistics. Springer-Verlag. doi : 10.1007/0-387-27656-4 . ISBN 978-0-387-23795-4.
• Allison, L. (2018). Codificando la navaja de Ockham . Springer. doi : 10.1007/978-3-319-76433-7 . ISBN 978-3319764320. S2CID 19136282 . , sobre la implementación de MML y el código fuente .

Enlaces relacionados:

• Enlaces a todas las publicaciones conocidas de Chris Wallace .
• Una base de datos consultable de las publicaciones de Chris Wallace .
• Wallace, CS; Dowe, DL (1999). "Longitud mínima del mensaje y complejidad de Kolmogorov". Computer Journal . 42 (4): 270– 283. CiteSeerX 10.1.1.17.321 . doi : 10.1093/comjnl/42.4.270 . 
• "Número especial sobre la complejidad de Kolmogorov" . Computer Journal . 42 (4). 1999.
• Dowe, DL; Wallace, CS (1997). Resolución del problema de Neyman-Scott mediante la longitud mínima del mensaje . 28.º Simposio sobre la interfaz, Sídney, Australia. Ciencias de la Computación y Estadística . Vol.  28. págs. 614–618 . 
• Historia de la MML, última charla de la CSW .
• Needham, S.; Dowe, D. (2001). La longitud del mensaje como una navaja de Ockham eficaz en la inducción de árboles de decisión (PDF) . Actas del 8.º Taller Internacional sobre IA y Estadística . págs. 253–260 . (Demuestra cómo la navaja de Occam funciona bien cuando se interpreta como MML).
• Allison, L. (enero de 2005). "Modelos para aprendizaje automático y minería de datos en programación funcional" . Journal of Functional Programming . 15 (1): 15– 32. doi : 10.1017/S0956796804005301 . S2CID 5218889 . ( Código MML, FP y Haskell ).
• Comley, JW; Dowe, DL (abril de 2005). «Capítulo 11: Longitud mínima del mensaje, MDL y redes bayesianas generalizadas con lenguajes asimétricos» . En Grunwald, P.; Pitt, MA; Myung, IJ (eds.). Avances en la longitud mínima de descripción: teoría y aplicaciones . MIT Press. págs. 265–294 . ISBN  978-0-262-07262-5.
• Comley, Joshua W.; Dowe, DL (5–8 de junio de 2003). Redes bayesianas generales y lenguajes asimétricos . Actas de la 2.ª Conferencia Internacional de Hawái sobre Estadística y Campos Afines., .pdf . Comley y Dowe ( 2003 , 2005 ) son los dos primeros artículos sobre redes bayesianas MML que utilizan parámetros de valores discretos y continuos.

• Dowe, David L. (2010). «MML, modelos gráficos de redes bayesianas híbridas, consistencia estadística, invariancia y unicidad» (PDF) . Manual de filosofía de la ciencia (Volumen 7: Manual de filosofía de la estadística) . Elsevier. pp. 901–982 . ISBN  978-0-444-51862-0.
• Longitud mínima del mensaje (MML) , introducción de MML de LA, (MML alt.) .
• Longitud mínima del mensaje (MML), investigadores y enlaces .
• "Otro sitio web de investigación sobre MML" . Archivado del original el 12 de abril de 2017.
• Página de Snob para modelado de mezclas MML .
• MITECS : Chris Wallace escribió una entrada sobre MML para MITECS. (Requiere cuenta)
• mikko.ps : breves diapositivas introductorias de Mikko Koivisto en Helsinki
• Método del criterio de información de Akaike ( AIC ) para la selección de modelos y una comparación con MML: Dowe, DL; Gardner, S.; Oppy, G. (dic. 2007). "¡Bayes no se equivoca! Por qué la simplicidad no es un problema para los bayesianos". Br. J. Philos. Sci . 58 (4): 709– 754. doi : 10.1093/bjps/axm033 .