Proceso estándar intersectorial para la minería de datos

El proceso estándar intersectorial para la minería de datos , conocido como CRISP-DM , ^{[ 1 ]} es un modelo de proceso estándar abierto que describe los enfoques comunes utilizados por los expertos en minería de datos . Es el modelo analítico más utilizado . ^{[ 2 ]}

En 2015, IBM lanzó una nueva metodología llamada Analytics Solutions Unified Method for Data Mining/Predictive Analytics ^{[ 3 ] [ 4 ]} (también conocida como ASUM-DM ), que refina y extiende CRISP-DM.

CRISP-DM se concibió en 1996 y se convirtió en un proyecto de la Unión Europea en el marco de la iniciativa de financiación ESPRIT en 1997. El proyecto fue liderado por cinco empresas: Integral Solutions Ltd (ISL) , Teradata , Daimler AG , NCR Corporation y OHRA , una compañía de seguros.

Este consorcio principal aportó diversas experiencias al proyecto. ISL fue adquirida posteriormente e integrada en SPSS . El gigante informático NCR Corporation desarrolló el almacén de datos Teradata y su propio software de minería de datos. Daimler-Benz contaba con un importante equipo de minería de datos. La OHRA comenzaba a explorar el potencial de la minería de datos.

La primera versión de la metodología se presentó en el 4.º Taller CRISP-DM SIG en Bruselas en marzo de 1999, ^{[ 5 ]} y se publicó como una guía paso a paso de minería de datos más tarde ese mismo año. ^{[ 6 ]}

Entre 2006 y 2008, se formó un SIG de CRISP-DM 2.0 y se debatió la actualización del modelo de proceso de CRISP-DM. ^{[ 7 ]} Se desconoce el estado actual de estos esfuerzos. Sin embargo, tanto el sitio web original crisp-dm.org citado en las revisiones, ^{[ 8 ] [ 9 ]} como el sitio web del SIG de CRISP-DM 2.0 ya no están activos. ^{[ 7 ]}

Aunque muchos profesionales de minería de datos que no pertenecen a IBM utilizan CRISP-DM, ^{[ 10 ] [ 11 ] [ 12 ]} IBM es la principal corporación que actualmente utiliza el modelo de proceso CRISP-DM. Pone a disposición para su descarga algunos de los documentos antiguos de CRISP-DM y lo ha incorporado a su producto SPSS Modeler . ^{[ 6 ]}

Según las investigaciones actuales, CRISP-DM es el modelo de minería de datos más utilizado debido a sus diversas ventajas, que han resuelto problemas existentes en la industria de la minería de datos. Una de las desventajas de este modelo es que no realiza actividades de gestión de proyectos. El éxito de CRISP-DM se debe en gran medida a su independencia de la industria, las herramientas y las aplicaciones. ^{[ 13 ] [ 14 ]}

CRISP-DM divide el proceso de minería de datos en seis fases principales: ^{[ 15 ]}

• Comprensión empresarial
• Comprensión de datos
• Preparación de datos
• Modelado
• Evaluación
• Despliegue

La secuencia de las fases no es estricta y suele ser necesario alternar entre ellas. Las flechas en el diagrama de procesos indican las dependencias más importantes y frecuentes entre las fases. El círculo exterior simboliza la naturaleza cíclica de la minería de datos. Un proceso de minería de datos continúa incluso después de la implementación de una solución. Las lecciones aprendidas durante el proceso pueden generar nuevas preguntas de negocio, a menudo más específicas, y los procesos de minería de datos posteriores se beneficiarán de la experiencia de los anteriores.

Las encuestas realizadas en el mismo sitio web ( KDNuggets ) en 2002, 2004, 2007 y 2014 muestran que fue la metodología líder utilizada por los mineros de datos de la industria que decidieron responder a la encuesta. ^{[ 10 ] [ 11 ] [ 12 ] [ 16 ]} El único otro enfoque de minería de datos mencionado en estas encuestas fue SEMMA . Sin embargo, SAS Institute afirma claramente que SEMMA no es una metodología de minería de datos, sino más bien una "organización lógica del conjunto de herramientas funcionales de SAS Enterprise Miner". Una revisión y crítica de los modelos de procesos de minería de datos en 2009 llamó a CRISP-DM el "estándar de facto para desarrollar proyectos de minería de datos y descubrimiento de conocimiento". ^{[ 17 ]} Otras revisiones de CRISP-DM y modelos de procesos de minería de datos incluyen la revisión de Kurgan y Musilek de 2006, ^{[ 8 ]} y la comparación de Azevedo y Santos de 2008 de CRISP-DM y SEMMA. ^{[ 9 ]} Los esfuerzos para actualizar la metodología comenzaron en 2006, pero, a junio de 2015, no han dado como resultado una nueva versión, y el "Grupo de Interés Especial" (SIG) responsable, junto con el sitio web, desapareció hace mucho tiempo (véase Historia de CRISP-DM ).

En 2024, Harvard Business Review publicó un marco actualizado, bizML, diseñado para ser más relevante para el personal empresarial y ser específico para proyectos de aprendizaje automático en particular, en lugar de para proyectos de análisis , ciencia de datos o minería de datos en general. ^{[ 18 ]}