En el análisis de datos , la detección de anomalías (también conocida como detección de valores atípicos y, a veces, como detección de novedades ) se entiende generalmente como la identificación de elementos, eventos u observaciones poco frecuentes que se desvían significativamente de la mayoría de los datos y no se ajustan a una noción bien definida de comportamiento normal. [ 1 ] Estos ejemplos pueden despertar sospechas de haber sido generados por un mecanismo diferente, [ 2 ] o parecer inconsistentes con el resto del conjunto de datos. [ 3 ]
La detección de anomalías encuentra aplicación en numerosos ámbitos, como la ciberseguridad , la medicina , la visión artificial , la estadística , la neurociencia , la aplicación de la ley y el fraude financiero, entre otros. Inicialmente, se buscaban anomalías para identificar su ausencia o ausencia en los datos y así facilitar el análisis estadístico, por ejemplo, para calcular la media o la desviación estándar. También se eliminaban para mejorar las predicciones de modelos como la regresión lineal, y más recientemente, su eliminación contribuye al rendimiento de los algoritmos de aprendizaje automático. Sin embargo, en muchas aplicaciones, las anomalías en sí mismas son de interés y constituyen las observaciones más valiosas del conjunto de datos, que deben identificarse y separarse del ruido o de los valores atípicos irrelevantes.
Existen tres grandes categorías de técnicas de detección de anomalías: [ 1 ]
- Las técnicas de detección de anomalías supervisadas requieren un conjunto de datos etiquetado como "normal" y "anormal", e implican el entrenamiento de un clasificador. Sin embargo, este enfoque rara vez se utiliza en la detección de anomalías debido a la escasez de datos etiquetados y al desequilibrio inherente entre las clases.
- Las técnicas de detección de anomalías semisupervisadas parten de la base de que una parte de los datos está etiquetada. Esto puede ser cualquier combinación de datos normales o anómalos, pero, por lo general, estas técnicas construyen un modelo que representa el comportamiento normal a partir de un conjunto de datos de entrenamiento normales y, a continuación, evalúan la probabilidad de que el modelo genere una instancia de prueba.
- Las técnicas de detección de anomalías no supervisadas parten de la base de que los datos no están etiquetados y son, con diferencia, las más utilizadas debido a su aplicación más amplia y relevante.
Definición
En las comunidades de estadística e informática se han realizado numerosos intentos para definir una anomalía. Los más frecuentes incluyen los siguientes, y pueden clasificarse en tres grupos: aquellos que son ambiguos, aquellos que son específicos de un método con umbrales predefinidos, generalmente elegidos empíricamente, y aquellos que están definidos formalmente:
Mal definido
- Un valor atípico es una observación que se desvía tanto de las demás observaciones que despierta sospechas de que fue generada por un mecanismo diferente. [ 2 ]
- Las anomalías son casos o conjuntos de datos que ocurren muy raramente en el conjunto de datos y cuyas características difieren significativamente de la mayoría de los datos.
- Un valor atípico es una observación (o subconjunto de observaciones) que parece ser inconsistente con el resto de ese conjunto de datos. [ 3 ]
- Una anomalía es un punto o conjunto de puntos que se encuentra relativamente alejado de otros puntos en un espacio multidimensional de características.
- Las anomalías son patrones en los datos que no se ajustan a una noción bien definida de comportamiento normal. [ 1 ]
Específico
- Sea T un conjunto de observaciones de una distribución gaussiana univariada y O un punto de T. Entonces, la puntuación z de O es mayor que un umbral preseleccionado si y solo si O es un valor atípico.
Historia
Detección de intrusiones
El concepto de detección de intrusiones, un componente crítico de la detección de anomalías, ha evolucionado significativamente con el tiempo. Inicialmente, era un proceso manual en el que los administradores del sistema supervisaban actividades inusuales, como el acceso a la cuenta de un usuario de vacaciones o actividad inesperada de la impresora. Este enfoque no era escalable y pronto fue reemplazado por el análisis de los registros de auditoría y los registros del sistema en busca de indicios de comportamiento malicioso. [ 4 ]
A finales de la década de 1970 y principios de la de 1980, el análisis de estos registros se utilizaba principalmente de forma retrospectiva para investigar incidentes, ya que el volumen de datos hacía impracticable la monitorización en tiempo real. La accesibilidad del almacenamiento digital propició finalmente el análisis de los registros de auditoría en línea, desarrollándose programas especializados para examinar los datos. Sin embargo, estos programas solían ejecutarse en horas de baja demanda debido a su gran carga computacional. [ 4 ]
La década de 1990 trajo consigo la aparición de sistemas de detección de intrusiones en tiempo real capaces de analizar los datos de auditoría a medida que se generaban, lo que permitió la detección inmediata de ataques y la respuesta a los mismos. Esto marcó un cambio significativo hacia la detección proactiva de intrusiones. [ 4 ]
A medida que el campo ha seguido desarrollándose, el enfoque se ha desplazado hacia la creación de soluciones que puedan implementarse de manera eficiente en entornos de red grandes y complejos, adaptándose a la creciente variedad de amenazas de seguridad y a la naturaleza dinámica de las infraestructuras informáticas modernas. [ 4 ]
Aplicaciones
La detección de anomalías es aplicable en una gran cantidad y variedad de dominios, y es una subárea importante del aprendizaje automático no supervisado. Como tal, tiene aplicaciones en ciberseguridad, detección de intrusiones , detección de fraudes , detección de fallas, monitoreo del estado del sistema, detección de eventos en redes de sensores, detección de perturbaciones en ecosistemas, detección de defectos en imágenes mediante visión artificial , diagnóstico médico y aplicación de la ley. [ 5 ]
Detección de intrusiones
La detección de anomalías fue propuesta para los sistemas de detección de intrusiones (IDS) por Dorothy Denning en 1986. [ 6 ] La detección de anomalías para IDS normalmente se realiza con umbrales y estadísticas, pero también puede hacerse con computación blanda y aprendizaje inductivo. [ 7 ] Los tipos de características propuestos en 1999 incluían perfiles de usuarios, estaciones de trabajo, redes, hosts remotos, grupos de usuarios y programas basados en frecuencias, medias, varianzas, covarianzas y desviaciones estándar. [ 8 ] La contraparte de la detección de anomalías en la detección de intrusiones es la detección de mal uso .
detección de fraude en tecnología financiera
La detección de anomalías es vital en fintech para la prevención del fraude . [ 9 ] [ 10 ]
Preprocesamiento
El preprocesamiento de datos para eliminar anomalías puede ser un paso importante en el análisis de datos y se realiza por varias razones. Las estadísticas, como la media y la desviación estándar, son más precisas después de eliminar las anomalías, y la visualización de los datos también puede mejorar. En el aprendizaje supervisado , eliminar los datos anómalos del conjunto de datos suele resultar en un aumento estadísticamente significativo de la precisión. [ 11 ] [ 12 ]
Videovigilancia
La detección de anomalías se ha vuelto cada vez más vital en la videovigilancia para mejorar la seguridad. [ 13 ] [ 14 ] Con la llegada de las tecnologías de aprendizaje profundo, los métodos que utilizan redes neuronales convolucionales (CNN) y unidades recurrentes simples (SRU) han demostrado ser muy prometedores para identificar actividades o comportamientos inusuales en datos de vídeo. [ 13 ] Estos modelos pueden procesar y analizar flujos de vídeo extensos en tiempo real, reconociendo patrones que se desvían de la norma, lo que puede indicar posibles amenazas a la seguridad o violaciones de la seguridad. [ 13 ] Un aspecto importante para la videovigilancia es el desarrollo de marcos escalables en tiempo real. [ 15 ] [ 16 ] Dichos sistemas son necesarios para procesar múltiples flujos de vídeo con recursos computacionales bajos.
Infraestructura de TI
En la gestión de infraestructura de TI , la detección de anomalías es crucial para garantizar el buen funcionamiento y la fiabilidad de los servicios. [ 17 ] Estos son sistemas complejos , compuestos por muchos elementos interactivos y grandes cantidades de datos, que requieren métodos para procesar y reducir estos datos a un formato interpretable tanto por humanos como por máquinas. [ 18 ] Se emplean técnicas como la Biblioteca de Infraestructura de TI (ITIL) y marcos de monitorización para rastrear y gestionar el rendimiento del sistema y la experiencia del usuario. [ 17 ] Las anomalías detectadas pueden ayudar a identificar y prevenir posibles degradaciones del rendimiento o fallos del sistema, manteniendo así la productividad y la eficacia de los procesos de negocio. [ 17 ]
sistemas IoT
La detección de anomalías es fundamental para la seguridad y la eficiencia de los sistemas de Internet de las Cosas (IoT). [ 19 ] Ayuda a identificar fallos del sistema y brechas de seguridad en redes complejas de dispositivos IoT. [ 19 ] Los métodos deben gestionar datos en tiempo real, diversos tipos de dispositivos y escalar eficazmente. Garg et al. [ 20 ] han introducido un marco de detección de anomalías de múltiples etapas que mejora los métodos tradicionales al incorporar agrupamiento espacial, agrupamiento basado en densidad y hash sensible a la localidad. Este enfoque personalizado está diseñado para manejar mejor la naturaleza vasta y variada de los datos IoT, mejorando así la seguridad y la fiabilidad operativa en infraestructuras inteligentes y sistemas IoT industriales. [ 20 ]
Industria petrolera
La detección de anomalías es crucial en la industria petrolera para el monitoreo de maquinaria crítica. [ 21 ] Un artículo de 2015 propuso un nuevo algoritmo de segmentación que utiliza máquinas de vectores de soporte para analizar datos de sensores para la detección de anomalías en tiempo real. [ 21 ]
Monitoreo de oleoductos y gasoductos
En el sector del petróleo y el gas, la detección de anomalías no solo es crucial para el mantenimiento y la seguridad, sino también para la protección del medio ambiente. [ 22 ] Aljameel et al. proponen un modelo avanzado basado en aprendizaje automático para detectar fugas menores en oleoductos y gasoductos, una tarea que los métodos tradicionales pueden pasar por alto. [ 22 ]
Métodos
En la literatura se han propuesto numerosas técnicas de detección de anomalías. [ 1 ] [ 23 ] El rendimiento de los métodos suele depender de los conjuntos de datos. Por ejemplo, algunos pueden ser adecuados para detectar valores atípicos locales, mientras que otros lo son para detectar valores globales, y los métodos presentan pocas ventajas sistemáticas entre sí al compararlos en diversos conjuntos de datos. [ 24 ] [ 25 ] Casi todos los algoritmos también requieren la configuración de parámetros no intuitivos, cruciales para el rendimiento y generalmente desconocidos antes de su aplicación. A continuación se mencionan algunas de las técnicas más populares, clasificadas en categorías:
Estadístico
Sin parámetros
También conocido como basado en frecuencia o en conteo, el método de detección de anomalías no paramétrico más simple consiste en construir un histograma con los datos de entrenamiento o un conjunto de instancias normales conocidas, y si un punto de prueba no cae en ninguno de los intervalos del histograma, marcarlo como anómalo o asignar una puntuación de anomalía a los datos de prueba en función de la altura del intervalo en el que cae. [ 1 ] El tamaño de los intervalos es clave para la efectividad de esta técnica, pero debe ser determinado por quien la implementa.
Una técnica más sofisticada utiliza funciones kernel para aproximar la distribución de los datos normales. Las instancias en áreas de baja probabilidad de la distribución se consideran entonces anomalías. [ 26 ]
Basado en parámetros
Densidad
- Técnicas basadas en la densidad ( k-vecino más cercano , [ 27 ] [ 28 ] [ 29 ] factor de valores atípicos locales , [ 30 ] bosques de aislamiento , [ 31 ] [ 32 ] y muchas más variaciones de este concepto [ 33 ] )
- Detección de valores atípicos basada en subespacios (SOD), [ 34 ] basada en correlación (COP) [ 35 ] y basada en tensores [ 36 ] para datos de alta dimensión [ 37 ].
- Máquinas de vectores de soporte de una clase [ 38 ] (OCSVM, SVDD)
Redes neuronales
- redes neuronales replicadoras , [ 39 ] autoencoders , autoencoders variacionales, [ 40 ] redes neuronales de memoria a corto y largo plazo [ 41 ]
- Redes bayesianas [ 39 ]
- Modelos ocultos de Markov (HMM) [ 39 ]
- Determinante de covarianza mínima [ 42 ] [ 43 ]
- Aprendizaje profundo [ 13 ]
- Redes neuronales convolucionales (CNN): Las CNN han demostrado un rendimiento excepcional en el dominio del aprendizaje no supervisado para la detección de anomalías, especialmente en el análisis de datos de imágenes y vídeo. [ 13 ] Su capacidad para aprender de forma automática y jerárquica jerarquías espaciales de características desde patrones de bajo a alto nivel las hace particularmente adecuadas para detectar anomalías visuales. Por ejemplo, las CNN pueden entrenarse con conjuntos de datos de imágenes para identificar patrones atípicos que indiquen defectos o condiciones fuera de la norma en escenarios de control de calidad industrial. [ 44 ]
- Unidades Recurrentes Simples (SRU): En datos de series temporales, las SRU, un tipo de red neuronal recurrente, se han utilizado eficazmente para la detección de anomalías al capturar dependencias temporales y anomalías de secuencia. [ 13 ] A diferencia de las RNN tradicionales, las SRU están diseñadas para ser más rápidas y paralelizable, lo que las hace más adecuadas para la detección de anomalías en tiempo real en sistemas complejos como mercados financieros dinámicos o el mantenimiento predictivo de maquinaria, donde la identificación rápida de irregularidades temporales es crucial. [ 45 ]
- Modelos base : Desde la aparición de modelos base a gran escala que se han utilizado con éxito en la mayoría de las tareas posteriores, también se han adaptado para su uso en la detección y segmentación de anomalías. Los métodos que utilizan modelos base preentrenados incluyen el uso de la alineación de incrustaciones de imágenes y texto (CLIP, etc.) para la localización de anomalías, [ 46 ] mientras que otros pueden utilizar la capacidad de relleno de los modelos de imágenes generativos para la detección de anomalías basada en errores de reconstrucción. [ 47 ]
Basado en clústeres
- Agrupamiento: Detección de valores atípicos basada en análisis de clústeres [ 48 ] [ 49 ]
- Desviaciones de las reglas de asociación y conjuntos de elementos frecuentes
- Detección de valores atípicos basada en lógica difusa
conjuntos
- Técnicas de conjunto , utilizando bagging de características , [ 50 ] [ 51 ] normalización de puntuación [ 52 ] [ 53 ] y diferentes fuentes de diversidad [ 54 ] [ 55 ]
Cuántico
Se han investigado enfoques de aprendizaje automático cuántico para la detección de anomalías en hardware cuántico de próxima generación. Las máquinas de vectores de soporte cuánticas (QSVM) que utilizan métodos de núcleo cuántico, como ZZFeatureMap, se han aplicado a la clasificación de instancias normales frente a anómalas aprovechando espacios de características cuánticas de alta dimensión. [ 56 ] [ 57 ]
Otros
El Histogram-based Outlier Score (HBOS) utiliza histogramas de valores y asume la independencia de las características para predicciones rápidas. [ 58 ]
Detección de anomalías en redes dinámicas
Las redes dinámicas, como las que representan los sistemas financieros, las interacciones en redes sociales y la infraestructura de transporte, están sujetas a cambios constantes, lo que convierte la detección de anomalías en una tarea compleja. A diferencia de los grafos estáticos, las redes dinámicas reflejan relaciones y estados en constante evolución, lo que requiere técnicas adaptativas para la detección de anomalías.
Tipos de anomalías en redes dinámicas
- Anomalías comunitarias
- anomalías de compresión
- anomalías de descomposición
- anomalías de distancia
- Anomalías de modelos probabilísticos
Detección de anomalías explicable
Muchos de los métodos mencionados anteriormente solo proporcionan una predicción de puntuación de anomalía, que a menudo se puede explicar a los usuarios como que el punto se encuentra en una región de baja densidad de datos (o densidad relativamente baja en comparación con las densidades vecinas). En la inteligencia artificial explicable , los usuarios exigen métodos con mayor capacidad de explicación. Algunos métodos permiten explicaciones más detalladas:
- El grado de valores atípicos del subespacio (SOD) [ 34 ] identifica atributos en los que una muestra es normal y atributos en los que la muestra se desvía de lo esperado.
- Las probabilidades de valores atípicos de correlación (COP) [ 35 ] calculan un vector de error de cómo un punto de muestra se desvía de una ubicación esperada, lo que puede interpretarse como una explicación contrafactual: la muestra sería normal si se moviera a esa ubicación.
Software
- ELKI es un conjunto de herramientas de minería de datos de código abierto para Java que contiene varios algoritmos de detección de anomalías, así como la aceleración de índices para los mismos.
- PyOD es una biblioteca de Python de código abierto desarrollada específicamente para la detección de anomalías. [ 59 ]
- scikit-learn es una biblioteca de Python de código abierto que contiene algunos algoritmos para la detección de anomalías no supervisada.
- Wolfram Mathematica proporciona funcionalidad para la detección de anomalías no supervisada en múltiples tipos de datos [ 60 ].
conjuntos de datos
- Repositorio de datos de referencia para la detección de anomalías con conjuntos de datos cuidadosamente seleccionados de la Ludwig-Maximilians-Universität München ; Mirror Archived 2022-03-31 en la Wayback Machine de la Universidad de São Paulo .
- ODDS – ODDS: Una gran colección de conjuntos de datos de detección de valores atípicos disponibles públicamente con datos de referencia en diferentes dominios.
- Prueba comparativa de detección de anomalías no supervisada en Harvard Dataverse: conjuntos de datos para la detección de anomalías no supervisada con datos de referencia.
- El repositorio de datos KMASH de Research Data Australia cuenta con más de 12.000 conjuntos de datos de detección de anomalías con información de referencia.
Véase también
Referencias
- 1 2 3 4 5 Chandola, V.; Banerjee, A.; Kumar, V. (2009). "Detección de anomalías: una revisión". ACM Computing Surveys . 41 (3): 1– 58. doi : 10.1145/1541880.1541882 . S2CID 207172599 .
- 1 2 Hawkins, Douglas M. (1980). Identificación de valores atípicos . Springer. ISBN 978-0-412-21900-9OCLC 6912274
- 1 2 Barnett, Vic; Lewis, Lewis (1978). Valores atípicos en datos estadísticos . Wiley. ISBN 978-0-471-99599-9OCLC 1150938591
- 1 2 3 4 Kemmerer, RA; Vigna, G. (abril de 2002). "Detección de intrusiones: una breve historia y descripción general". Computer . 35 (4): supl27– supl30. doi : 10.1109/mc.2002.1012428 . ISSN 0018-9162 .
- ↑ Aggarwal, Charu (2017). Análisis de valores atípicos . Springer Publishing Company, Incorporated. ISBN 978-3-319-47577-6.
- ↑ Denning, DE (1987). "Un modelo de detección de intrusiones" ( PDF) . IEEE Transactions on Software Engineering . SE-13 (2): 222–232 . CiteSeerX 10.1.1.102.5127 . doi : 10.1109/TSE.1987.232894 . S2CID 10028835. Archivado (PDF) del original el 22 de junio de 2015.
- ↑ Teng, HS; Chen, K.; Lu, SC (1990). "Detección adaptativa de anomalías en tiempo real mediante patrones secuenciales generados inductivamente". Actas del Simposio de la Sociedad de Computación IEEE de 1990 sobre Investigación en Seguridad y Privacidad (PDF) . págs. 278–284 . doi : 10.1109/RISP.1990.63857 . ISBN 978-0-8186-2060-7. S2CID 35632142 .
- ↑ Jones, Anita K.; Sielken, Robert S. (2000). "Detección de intrusiones en sistemas informáticos: una revisión" . Informe técnico de informática . Departamento de Informática, Universidad de Virginia: 1–25 .
- ↑ Stojanović, Branka; Božić, Josip; Hofer-Schmitz, Katharina; Nahrgang, Kai; Weber, Andreas; Badii, Atta; Sundaram, Maheshkumar; Jordan, Elliot; Runevic, Joel (enero de 2021). "Sigue el rastro: aprendizaje automático para la detección de fraude en aplicaciones Fintech" . Sensors . 21 (5): 1594. Bibcode : 2021Senso..21.1594S . doi : 10.3390/s21051594 . ISSN 1424-8220 . PMC 7956727. PMID 33668773 .
- ↑ Ahmed, Mohiuddin; Mahmood, Abdun Naser; Islam, Md. Rafiqul (febrero de 2016). "Un estudio de las técnicas de detección de anomalías en el ámbito financiero". Future Generation Computer Systems . 55 : 278–288 . doi : 10.1016/j.future.2015.01.001 . ISSN 0167-739X . S2CID 204982937 .
- ↑ Tomek, Ivan (1976). "Un experimento con la regla del vecino más cercano editada". IEEE Transactions on Systems, Man, and Cybernetics . 6 (6): 448– 452. doi : 10.1109/TSMC.1976.4309523 .
- ↑ Smith, MR; Martinez, T. (2011). "Mejora de la precisión de la clasificación mediante la identificación y eliminación de instancias que deberían clasificarse erróneamente" (PDF) . Conferencia Internacional Conjunta sobre Redes Neuronales de 2011. pág. 2690. CiteSeerX 10.1.1.221.1371 . doi : 10.1109/IJCNN.2011.6033571 . ISBN 978-1-4244-9635-8. S2CID 5809822 .
- 1 2 3 4 5 6 Qasim, Maryam; Verdu, Elena (2023-06-01). "Sistema de detección de anomalías de vídeo utilizando modelos convolucionales profundos y recurrentes" . Results in Engineering . 18 101026. doi : 10.1016/j.rineng.2023.101026 . ISSN 2590-1230 . S2CID 257728239 .
- ↑ Zhang, Tan; Chowdhery, Aakanksha; Bahl, Paramvir (Victor); Jamieson, Kyle; Banerjee, Suman (2015-09-07). "Diseño e implementación de un sistema inalámbrico de videovigilancia" . Actas de la 21.ª Conferencia Internacional Anual sobre Computación Móvil y Redes . MobiCom '15. Nueva York, NY, EE. UU.: Association for Computing Machinery. págs. 426–438 . doi : 10.1145/2789168.2790123 . ISBN 978-1-4503-3619-2. S2CID 12310150 .
- ↑ Park, Chaewon; Cho, MyeongAh; Lee, Minhyeok; Lee, Sangyoun (2022). "FastAno: Detección rápida de anomalías mediante transformación de parches espaciotemporales". 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) . IEEE. pp. 1908–1918 . arXiv : 2106.08613 . doi : 10.1109/WACV51458.2022.00197 . ISBN 978-1-6654-0915-5.
- ^ Ristea, Nicolae-Cătălin; Croitoru, Florinel-Alin; Ionescu, Radu Tudor; Popescu, Marius; Khan, Fahad Shahbaz; Shah, Mubarak (16 de junio de 2024). "Los codificadores automáticos enmascarados autodestilados son detectores de anomalías de vídeo eficientes". Conferencia IEEE/CVF 2024 sobre visión por computadora y reconocimiento de patrones (CVPR) . IEEE. págs. 15984-15995 . arXiv : 2306.12041 . doi : 10.1109/CVPR52733.2024.01513 . ISBN 979-8-3503-5300-6.
- 1 2 3 Gow, Richard; Rabhi, Fethi A.; Venugopal, Srikumar (2018). "Detección de anomalías en sistemas de aplicaciones complejos del mundo real". IEEE Transactions on Network and Service Management . 15 (1): 83– 96. Bibcode : 2018ITNSM..15...83G . doi : 10.1109/TNSM.2017.2771403 . hdl : 1959.4/unsworks_73660 . S2CID 3883483 .
- ↑ Herrera, Manuel; Proselkov, Yaniv; Pérez-Hernández, Marco; Kumar Parlikad, Ajith (enero de 2021). "Minería de series temporales de transformada de Fourier de grafos para la detección de anomalías del tráfico de Internet en redes centrales y metropolitanas" . IEEE Access . 9 : 8997–9011 . Bibcode : 2021IEEEA...9.8997H . doi : 10.1109/ACCESS.2021.3050014 . ISSN 2169-3536 .
- 1 2 Chatterjee, Ayan; Ahmed, Bestoun S. (agosto de 2022). "Métodos y aplicaciones de detección de anomalías en IoT: una revisión" . Internet of Things . 19 100568. arXiv : 2207.09092 . doi : 10.1016/j.iot.2022.100568 . ISSN 2542-6605 . S2CID 250644468 .
- 1 2 Garg, Sahil; Kaur, Kuljeet; Batra, Shalini; Kaddoum, Georges; Kumar, Neeraj; Boukerche, Azzedine (2020-03-01). "Un esquema de detección de anomalías en múltiples etapas para aumentar la seguridad en aplicaciones habilitadas para IoT" . Future Generation Computer Systems . 104 : 105–118 . doi : 10.1016/j.future.2019.09.038 . ISSN 0167-739X . S2CID 204077191 .
- 1 2 Martí, Luis; Sanchez-Pi, Nayat; Molina, José Manuel; Garcia, Ana Cristina Bicharra (febrero de 2015). "Detección de anomalías basada en datos de sensores en aplicaciones de la industria petrolera" . Sensors . 15 (2): 2774– 2797. Bibcode : 2015Senso..15.2774M . doi : 10.3390/ s150202774 . ISSN 1424-8220 . PMC 4367333. PMID 25633599 .
- 1 2 Aljameel, Sumayh S.; Alomari, Dorieh M.; Alismail, Shatha; Khawaher, Fatimah; Alkhudhair, Aljawharah A.; Aljubran, Fatimah; Alzannan, Razan M. (agosto de 2022). "Un modelo de detección de anomalías para oleoductos y gasoductos mediante aprendizaje automático" . Computation . 10 (8): 138. doi : 10.3390/computation10080138 . ISSN 2079-3197 .
- ↑ Zimek, Arthur ; Filzmoser, Peter (2018). "Allá y de vuelta: detección de valores atípicos entre el razonamiento estadístico y los algoritmos de minería de datos" (PDF) . Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery . 8 (6) e1280. doi : 10.1002/widm.1280 . ISSN 1942-4787 . S2CID 53305944. Archivado del original (PDF) el 14 de noviembre de 2021. Recuperado el 9 de diciembre de 2019 .
- ↑ Campos, Guilherme O.; Zimek, Arthur ; Sander, Jörg; Campello, Ricardo JGB; Micenková, Barbora; Schubert, Erich ; Assent, Ira; Houle, Michael E. (2016). "Sobre la evaluación de la detección de valores atípicos no supervisada: medidas, conjuntos de datos y un estudio empírico". Data Mining and Knowledge Discovery . 30 (4): 891. doi : 10.1007/s10618-015-0444-8 . ISSN 1384-5810 . S2CID 1952214 .
- ↑ Repositorio de datos de referencia para la detección de anomalías de la Ludwig-Maximilians-Universität München ; Mirror Archived 2022-03-31 at the Wayback Machine at University of São Paulo .
- ↑ Chandola, Varun; Banerjee, Arindam; Kumar, Vipin (30 de julio de 2009). "Detección de anomalías: una revisión" . ACM Comput. Surv . 41 (3): 15:1–15:58. doi : 10.1145/1541880.1541882 . ISSN 0360-0300 .
- ↑ Knorr, EM; Ng, RT; Tucakov, V. (2000). "Valores atípicos basados en la distancia: algoritmos y aplicaciones". The VLDB Journal the International Journal on Very Large Data Bases . 8 ( 3– 4): 237– 253. CiteSeerX 10.1.1.43.1842 . doi : 10.1007/s007780050006 . S2CID 11707259 .
- ↑ Ramaswamy, S.; Rastogi, R.; Shim, K. (2000). Algoritmos eficientes para la extracción de valores atípicos de grandes conjuntos de datos . Actas de la conferencia internacional ACM SIGMOD 2000 sobre gestión de datos – SIGMOD '00. pág. 427. doi : 10.1145/342009.335437 . ISBN 1-58113-217-4.
- ↑ Angiulli, F.; Pizzuti, C. (2002). Detección rápida de valores atípicos en espacios de alta dimensión . Principios de minería de datos y descubrimiento de conocimiento. Lecture Notes in Computer Science. Vol. 2431. p. 15. doi : 10.1007/3-540-45681-3_2 . ISBN 978-3-540-44037-6.
- ↑ Breunig, MM; Kriegel, H.-P. ; Ng, RT; Sander, J. (2000). LOF: Identificación de valores atípicos locales basados en la densidad (PDF) . Actas de la Conferencia Internacional ACM SIGMOD de 2000 sobre Gestión de Datos . SIGMOD . págs. 93–104 . doi : 10.1145/335191.335388 . ISBN 1-58113-217-4.
- ↑ Liu, Fei Tony; Ting, Kai Ming; Zhou, Zhi-Hua (diciembre de 2008). "Isolation Forest". Octava Conferencia Internacional IEEE sobre Minería de Datos de 2008. págs. 413–422 . doi : 10.1109/ICDM.2008.17 . ISBN 978-0-7695-3502-9. S2CID 6505449 .
- ↑ Liu, Fei Tony; Ting, Kai Ming; Zhou, Zhi-Hua (marzo de 2012). "Detección de anomalías basada en el aislamiento" . ACM Transactions on Knowledge Discovery from Data . 6 (1): 1– 39. doi : 10.1145/2133360.2133363 . S2CID 207193045 .
- ↑ Schubert, E. ; Zimek, A. ; Kriegel, H. -P. (2012). "Detección de valores atípicos locales reconsiderada: Una visión generalizada de la localidad con aplicaciones a la detección de valores atípicos espaciales, de vídeo y de red". Data Mining and Knowledge Discovery . 28 : 190– 237. doi : 10.1007/s10618-012-0300-z . S2CID 19036098 .
- 1 2 Kriegel, HP ; Kröger, P.; Schubert, E. ; Zimek, A. (2009). Detección de valores atípicos en subespacios paralelos a los ejes de datos de alta dimensión . Avances en descubrimiento de conocimiento y minería de datos. Notas de clase en ciencias de la computación. Vol. 5476. p. 831. doi : 10.1007/978-3-642-01307-2_86 . ISBN 978-3-642-01306-5.
- 1 2 Kriegel, HP ; Kroger, P.; Schubert, E .; Zimek, A. (2012). Detección de valores atípicos en subespacios orientados arbitrariamente . 2012 IEEE 12.ª Conferencia Internacional sobre Minería de Datos. pág. 379. doi : 10.1109/ICDM.2012.21 . ISBN 978-1-4673-4649-8.
- ↑ Fanaee-T, H.; Gama, J. (2016). "Detección de anomalías basada en tensores: una revisión interdisciplinaria" . Knowledge-Based Systems . 98 : 130–147 . doi : 10.1016/j.knosys.2016.01.027 . S2CID 16368060 .
- ↑ Zimek, A. ; Schubert, E. ; Kriegel, H.-P. (2012). "Una revisión sobre la detección no supervisada de valores atípicos en datos numéricos de alta dimensión". Análisis estadístico y minería de datos . 5 (5): 363– 387. doi : 10.1002/sam.11161 . S2CID 6724536 .
- ↑ Schölkopf, B. ; Platt, JC; Shawe-Taylor, J.; Smola, AJ; Williamson, RC (2001). "Estimating the Support of a High-Dimensional Distribution". Neural Computation . 13 (7): 1443– 71. CiteSeerX 10.1.1.4.4106 . doi : 10.1162/089976601750264965 . PMID 11440593 . S2CID 2110475 .
- 1 2 3 Hawkins, Simon; He, Hongxing; Williams, Graham; Baxter, Rohan (2002). "Detección de valores atípicos mediante redes neuronales replicadoras". Almacenamiento de datos y descubrimiento de conocimiento . Notas de clase en informática. Vol. 2454. págs. 170–180 . CiteSeerX 10.1.1.12.3366 . doi : 10.1007/3-540-46145-0_17 . ISBN 978-3-540-44123-6. S2CID 6436930 .
- ↑ An, J.; Cho, S. (2015). "Detección de anomalías basada en autoencoder variacional utilizando probabilidad de reconstrucción" (PDF) . Conferencia especial sobre IE . 2 (1): 1– 18. SNUDM-TR-2015-03.
- ↑ Malhotra, Pankaj; Vig, Lovekesh; Shroff, Gautman; Agarwal, Puneet (22–24 de abril de 2015). Redes de memoria a largo y corto plazo para la detección de anomalías en series temporales . ESANN 2015: XXIII Simposio Europeo sobre Redes Neuronales Artificiales, Inteligencia Computacional y Aprendizaje Automático. págs. 89–94 . ISBN 978-2-87587-015-5.
- ↑ Hubert, Mia ; Debruyne, Michiel; Rousseeuw, Peter J. (2018). "Determinante de covarianza mínima y extensiones" . WIREs Computational Statistics . 10 (3) e1421. arXiv : 1709.07045 . doi : 10.1002/wics.1421 . ISSN 1939-5108 . S2CID 67227041 .
- ↑ Hubert, Mia ; Debruyne, Michiel (2010). "Determinante de covarianza mínima" . WIREs Computational Statistics . 2 (1): 36– 43. doi : 10.1002/wics.61 . ISSN 1939-0068 . S2CID 123086172 .
- ↑ Alzubaidi, Laith; Zhang, Jinglan; Humaidi, Amjad J.; Al-Dujaili, Ayad; Duan, Ye; Al-Shamma, Omran; Santamaría, J.; Fadhel, Mohammed A.; Al-Amidie, Muthana; Farhan, Laith (2021-03-31). " Revisión del aprendizaje profundo: conceptos, arquitecturas CNN, desafíos, aplicaciones, direcciones futuras" . Journal of Big Data . 8 (1): 53. doi : 10.1186/s40537-021-00444-8 . ISSN 2196-1115 . PMC 8010506. PMID 33816053 .
- ↑ Belay, Mohammed Ayalew; Blakseth, Sindre Stenen; Rasheed, Adil; Salvo Rossi, Pierluigi (enero de 2023). "Detección de anomalías no supervisada para series temporales multivariadas basadas en IoT: soluciones existentes, análisis de rendimiento y direcciones futuras" . Sensors . 23 ( 5): 2844. Bibcode : 2023Senso..23.2844B . doi : 10.3390/s23052844 . ISSN 1424-8220 . PMC 10007300. PMID 36905048 .
- ↑ Jeong, Jongheon; Zou, Yang; Kim, Taewan; Zhang, Dongqing; Ravichandran, Avinash; Dabeer, Onkar (junio de 2023). "WinCLIP: Clasificación y segmentación de anomalías con cero o pocos disparos" . Conferencia IEEE/CVF de 2023 sobre visión por computadora y reconocimiento de patrones (CVPR) . IEEE. págs. 19606–19616 . arXiv : 2303.14814 . doi : 10.1109/cvpr52729.2023.01878 . ISBN 979-8-3503-0129-8.
- ↑ Liu, Zhenzhen; Zhou, Jin Peng; Weinberger, Kilian Q. (2024-05-09). "Aprovechamiento de modelos de difusión para la detección no supervisada de valores fuera de distribución en la variedad de imágenes" . Frontiers in Artificial Intelligence . 7 1255566. doi : 10.3389/frai.2024.1255566 . ISSN 2624-8212 . PMC 11112019. PMID 38783869 .
- ↑ He, Z.; Xu, X.; Deng, S. (2003). "Discovering cluster-based local outliers". Pattern Recognition Letters . 24 ( 9– 10): 1641– 1650. Bibcode : 2003PaReL..24.1641H . CiteSeerX 10.1.1.20.4242 . doi : 10.1016/S0167-8655(03)00003-5 .
- ↑ Campello, RJGB; Moulavi, D.; Zimek, A. ; Sander, J. (2015). "Estimaciones de densidad jerárquica para agrupamiento de datos, visualización y detección de valores atípicos". ACM Transactions on Knowledge Discovery from Data . 10 (1): 5:1–51. doi : 10.1145/2733381 . S2CID 2887636 .
- ↑ Lazarevic, A.; Kumar, V. (2005). "Feature bagging for outlier detection". Actas de la undécima conferencia internacional ACM SIGKDD sobre descubrimiento de conocimiento en minería de datos . pp. 157–166 . CiteSeerX 10.1.1.399.425 . doi : 10.1145/1081870.1081891 . ISBN 978-1-59593-135-1. S2CID 2054204 .
- ↑ Nguyen, HV; Ang, HH; Gopalkrishnan, V. (2010). Minería de valores atípicos con un conjunto de detectores heterogéneos en subespacios aleatorios . Sistemas de bases de datos para aplicaciones avanzadas. Notas de clase en ciencias de la computación. Vol. 5981. pág. 368. doi : 10.1007/978-3-642-12026-8_29 . ISBN 978-3-642-12025-1.
- ↑ Kriegel, HP ; Kröger, P.; Schubert, E .; Zimek, A. (2011). Interpretación y unificación de puntuaciones de valores atípicos . Actas de la Conferencia Internacional SIAM de Minería de Datos de 2011. págs. 13–24 . CiteSeerX 10.1.1.232.2719 . doi : 10.1137/1.9781611972818.2 . ISBN 978-0-89871-992-5.
- ↑ Schubert, E.; Wojdanowski, R.; Zimek, A .; Kriegel, HP (2012). Sobre la evaluación de clasificaciones y puntuaciones de valores atípicos . Actas de la Conferencia Internacional SIAM de Minería de Datos de 2012. págs. 1047–1058 . doi : 10.1137/1.9781611972825.90 . ISBN 978-1-61197-232-0.
- ↑ Zimek, A. ; Campello, RJGB; Sander, JR (2014). "Conjuntos para la detección no supervisada de valores atípicos". Boletín informativo de ACM SIGKDD Explorations . 15 : 11– 22. doi : 10.1145/2594473.2594476 . S2CID 8065347 .
- ↑ Zimek, A.; Campello, RJGB; Sander, JR (2014). Perturbación de datos para conjuntos de detección de valores atípicos . Actas de la 26.ª Conferencia Internacional sobre Gestión de Bases de Datos Científicas y Estadísticas – SSDBM '14. p. 1. doi : 10.1145/2618243.2618257 . ISBN 978-1-4503-2722-0.
- ↑ Havlíček, Vojtěch; Córcoles, Antonio D.; Temme, Kristan; Harrow, Aram W.; Kandala, Abhinav; Chow, Jerry M.; Gambetta, Jay M. (2019). "Aprendizaje supervisado con espacios de características mejorados cuánticamente". Nature . 567 (7747): 209– 212. doi : 10.1038/s41586-019-0980-2 . PMID 30867609 .
- ↑ Badami, Shujaatali (2026). "Mapeo de características de núcleo cuántico independiente del hardware para la detección de anomalías" . IEEE Access . doi : 10.1109/ACCESS.2026.3559716 .
- ↑ Goldstein, Markus; Dengel, Andreas (2012). "Histogram-based Outlier Score (HBOS): A fast Unsupervised Anomaly Detection Algorithm" (PDF) . Página personal de Markus Goldstein .(Póster presentado únicamente en la conferencia KI 2012, no incluido en las actas)
- ↑ Zhao, Yue; Nasrullah, Zain; Li, Zheng (2019). "Pyod: Una caja de herramientas de Python para la detección escalable de valores atípicos" ( PDF) . Journal of Machine Learning Research . 20. arXiv : 1901.01588 .
- ↑ "FindAnomalies" . Documentación de Mathematica .
- minería de datos
- Aprendizaje automático
- seguridad de los datos
- Valores atípicos estadísticos
- Ingeniería de confiabilidad