Extracción de datos

La creación de datos mediante experimentos computacionales diseñados para generar grandes cantidades de datos, que luego pueden analizarse utilizando técnicas estadísticas y de visualización para comprender mejor sistemas complejos. Estos métodos pueden aplicarse a cualquier modelo computacional.

La agricultura de datos difiere de la minería de datos , como lo indican las siguientes metáforas:

Los mineros buscan pepitas valiosas enterradas en la tierra, pero no tienen control sobre lo que hay en la superficie ni sobre la dificultad de extraerlas. De manera similar, los analistas de datos buscan descubrir información valiosa oculta en grandes cantidades de datos. Las técnicas de minería de datos utilizan medidas estadísticas y gráficas para intentar identificar correlaciones o agrupaciones interesantes en el conjunto de datos.

Los agricultores cultivan la tierra para maximizar su rendimiento. Manipulan el entorno a su favor mediante el riego, el control de plagas, la rotación de cultivos, los fertilizantes y otros métodos. Los experimentos diseñados a pequeña escala les permiten determinar la eficacia de estos tratamientos. De manera similar, los analistas de datos manipulan modelos de simulación a su favor, utilizando experimentos diseñados a gran escala para generar datos a partir de sus modelos de forma que les permita extraer fácilmente información útil. ...los resultados pueden revelar relaciones de causa y efecto fundamentales entre los factores de entrada del modelo y las respuestas del modelo, además de ricas representaciones gráficas y estadísticas de estas relaciones. ^{[ 1 ]}

Un grupo de trabajo de modelado y simulación de la OTAN ha documentado el proceso de generación de datos en el Informe Final de MSG-088. ^{[ 2 ]} En este caso, la generación de datos utiliza procesos colaborativos que combinan la creación rápida de prototipos de escenarios, el modelado de simulación, el diseño de experimentos, la computación de alto rendimiento y el análisis y la visualización en un ciclo iterativo de ciclos. ^{[ 3 ]}

La ciencia del diseño de experimentos (DOE) existe desde hace más de un siglo, siendo impulsada por R. A. Fisher para estudios agrícolas. Muchos de los diseños experimentales clásicos pueden utilizarse en estudios de simulación. Sin embargo, los experimentos computacionales presentan muchas menos restricciones que los experimentos reales en cuanto a costes, número de factores, tiempo requerido, capacidad de replicación, capacidad de automatización, etc. Por consiguiente, se justifica un marco específicamente orientado a experimentos de simulación a gran escala.

Desde que existen las computadoras, se han realizado experimentos computacionales. El término "explotación de datos" es más reciente, acuñado en 1998 ^{[ 4 ]} en el marco del Proyecto Albert del Cuerpo de Marines ^{[ 5 ]} , en el que se crearon pequeños modelos de destilación basados ​​en agentes (un tipo de simulación estocástica) para abordar desafíos militares específicos. Estos modelos se ejecutaron miles o millones de veces en el Centro de Computación de Alto Rendimiento de Maui ^{[ 6 ]} y otras instalaciones. Los analistas del Proyecto Albert colaboraban con expertos militares en la materia para perfeccionar los modelos e interpretar los resultados.

Inicialmente, el uso de diseños factoriales completos (en cuadrícula) de fuerza bruta implicaba que las simulaciones debían ejecutarse muy rápidamente y que los estudios requerían computación de alto rendimiento . Aun así, solo se podía investigar un número reducido de factores (con un número limitado de niveles) debido a la maldición de la dimensionalidad .

El Centro SEED para la Granja de Datos ^{[ 7 ]} de la Escuela Naval de Posgrado ^{[ 8 ]} también colaboró ​​estrechamente con el Proyecto Albert en la generación de modelos, el análisis de resultados y la creación de nuevos diseños experimentales para aprovechar mejor las capacidades informáticas de Maui y otras instalaciones. Los avances recientes en diseños desarrollados específicamente para la granja de datos se pueden encontrar en ^{[ 9 ] y [ 10 ],} entre otros.

El Centro SEED para la Agricultura de Datos ha organizado una serie de talleres internacionales desde 1998. ^{[ 7 ]} El Taller Internacional de Agricultura de Datos 1 tuvo lugar en 1991, y desde entonces se han realizado 16 talleres más. En estos talleres ha participado una amplia variedad de países, como Canadá, Singapur, México, Turquía y Estados Unidos. ^{[ 11 ]}

Los Talleres Internacionales de Cultivo de Datos funcionan mediante la colaboración entre diversos equipos de expertos. El taller más reciente, celebrado en 2008, contó con la participación de más de 100 equipos. A cada equipo de agricultores de datos se le asigna un área de estudio específica, como robótica , seguridad nacional y ayuda en casos de desastre . Cada grupo experimenta y utiliza diferentes formas de cultivo de datos, como el modelo basado en agentes ( ABM) de Pitágoras , el modelo de Comando de Batalla Logística y el modelo de sensor-efector basado en agentes (ABSEM). ^{[ 11 ]}

• Sitio web del Centro SEED para la Agricultura de Datos , con enlaces a numerosos artículos, aplicaciones, diseños y software.
• Artículo sobre el 27º Taller de Cultivo de Datos en Finlandia, publicado en Defense Media Network en enero de 2014.
• Un artículo sobre la recolección de datos en Defense News de enero de 2013.
• Un artículo que resume la agricultura de datos en la edición de junio de 2005 de SIGNAL.
• Documento de investigación de MITRE Corporation sobre la agricultura de datos.