OpenRefine

OpenRefine es una aplicación de escritorio de código abierto para la limpieza y transformación de datos a otros formatos, una actividad comúnmente conocida como manipulación de datos . ^{[ 3 ]} Es similar a las aplicaciones de hojas de cálculo y puede manejar formatos de archivo de hojas de cálculo como CSV , pero se comporta más como una base de datos.

Funciona con filas de datos que tienen celdas bajo columnas, de forma similar a como funcionan las tablas de bases de datos relacionales . Los proyectos de OpenRefine constan de una tabla, cuyas filas se pueden filtrar mediante facetas que definen criterios (por ejemplo, mostrar filas donde una columna determinada no esté vacía).

A diferencia de las hojas de cálculo, la mayoría de las operaciones en OpenRefine se realizan en todas las filas visibles, por ejemplo, la transformación de todas las celdas en todas las filas bajo una columna, ^{[ 4 ]} o la creación de una nueva columna basada en datos existentes. Las acciones realizadas en un conjunto de datos se almacenan en el proyecto y se pueden "reproducir" en otros conjuntos de datos. Las fórmulas no se almacenan en las celdas, sino que se utilizan para transformar los datos. La transformación se realiza solo una vez. ^{[ 5 ]} Las expresiones de fórmula se pueden escribir en el Lenguaje General de Expresiones de Refine (GREL) , ^{[ 6 ]} en Jython (es decir, Python) y en Clojure . ^{[ 7 ]}

El programa funciona como una aplicación web local: inicia un servidor web y abre el navegador predeterminado en 127.0.0.1:3333 .

• Limpieza de datos desordenados : por ejemplo, si se trabaja con un archivo de texto con algunos datos semiestructurados, se puede editar utilizando transformaciones, facetas y agrupamiento para que los datos estén estructurados de forma clara. ^{[ 8 ]}
• Transformación de datos : conversión de valores a otros formatos, normalización y desnormalización.
• Analizando datos de sitios web : OpenRefine tiene una función de obtención de URL y un analizador HTML jsoup y un motor DOM. ^{[ 9 ]}
• Agregar datos al conjunto de datos obteniéndolos de servicios web (es decir, devolviendo JSON ). ^{[ 10 ]} Por ejemplo, se puede utilizar para geocodificar direcciones a coordenadas geográficas . ^{[ 11 ]}
• Alineación con Wikidata (anteriormente Freebase ^{[ 12 ]} ): esto implica la reconciliación : mapear valores de cadena en celdas a entidades en Wikidata. ^{[ 13 ]}

Se admiten importaciones desde los siguientes formatos: ^{[ 14 ]}

• TSV , CSV
• Archivo de texto con separadores personalizados o columnas divididas por ancho fijo.
• XML
• Tripletas RDF (formatos de serialización RDF/XML y Notation3 )
• JSON
• Hojas de cálculo de Google ^{[ 15 ]}

Si los datos de entrada están en un formato de texto no estándar, se pueden importar como líneas completas, sin dividirlas en columnas, y luego extraer las columnas con las herramientas de OpenRefine. Se admiten archivos comprimidos (.zip, .tar.gz, .tgz, .tar.bz2, .gz o .bz2) y Refine puede descargar archivos de entrada desde una URL . Para usar páginas web como entrada, es posible importar una lista de URL y luego invocar una función de obtención de URL.

La exportación es compatible con los siguientes formatos: ^{[ 16 ]}

• TSV
• CSV
• Microsoft Excel
• Tabla HTML
• Hojas de cálculo de Google
• Exportador de plantillas: es posible definir una plantilla personalizada para la salida de datos, por ejemplo, como una tabla de MediaWiki .

Los proyectos completos de OpenRefine en formato nativo se pueden exportar como un archivo .tar.gz .

OpenRefine comenzó como Freebase Gridworks, desarrollado por Metaweb y disponible como código abierto desde enero de 2010. ^{[ 17 ]} El 16 de julio de 2010, Google adquirió Metaweb, ^{[ 18 ]} los creadores de Freebase , y el 10 de noviembre de 2010 renombró Freebase Gridworks como Google Refine , lanzando la versión 2.0. ^{[ 19 ]} El 2 de octubre de 2012, el autor original David Huynh anunció que Google pronto dejaría de brindar soporte activo a Google Refine. ^{[ 20 ] [ 21 ] [ 22 ]} Desde entonces, el código fuente ha estado en transición a un proyecto de código abierto llamado OpenRefine. ^{[ 23 ]}

• Sitio web oficial
• Tutorial para principiantes de OpenRefine por Emma Carroll