Guía de limpieza de datos con Open Refine

Localizar más memoria RAM para su Refine

Windows
Localice la carpeta del programa Open Refine.
Dentro de esta carpeta, busque el archivo openrefine.l4j.ini y ábralo con Bloc de Notas u otro editor de texto común y corriente.
Localice la línea que comienza con -xMx
Cambie el máximo que aparece, usualmente 1024M por algo que le parezca conveniente, dependiendo de la memoria RAM que tiene su sistema. Por ejemplo, si su sistema tiene hasta 4GB de RAM puede subir este rango a 2048M

Mac
Si descargó el archivo .dmg con Open Refine y lo inicia dando doble click en él, siga las instrucciones:
•    Cierre OpenRefine
•    «control-click”sobre el ícono de OpenRefine (aparece un menú contextual)
•    dar click en “mostrar contenidos del paquete“ (se abre una ventana nueva de Finder)
•    Abrir la carpeta “Contenidos”
•    dar click derecho en el archivo «Info.plist”. Abrir con Textedit u otro editor de texto
•    Buscar el siguiente texto:

<array>
<string>-Xmx256M</string>
<string>-Xmx1024M</string>

•    Dependiendo de la memoria RAM que tenga disponible en su computadora, cambiarlo a una porción del total de su memoria RAM. Recuerde dejar suficiente RAM para que su sistema operativo funcione correctamente. Por ejemplo, para una computadora con 6 digas de RAM, puede cambiar el texto anterior a lo siguiente:
•
•    <array>
•    <string>-Xmx1024M</string>
•    <string>-Xmx2048M</string>
•    Guarde el archivo .plist
•    Abra de nuevo Open Refine

Limpieza

Descargar archivos que usaremos
http://bit.ly/TallerBID-Segob

Abrir Open Refine desde las aplicaciones
Abrir Open Refine desde el navegador

1. Abre la base de datos que estás por limpiar buscando con Browse y dando click en «Siguiente»

 

 

 

 

 

 

 

 

 

 

 

1. Da click en Crear Proyecto. La base se mostrará como aparece a continuación

 

 

 

 

 

 

 

 

 

 

1. Ordena los valores de una columna dando click en la flecha invertida que aparece a un costado de la cabecera de la columna. Luego da click en «sort» u «ordenar», proponiendo valores nulos y errores primero, para identificarlos

 

 

 

 

 

 

 

 

 

 

1. Ahora dividiremos una columna en otro número de columnas basados en el número de dígitos de la misma. Da click en la flecha de la columna, después en «Editar columna». Ahora en «Dividir en varias columnas».

 

 

 

 

 

 

 

 

 

1. Da click en «Dividir de acuerdo con longitud de campos». Ingresa el número del dígito por el que quieres que sea dividida la columna, y el número de dígitos que quieres quede en la columna residual.

 

 

 

 

1. Verás que el primer dígito, que en este caso es el identificador de la entidad, queda separado en una sola columna. Puedes después remover la columna que no nos sirve.

 

 

 

 

 

 

 

 

 

 

 

1. Es momento de sustituir los códigos del estado por sus nombres para poder graficarlos en un mapa más tarde.  Primero ve al menú contextual de la columna y da click en «Faceta de texto».

 

 

 

 

 

 

 

 

 

 

1. Aparecerá una columna con el nombre de la variable del lado izquierdo de la base de datos. Da click en el botón «Editar». En el diccionario de datos o en una base de datos alternativa, consulta los códigos de entidades para INEGI, la entidad que recolectó estos datos. Verás que el 1 corresponde a Aguascalientes. Sustituye para cada entidad.

 

1. Abre el archivo identificador de variables para que puedas hacer las sustituciones adecuadas