Limpieza de datosData Cleaning
Preparar los datos reunidos hasta dejarlos listos para usar
- La limpieza de datos es arreglar lo que está mal o falta en los datos reunidos, hasta dejarlos en un estado que se pueda usar.
- Lo que se corrige entra en cuatro grupos: duplicados, casillas vacías, valores mal anotados y formas de escribir que no coinciden entre sí.
- No es inventar hechos que no existen. Llega hasta elegir y pulir lo que ya está en los datos.
- Es un paso anterior al entrenamiento, así que un defecto que se pasa por alto aquí sigue de largo hasta el final. Cambiar el modelo suele mejorar menos el resultado que limpiar bien los datos.
- No se deben borrar los valores fuera de lo normal solo porque llaman la atención. Puede que hayan pasado de verdad, así que hay que decidir aparte si se descartan o se conservan.
Contenido
1La analogía
Casi ninguna casa pone el arroz directo del saco a la olla. Se enjuaga con agua un par de veces, se retira el afrecho y las cascarillas que flotan, y con la punta de los dedos se sacan las piedritas que se sienten. No es un arreglo que cambie el grano en sí. Solo lo deja en condiciones de convertirse en comida. La limpieza de datos es justo ese arreglo.
Si se pasa una piedrita, la comida igual se hace. Solo que después, al masticar, se daña un diente. Si queda afrecho de más, la comida sabe raro. El tiempo que se le dedica al arreglo puede parecer una pérdida, pero si se salta este paso, todo el proceso siguiente arrastra ese defecto.
Ahora bien, si de paso se tira arroz que estaba en perfecto estado, la comida no alcanza. Decidir qué se retira y qué se conserva es la mitad del trabajo de este arreglo.
2En detalle
Lo que se enjuaga: duplicados y casillas vacías
Es muy común que el mismo cliente quede registrado dos veces, o que la misma foto entre por duplicado con solo el nombre del archivo cambiado. Si un duplicado se deja tal cual, ese dato termina con el doble de peso. El entrenamiento le da más importancia a lo que ve más veces, así que el resultado se inclina hacia lo que por casualidad quedó repetido.
Las casillas vacías también dan problemas. Si hay filas donde falta la edad y falta la dirección, a veces el cálculo simplemente se detiene. Se elige entre quitar por completo esas filas, rellenarlas con un valor cercano al promedio de lo que sí está, o dejar aparte una marca de "sin valor". Da igual cuál se elija, pero hay que anotarlo, porque después hace falta para explicar el resultado.
Las piedritas que se sienten con los dedos: valores mal anotados
Aparecen filas con una estatura de trescientos centímetros, un año de nacimiento en el mil ochocientos, o una cantidad de pedido en negativo. Son huellas de un dedo que resbaló al escribir, o de una máquina que registró algo raro por un instante. Un solo valor así arrastra el promedio entero.
Pero no todo valor fuera de lo normal es un error. Un día con ventas treinta veces más altas que lo habitual puede ser un error de tipeo, o puede ser un día en que de verdad hubo un evento especial. Por eso la limpieza siempre va de la mano: "encontrar lo que se ve raro" y "comprobar si ese valor es real". Cuando no hay forma de comprobarlo, a veces se opta por marcarlo en vez de borrarlo, y se sigue adelante.
Ajustar la escala: formas de escribir que no coinciden
Hay muchísimos casos donde el significado es el mismo pero la forma de escribirlo cambia. Si en una misma columna se mezclan "Madrid", "MADRID" y "Madrid capital", la máquina los cuenta como tres lugares distintos. Con las fechas pasa igual: si unas filas siguen el orden año-mes-día y otras el orden mes-día-año, el orden en el tiempo queda revuelto.
Las unidades también hay que igualarlas. Si en la columna de peso se mezclan kilogramos y gramos, una fila termina pesando mil veces más que otra. Espacios de más al principio o al final, mayúsculas y minúsculas, o los guiones de un número de teléfono, son diferencias que parecen mínimas, pero para la máquina son valores completamente distintos.
Dejar constancia del arreglo hecho
La limpieza no es una tanda que se hace una vez y se olvida. Hay que dejar anotado, en una lista, con qué regla se borró qué y con qué se rellenó qué, para poder aplicar la misma regla cuando lleguen datos nuevos. Sin ese registro, dentro de dos meses el criterio usado ya no coincidirá con el de hoy.
También importa no sobrescribir el original. Si el archivo limpio se guarda aparte y el original se conserva intacto, queda un lugar al que volver el día que se descubra que una decisión estuvo mal. Guardar aparte también las filas que se quitaron ayuda todavía más: ese es el primer sitio al que mirar cuando el resultado sale raro.
También vale la pena saber cuánto tiempo se lleva esta tarea. En el trabajo real es común que más de la mitad del tiempo dedicado a manejar datos se vaya en este arreglo. No es la parte vistosa, pero ahorrar aquí después cuesta mucho más tiempo persiguiendo un resultado extraño sin encontrar la causa.
3Con más precisión
La limpieza de datos suele ser una parte de una etapa más grande llamada preprocesamiento. Ese preprocesamiento incluye, además de la limpieza, ajustar el rango de los valores, cambiar el formato y elegir las características que se van a usar. La limpieza se encarga de la parte que corrige lo que está mal o falta.
También hay un punto donde la comparación cojea. Con el arroz, cuando el agua sale clara ya se ve a simple vista que quedó bien enjuagado, pero con los datos no hay forma de comprobar a simple vista si el arreglo terminó. Por eso el resultado se confirma de manera indirecta: graficando cómo se distribuyen los valores o contando cuántas filas todavía rompen alguna regla.
El momento en que se fijan las reglas de arreglo también merece cuidado. Si se mira el conjunto entero antes de separar los datos de entrenamiento y los de evaluación, y ahí se decide con qué valor rellenar lo vacío, información de la evaluación se filtra hacia el entrenamiento. El valor de relleno se decide mirando solo el lado de entrenamiento, y ese mismo valor se aplica después al lado de evaluación, respetando ese orden.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que con muchos datos la limpieza se puede hacer a la ligera, pero en realidad, cuando el volumen crece, las filas con errores crecen con él, y las huellas de un arreglo saltado quedan más visibles.
Es fácil pensar que limpiar es solo borrar, pero en realidad rellenar, corregir y unificar la forma de escribir ocupan mucho más trabajo que borrar.
Es fácil pensar que arreglar una vez ya es suficiente, pero en realidad, mientras sigan llegando datos nuevos, las reglas de arreglo también hay que seguir revisándolas.
7Resumen en una línea
En resumenLa limpieza de datos es arreglar los duplicados, las casillas vacías y los valores mal anotados en los datos reunidos hasta dejarlos en un estado usable, y el defecto que se pasa por alto aquí aparece tal cual en las etapas siguientes.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02