Valor atípicoOutlier

Con qué criterio se dice que un valor "se sale"

Decir que un valor está solo, alejado del resto, necesita una regla. El método más común es ordenar los valores de menor a mayor, medir el rango que ocupa la mitad de en medio, y trazar una cerca extendiendo ese rango una vez y media hacia arriba y hacia abajo. Todo lo que queda fuera de la cerca se considera candidato a valor atípico.

Si los valores se agrupan alrededor de un centro, también se puede medir qué tan lejos está cada uno del promedio. Sea cual sea el método, una persona es quien decide dónde trazar la línea de "esto ya está lejos". Mover un poco esa línea cambia la lista de candidatos, así que conviene anotar el criterio antes de mirar los valores y respetar ese orden.

También hay valores atípicos que solo aparecen al mirar varias columnas juntas, no una sola. Que alguien mida 1,80 metros es común, y que alguien pese 40 kilos también lo es, pero si los dos valores aparecen juntos en la misma persona, algo llama la atención.

Cuánto puede arrastrar un solo valor

Lo peligroso de un valor atípico no es la cantidad, es la fuerza. Al calcular el promedio del ahorro de un mes, si un solo día fue de cien dólares, el promedio sube muchísimo. Por más cuidado que se haya puesto al anotar los otros veintinueve días, ese uno solo define el resultado.

Lo mismo pasa en el entrenamiento. El castigo que más se usa mide la distancia del fallo elevándola al cuadrado, así que un solo punto muy alejado genera un castigo mayor que cien puntos que están bien agrupados. Por eso el modelo termina inclinado a sacrificar a todos los demás con tal de acertar ese único punto.

Cómo decidir si borrarlo o conservarlo

Lo primero que hay que revisar es cómo se generó ese registro. Si es un campo que se llenó a mano, es probable que se haya apretado un dígito de más; si es un valor que dejó un equipo automático, conviene revisar cómo estaba el equipo en ese momento. Una vez encontrada la causa, decidir si corregirlo o borrarlo se vuelve mucho más fácil.

Cuando no se encuentra la causa, es más seguro marcarlo en lugar de borrarlo. Un valor borrado no se puede recuperar, pero uno marcado se puede volver a revisar más adelante. También se usa el método de no eliminarlo del todo, sino acercarlo hasta el límite de la cerca.

Cuando el valor atípico es el objetivo

Hasta acá se trató el valor atípico como un estorbo, pero en muchos campos es al revés. Detectar fraude con tarjetas, anticipar fallas de maquinaria y encontrar intrusiones en una red son tareas donde el objetivo es justamente encontrar "lo que se sale solo". En estos casos, los valores normales son el fondo, y el que se sale es el protagonista.

El mismo valor recibe un trato distinto según qué se busque. Al calcular la venta promedio, la venta del día de una promoción estorba, pero para saber qué promoción funcionó, ese valor es la única pista.

Aquí también se invierte la forma de tratarlo. En lugar de borrar el valor que se sale, se lo junta aparte y se estudia en qué circunstancias aparece. Los valores normales quedan como conocimiento de fondo, y todo el trabajo se concentra en dónde trazar la línea de decisión.