데이터 정제Data Cleaning

물에 씻어 내는 것: 중복과 빈칸

같은 손님이 두 번 등록되어 있거나, 같은 사진이 파일 이름만 바뀐 채로 두 번 들어 있는 일은 아주 흔해요. 중복을 그대로 두면 그 자료만 두 배의 힘을 갖게 돼요. 학습은 여러 번 본 것을 더 중요하게 여기니까, 우연히 두 번 들어간 쪽으로 결과가 기울어요.

빈칸도 골칫거리예요. 나이 칸이 비어 있고 주소 칸이 비어 있는 줄이 섞여 있으면 계산이 아예 멈추기도 해요. 비어 있는 줄을 통째로 빼거나, 남은 값들의 가운데쯤 되는 값으로 채우거나, "값 없음"이라는 표시를 따로 두는 방법 가운데 하나를 골라요. 어느 쪽을 골랐는지 적어 두어야 나중에 결과를 설명할 수 있어요.

손끝에 걸리는 돌: 잘못 적힌 값

키가 300센티미터로 적혀 있거나, 태어난 해가 1800년대이거나, 주문 수량이 음수인 줄이 나와요. 사람이 입력하다 손이 미끄러진 자국이거나 기계가 잠깐 이상하게 기록한 흔적이에요. 이런 값 하나가 평균을 통째로 끌고 다녀요.

다만 튀는 값이 전부 실수는 아니에요. 하루 매출이 평소의 서른 배인 날은 오타일 수도 있지만 정말 행사가 있던 날일 수도 있어요. 그래서 정제는 "이상해 보이는 값 찾기"와 "그 값이 진짜인지 확인하기"가 한 몸으로 움직여요. 확인할 길이 없을 때는 지우는 대신 표시만 해 두고 넘기기도 해요.

눈금 맞추기: 제각각인 표기

뜻은 같은데 적는 방식이 다른 경우가 정말 많아요. 한 칸에 "서울시", "서울특별시", "Seoul"이 섞여 있으면 기계는 셋을 서로 다른 곳으로 세어요. 날짜도 마찬가지예요. 어떤 줄은 연월일 순으로, 어떤 줄은 월일연 순으로 적혀 있으면 시간 순서가 뒤엉켜요.

단위도 맞춰야 해요. 무게 칸에 킬로그램과 그램이 섞여 들어가면 어떤 줄은 다른 줄보다 천 배 무거운 물건이 돼요. 앞뒤에 붙은 빈칸, 대문자와 소문자, 전화번호의 하이픈처럼 사소해 보이는 차이도 기계에게는 전부 다른 값이에요.

손질한 자국을 남겨 둬요

정제는 한 번 하고 끝나는 청소가 아니에요. 어떤 규칙으로 무엇을 지웠고 무엇을 채웠는지 목록으로 남겨 둬야, 새 자료가 들어왔을 때 같은 규칙을 다시 적용할 수 있어요. 기록이 없으면 두 달 뒤에 손질한 자료와 지금 손질한 자료의 기준이 달라져요.

원본을 덮어쓰지 않는 것도 중요해요. 손질한 파일은 따로 만들고 원본은 그대로 두면, 나중에 판단이 틀렸다는 걸 알았을 때 되돌아갈 자리가 남아요. 지운 줄을 따로 모아 두면 더 좋아요. 결과가 이상할 때 가장 먼저 들여다볼 곳이 바로 그 상자거든요.

정제에 든 품이 얼마나 되는지도 알아 둘 만해요. 현장에서는 자료를 다루는 시간의 절반 넘게가 손질에 들어가는 일이 흔해요. 화려한 부분은 아니지만, 이 시간을 아끼면 나중에 원인을 못 찾는 이상한 결과 앞에서 훨씬 긴 시간을 쓰게 돼요.