데이터 증강Data Augmentation

무엇을 어떻게 바꾸나요

사진이라면 좌우로 뒤집고, 일부만 잘라 내고, 조금 돌리고, 밝기와 색감을 바꿔요. 확대하거나 일부를 네모나게 가리기도 해요. 하나하나는 사소해 보이지만 이런 손질을 조합하면 원본 한 장에서 수십 가지 모습이 나와요.

글이라면 뜻이 비슷한 낱말로 바꾸거나, 다른 언어로 옮겼다 되돌려 표현을 흔들어요. 소리라면 속도를 조금 바꾸거나 잡음을 섞고, 울림을 더해요. 어떤 자료를 다루든 원리는 같아요. 답과 상관없는 부분만 흔드는 거예요.

중요한 건 이름표를 건드리지 않는다는 점이에요. 뒤집힌 사진도 같은 답을 가리켜요. 그래서 자료를 늘리면서도 사람이 다시 이름을 붙일 필요가 없어요. 자료를 모으는 데 드는 비용에 비하면 거의 공짜예요.

왜 성적이 좋아지나요

자료가 적으면 모델이 그 자료의 사소한 특징까지 외워 버려요. 마침 학습 사진의 고양이가 전부 왼쪽을 보고 있었다면, 오른쪽을 보는 고양이를 못 알아보는 일이 생겨요. 자료에 우연히 섞인 규칙을 진짜 규칙으로 착각한 거예요.

증강을 걸면 이 착각이 깨져요. 왼쪽을 보는 사진과 뒤집힌 사진이 같은 답을 가리키니, 보는 방향은 답과 상관없다는 것을 배우게 되죠. 결과적으로 학습에 쓰지 않은 자료에서도 성적이 잘 유지돼요.

증강은 학습할 때만 걸어요. 성적을 재는 자료에까지 걸면 무엇을 재고 있는지 알 수 없게 되거든요. 대부분 자료를 묶음으로 불러올 때마다 그 자리에서 무작위로 변형을 골라 걸어요. 같은 자료가 매 바퀴 조금씩 다른 모습으로 들어오게 되는 거예요.

지나치면 오히려 나빠져요

코스를 바꾸는 것도 코트 안에서일 때 연습이 돼요. 관중석으로 날아가는 공을 받는 연습은 시합에 도움이 안 되죠. 증강도 같아요. 사진을 거꾸로 뒤집거나 색을 알아볼 수 없게 바꾸면, 실제로 만날 리 없는 자료로 학습하는 셈이에요.

방향을 뒤집으면 뜻이 달라지는 자료도 있어요. 숫자나 글자를 좌우로 뒤집으면 다른 글자가 되거나 아예 글자가 아니게 돼요. 의료 사진처럼 좌우가 의미를 갖는 자료도 그래요. 그래서 어떤 변형을 걸지는 자료의 성격을 보고 골라야 해요.

자료를 더 모으는 것과는 달라요

증강은 자료의 양을 늘려 주지만 정보의 양을 늘려 주지는 않아요. 뒤집은 사진에는 원본에 없던 새로운 사실이 담겨 있지 않아요. 학습에 쓴 자료에 아예 없던 종류는 아무리 변형해도 생기지 않고요.

그래서 증강은 자료를 더 모으는 일을 대신하지 못해요. 자료가 부족할 때 그 안에서 최대한을 끌어내는 수단에 가까워요. 종류가 한쪽으로 치우친 자료라면 증강보다 부족한 쪽을 더 모으는 편이 나아요.