전이 학습Transfer Learning

앞쪽은 어디에나 쓰이는 기본기예요

모델 안을 앞에서 뒤로 훑어보면 하는 일이 달라요. 앞쪽은 아주 일반적인 것을 봐요. 사진이라면 밝기가 꺾이는 자리, 선의 방향, 무늬의 결 같은 것이요. 이런 건 강아지 사진이든 부품 사진이든 똑같이 필요해요.

뒤로 갈수록 하던 일에 딱 맞는 것을 봐요. 마지막 언저리는 아예 "이 사진은 어느 칸에 넣을까"를 정하는 자리예요. 이 부분은 하던 일에만 쓸모가 있어요.

대장간으로 보면 앞쪽이 쇠를 읽는 눈이고 뒤쪽이 낫의 곡선을 잡는 손놀림이에요. 전이 학습은 앞쪽을 살리고 뒤쪽만 갈아 끼우는 일이에요.

뒤쪽만 새로 배워요

가장 단순한 방법은 이래요. 이미 학습된 모델을 가져와 마지막 판단 부분을 떼어 내고, 새 일에 맞는 부분을 새로 붙여요. 그리고 앞쪽은 손대지 않도록 잠가 둔 채 새로 붙인 부분만 가르쳐요.

이렇게 하면 학습이 아주 빨라요. 고쳐야 할 값이 전체의 아주 일부뿐이니까요. 노트북 한 대로 몇 분이면 끝나는 경우도 있어요. 웹캠으로 손동작 몇 가지를 가르쳐 게임을 움직이는 체험도 이 방식이에요.

잠가 둔 앞쪽을 조금 풀어 함께 다듬으면 성능이 더 오르기도 해요. 그 정도를 어디까지 열지가 판단할 대목이에요.

새 일의 자료가 적어도 돼요

전이 학습이 널리 쓰이는 가장 큰 이유예요. 밑동을 이미 갖췄으니 새로 가르칠 것이 적고, 적게 가르치니 자료도 적게 들어요.

부품 불량을 가려내는 일을 처음부터 배우게 하려면 사진 수십만 장이 있어야 해요. 이미 사진을 볼 줄 아는 모델 위에 얹으면 부품 사진 수백 장으로도 쓸 만한 결과가 나와요. 자료를 모으기 어려운 현장에서 이 차이는 되느냐 안 되느냐를 가르는 차이예요.

너무 동떨어지면 안 통해요

대장장이의 기본기는 칼이나 호미로는 잘 넘어가지만 유리 세공으로는 넘어가지 않아요. 다루는 재료가 달라서 쇠를 읽던 눈이 소용없거든요. 오히려 쇠를 다루던 손버릇이 방해가 될 수도 있어요.

모델도 같아요. 일상 사진으로 익힌 눈은 부품 사진이나 위성 사진으로는 그럭저럭 넘어가지만, 초음파 영상처럼 생김새가 아주 다른 자료로는 잘 안 넘어가요. 옮겨 온 감각이 성능을 되레 깎는 경우를 부정적 전이라고 불러요. 두 일이 얼마나 닮았는지를 먼저 가늠해 보는 게 순서예요.

옮겨 쓰는 방법도 갈래가 있어요

앞쪽을 통째로 잠그고 감각만 뽑아 쓰는 방법이 가장 가벼워요. 자료가 아주 적을 때 알맞아요.

모델 전체를 새 자료로 조금 더 다듬는 방법이 파인튜닝이에요. 손은 더 가지만 새 일에 더 잘 맞아요. 본체는 그대로 두고 작은 덧붙임만 학습하는 방법도 있는데, 큰 모델을 여러 용도로 쓸 때 이 방식이 요즘 널리 쓰여요. 셋 다 전이 학습이라는 한 우산 아래 있는 갈래예요.