딥러닝Deep Learning

층 하나가 하는 일은 단순해요

층 하나를 열어 보면 안에는 아주 단순한 계산만 들어 있어요. 들어온 숫자들에 각각 정해진 비중을 곱해서 더하고, 그 결과가 일정 선을 넘는지 보는 정도예요. 이 계산은 종이와 연필로도 할 수 있을 만큼 간단해요.

대단해지는 것은 겹칠 때예요. 첫 층이 뽑아낸 결과가 둘째 층의 재료가 되고, 둘째 층의 결과가 셋째 층의 재료가 돼요. 정수기의 물이 필터를 차례로 지나며 점점 맑아지듯, 숫자 묶음이 층을 지날 때마다 조금씩 다른 모습으로 바뀌어요.

그래서 딥러닝을 이해할 때 층 하나를 붙잡고 씨름할 필요는 없어요. 단순한 것이 순서대로 여러 번 쌓였다는 그림만 잡으면 충분해요. 이 층들이 이어진 전체 구조를 신경망이라고 불러요.

앞쪽 층은 거칠게, 뒤쪽 층은 세밀하게

사진을 알아보는 딥러닝을 들여다보면 층마다 반응하는 것이 달라요. 맨 앞 층은 밝고 어두운 경계선 같은 아주 거친 것에만 반응해요. 그다음 층은 그 선들이 모여 만드는 무늬에 반응하고, 더 뒤 층은 무늬가 모인 부분 모양에 반응해요.

한참 뒤쪽에 가서야 이것이 무엇인지에 해당하는 신호가 나와요. 필터가 굵은 것부터 걸러 마지막에 마실 물을 내놓는 순서와 같아요. 거친 것에서 시작해 세밀한 쪽으로 옮겨 가는 이 순서는 사람이 정해 준 것이 아니라 학습하는 동안 저절로 생겨요.

무엇을 볼지 사람이 정해 주지 않아도 돼요

딥러닝 이전의 머신러닝에서는 사람이 할 일이 하나 더 있었어요. 무엇을 보고 판단할지를 먼저 정해 주는 일이에요. 얼굴을 알아보게 하려면 눈 사이 거리, 코 길이 같은 것을 사람이 골라서 숫자로 뽑아 주고, 기계는 그 숫자들만 가지고 판단했어요.

이 작업이 성능을 좌우했고, 동시에 가장 큰 병목이었어요. 사람이 놓친 단서는 기계도 영영 못 봤으니까요. 딥러닝은 이 자리를 층에 넘겨요. 원본 사진을 그대로 넣으면 앞쪽 층들이 볼 거리를 스스로 만들어 내요.

사람의 일이 하나 줄고 성능이 크게 올랐지만, 대신 무엇을 보고 판단했는지 사람이 알기 어려워졌어요. 딥러닝 모델을 두고 속을 알 수 없는 상자라고 부르는 이유예요.

깊어지면 대가도 커져요

층을 늘리면 다룰 수 있는 문제가 넓어져요. 그래서 오랫동안 사람들은 층을 더 쌓으려고 애썼어요. 다만 그냥 쌓기만 해서는 잘 되지 않았어요. 층이 깊어질수록 앞쪽 층까지 배움의 신호가 흐려져서 앞쪽이 거의 배우지 못하는 문제가 있었어요. 이 문제를 푸는 여러 장치가 나오고 나서야 아주 깊은 신경망이 가능해졌어요.

계산과 예시의 양도 함께 커져요. 층이 많으면 조절할 값도 많아지고, 조절할 값이 많으면 그만큼 많은 예시를 봐야 해요. 딥러닝이 갑자기 잘되기 시작한 시점이 그래픽 카드와 대규모 데이터가 갖춰진 시점과 겹치는 것은 우연이 아니에요.

그래서 딥러닝이 언제나 정답은 아니에요. 예시가 몇백 개뿐이거나 판단 근거를 설명해야 하는 일이라면, 층이 얕은 옛 방식이 더 나은 선택일 때가 많아요.