다층 퍼셉트론Multilayer Perceptron

칸 하나가 하는 일

검사대 한 칸이 무슨 일을 하는지부터 보면 나머지가 술술 풀려요. 칸은 앞에서 넘어온 숫자들을 한꺼번에 받아요. 그리고 숫자마다 정해진 크기를 곱해요. 이 크기가 그 항목을 얼마나 중요하게 볼지를 정하는 손잡이예요. 어떤 항목에는 큰 값이, 어떤 항목에는 0에 가까운 값이 붙어요.

곱한 값을 전부 더하면 점수 하나가 나와요. 여기에 칸마다 갖고 있는 기준선을 하나 더해요. 이 기준선은 "웬만해서는 반응하지 마"나 "조금만 비슷해도 반응해"처럼 칸의 성격을 정해요.

휘어 주지 않으면 층이 소용없어요

점수를 그대로 위층에 넘기면 곤란한 일이 생겨요. 곱하고 더하기만 몇 번을 반복해도 결국 곱하고 더하기 한 번과 똑같아지거든요. 층을 백 개 쌓아도 한 층짜리와 다를 게 없어져요.

그래서 마지막에 점수를 한 번 휘어 줘요. 음수는 눌러서 0으로 만들고 양수는 그대로 통과시키는 방식이 가장 많이 쓰여요. 이 한 번의 꺾임 덕분에 층을 겹치는 일이 비로소 의미를 갖게 돼요. 꺾인 선을 여러 개 겹치면 곡선에 가까운 경계가 만들어지니까요.

앞 층이 낸 점수만 보고 판단해요

첫 줄 검사대는 물건을 직접 봐요. 두 번째 줄부터는 물건을 보지 않고 앞 줄이 적어 낸 점수만 봐요. 이렇게 바깥에서 보이지 않고 중간에서만 일하는 줄을 은닉층이라고 불러요.

한 칸은 앞 층의 모든 칸과 빠짐없이 연결돼요. 앞 줄에 검사대가 열 개 있으면 뒤 줄의 칸 하나는 그 열 개 점수를 다 받아요. 어느 것을 중요하게 볼지는 곱하는 크기가 알아서 정해요. 그래서 완전 연결이라는 이름이 붙었어요.

신호는 앞에서 뒤로만 흘러요. 뒤 줄이 앞 줄에게 다시 물어보는 길은 없어요. 물건이 들어와서 결과가 나오기까지 한 방향으로 쭉 지나가요.

정답과 벌어진 만큼 되짚어 고쳐요

곱하는 크기를 사람이 정해 주지는 않아요. 처음에는 아무렇게나 흩어진 값으로 시작해요. 캔 사진을 넣었는데 페트병이라는 답이 나오면 얼마나 빗나갔는지를 숫자로 재고, 그 빗나간 양을 뒤에서 앞으로 되짚으며 크기들을 조금씩 밀어 줘요.

이 되짚기를 수십만 번 반복하면 검사대마다 자기가 볼 항목이 저절로 정해져요. 사람이 반짝임이나 투명함 같은 항목을 미리 적어 주지 않아도, 자료를 갈라내는 데 쓸모 있는 기준이 스스로 자리를 잡아요.

지금도 큰 모델 안에 들어 있어요

다층 퍼셉트론은 옛날 구조가 아니에요. 이미지를 다루는 신경망도, 글을 다루는 커다란 언어 모델도 안을 열어 보면 이 구조가 층마다 끼워져 있어요. 어텐션 같은 장치가 정보를 모아 오면, 그 결과를 실제로 주무르는 자리에는 여전히 곱해 더하고 한 번 휘는 칸들이 있어요.

거대한 모델의 무게 대부분이 사실 이 부분에 몰려 있기도 해요. 구조가 단순한 만큼 계산이 빠르고, 필요하면 칸 수만 늘려서 용량을 키우기도 쉽거든요.