비전 트랜스포머Vision Transformer

사진을 같은 규격 조각으로 잘라요

첫 단계는 자르기예요. 사진을 가로세로 열몇 픽셀짜리 정사각형으로 촘촘히 나눠요. 큰 사진이라면 조각이 수백 개쯤 나와요. 조각들은 겹치지 않고 빈틈도 없어서, 다 모으면 원래 사진이 그대로 채워져요.

조각 하나하나는 작은 색 점들의 묶음이에요. 이 묶음을 하나의 숫자 줄로 눌러 담아요. 이 과정을 거치고 나면 사진 한 장이 숫자 줄 수백 개로 바뀌어요.

여기서부터가 핵심이에요. 숫자 줄 수백 개는 문장을 조각으로 썰어 놓은 결과와 생김새가 똑같아요. 그래서 글을 다루려고 만든 구조를 거의 손대지 않고 그대로 쓸 수 있어요. 비전 트랜스포머라는 이름이 붙은 이유가 여기 있어요.

번호를 붙이지 않으면 자리를 잃어요

조각을 한 줄로 늘어놓는 순간 문제가 생겨요. 줄 위에서는 어느 조각이 사진의 왼쪽 위에 있었는지, 오른쪽 아래에 있었는지가 사라져요. 조각 순서를 마구 섞어도 계산 결과가 똑같아지는 거예요.

그래서 조각마다 자리를 알려 주는 숫자 묶음을 하나씩 더해 줘요. 컨테이너에 붙이는 번호표와 같은 역할이에요. 이 표시가 붙은 뒤에야 위쪽 조각과 아래쪽 조각을 구분해서 볼 수 있어요.

멀리 있는 조각끼리 곧바로 견줘요

여기가 CNN (Convolutional Neural Network, 합성곱 신경망) 과 갈리는 지점이에요. CNN은 작은 창을 사진 위로 미끄러뜨리며 바로 옆 픽셀들만 함께 봐요. 한 단계에서 보는 범위가 좁아서, 사진 반대편까지 시야를 넓히려면 층을 여러 겹 쌓아 올려야 해요.

비전 트랜스포머는 첫 단계부터 모든 조각이 모든 조각을 견줘요. 왼쪽 위 조각이 오른쪽 아래 조각과 얼마나 관련 있는지를 곧바로 계산해요. 사진 양쪽 끝에 나뉘어 찍힌 한 물체를 처음부터 하나로 묶어 볼 수 있어요.

대신 CNN이 공짜로 갖고 있던 이점을 잃어요. "가까운 점끼리 관련이 깊다"는 사실과 "물체가 좀 옮겨져도 같은 물체다"라는 사실을, CNN은 구조 자체가 이미 알고 있어요. 비전 트랜스포머는 이걸 전부 자료에서 배워야 해요.

미리 아는 게 없다는 대가

그래서 자료가 적으면 오히려 CNN보다 못해요. 사진이 몇만 장뿐인 데이터로 가르치면 조각들 사이의 관계를 제대로 잡지 못하고 흔들려요. 미리 심어 둔 습관이 없다는 건 자유롭다는 뜻이자 처음부터 다 배워야 한다는 뜻이에요.

반대로 아주 많은 사진으로 먼저 폭넓게 배우고 나면, 그 뒤로는 CNN보다 나은 결과를 내는 경우가 많아요. 미리 심어 둔 습관은 도움이 되는 만큼 한계도 되기 때문이에요. 그래서 실제로는 큰 자료로 먼저 배운 것을 가져다가 각자 필요한 일에 맞춰 다듬어 쓰는 방식이 자리를 잡았어요.

조각 수가 곧 비용이에요

모든 조각이 모든 조각을 견주니, 조각이 두 배가 되면 견줄 짝은 네 배가 돼요. 사진 해상도를 높이려면 조각을 잘게 자르거나 수를 늘려야 하는데, 그 순간 계산이 크게 불어나요. 높은 해상도가 중요한 일에서 이게 큰 부담이 돼요.

그래서 뒤에 나온 구조들은 가까운 조각끼리 먼저 견주고, 단계가 올라갈수록 조각을 합쳐 수를 줄여 나가는 방식을 섞어 써요. 잘게 시작해 점점 크게 묶는 흐름은 원래 CNN이 하던 방식과 닮았어요. 두 갈래가 서로의 장점을 가져다 쓰며 가까워진 셈이에요.