멀티모달Multimodal

형태가 달라도 같은 자리로 모여요

글, 그림, 소리는 겉모습이 완전히 달라요. 글은 글자의 줄이고, 그림은 점의 판이고, 소리는 시간에 따라 오르내리는 물결이에요. 이대로는 견줄 방법이 없어요.

멀티모달 모델은 이 셋을 각각 숫자 묶음으로 바꿔요. 중요한 건 바뀐 뒤에 셋이 같은 공간에 놓인다는 점이에요. 고양이 사진에서 나온 숫자 묶음과 고양이라는 글에서 나온 숫자 묶음이 서로 가까운 자리에 오도록 학습하는 거예요.

한자리에 놓이고 나면 그다음은 같아요. 어느 쪽에서 왔든 똑같이 견주고 이어 붙일 수 있어요. 사진과 문장이 어울리는지, 소리와 자막이 맞는지 판단할 수 있게 되는 이유예요.

무엇을 할 수 있게 되나

가장 흔한 건 사진을 보고 설명하는 일이에요. 냉장고 안을 찍어 넣고 뭘 해 먹을지 물어보거나, 손으로 그린 표를 찍어 정리해 달라고 할 수 있어요. 글로 옮기기 번거로운 것을 그대로 보여 주면 되니까 손이 줄어요.

반대 방향도 돼요. 말로 설명해서 비슷한 그림을 찾거나, 긴 녹음을 넣고 정해진 것만 뽑아 달라고 할 수 있어요. 여러 형태를 섞어 넣는 것도 가능해요. 설명서 사진과 질문 글을 함께 넣으면 그림과 글을 같이 보고 답해요.

이 방식이 편한 까닭은 하나예요. 사람이 겪는 상황은 원래 한 가지 형태로만 오지 않아요.

답도 여러 형태로 나와요

받는 쪽만 여러 갈래인 게 아니에요. 내놓는 쪽도 글, 그림, 소리로 갈릴 수 있어요. 같은 질문에 글로 답할 수도 있고, 소리 내어 읽어 줄 수도 있고, 그림으로 그려 줄 수도 있어요.

다만 하나의 모델이 이 모두를 혼자 해내는 경우는 아직 드물어요. 여러 부분이 이어 붙어 한 팀처럼 도는 경우가 많아요. 쓰는 사람 눈에는 한 덩어리로 보이지만 안에서는 그림을 보는 쪽, 말을 만드는 쪽, 소리를 내는 쪽이 나뉘어 있기도 해요.

잘 못하는 자리

갈래를 다 받는다고 다 잘하는 건 아니에요. 대체로 글에 견주면 그림 쪽이, 그림에 견주면 소리 쪽이 무른 편이에요. 학습에 쓸 수 있는 자료의 양이 갈래마다 다르기 때문이에요.

특히 세밀한 것에 약해요. 그림 속 작은 글씨를 잘못 읽거나, 물건이 왼쪽에 있는지 오른쪽에 있는지 헷갈리거나, 개수를 잘못 세는 일이 흔해요. 전체 분위기는 잘 잡는데 자세히 들여다보는 일은 서툰 셈이에요.

그래서 정확한 숫자나 위치가 중요한 일은 사람이 한 번 확인하는 편이 안전해요. 그림을 넣을 때 밝고 또렷하게, 필요한 부분이 크게 나오도록 찍어 주면 결과가 눈에 띄게 좋아져요. 한 장에 여러 가지를 담기보다 알고 싶은 것만 크게 담는 편이 훨씬 나아요.