이미지 캡셔닝Image Captioning

읽는 쪽과 쓰는 쪽이 짝을 이뤄요

앞쪽은 그림을 담당해요. 사진을 잘게 나눠 훑으면서 색과 결과 모양의 특징을 뽑아내고, 그 결과를 숫자 묶음 여러 개로 바꿔 놓아요. 이 단계에서는 아직 한국어도 영어도 나오지 않아요. "여기에 둥글고 붉은 덩어리가 있고 그 아래 평평한 면이 있다" 정도의 정보만 남아요.

뒤쪽은 문장을 담당해요. 앞쪽이 건넨 숫자 묶음을 놓고, 다음에 올 말 조각을 하나 고르고 이어 붙이기를 반복해요. 글을 쓰는 모델이 앞 문장을 보고 다음 조각을 고르는 것과 똑같은데, 참고 자료로 앞 문장 대신 그림 정보를 본다는 점만 달라요.

두 쪽을 나눠 두면 좋은 점이 있어요. 그림 읽는 쪽은 사진에 대해 이미 많이 배워 둔 것을 그대로 가져다 쓰고, 문장 쓰는 쪽도 말에 대해 이미 배워 둔 것을 가져다 써요. 새로 배워야 하는 것은 둘 사이를 잇는 통로뿐이에요.

무엇을 말하고 무엇을 넘길지

같은 사진에도 맞는 설명은 여럿이에요. "책상 위에 컵이 있다"도 맞고 "아침 햇살이 드는 창가 책상에 김이 오르는 컵이 놓여 있다"도 맞아요. 어느 쪽이 좋은 설명인지는 쓰임새가 정해요.

대체 텍스트로 쓸 설명은 짧고 정확한 쪽이 좋아요. 화면을 볼 수 없는 사람이 한 번 듣고 장면을 그릴 수 있어야 하니까요. 사진 검색에 쓸 설명은 반대로 길고 촘촘한 쪽이 유리해요. 나중에 어떤 말로 찾을지 모르니 걸릴 만한 단어를 많이 담아 두는 게 이득이에요.

그래서 같은 모델에도 "한 문장으로", "자세하게", "글자가 있으면 읽어 줘" 같은 요청을 함께 넣어 설명의 결을 정해요. 요청 없이 그냥 맡기면 학습 자료에 많던 길이와 말투로 나와요.

사진과 설명이 짝지어진 자료로 배워요

배우는 방식은 단순해요. 사진과 사람이 붙인 설명을 짝으로 놓고, 사진을 준 뒤 그 설명을 맞혀 보게 해요. 빗나가면 조금씩 고치고, 이 일을 수억 장 넘게 반복해요.

그래서 설명 자료의 성격이 결과에 그대로 남아요. 자료에 흔한 장면이 많으면 흔한 표현이 잘 나오고, 특정 지역이나 문화의 사물이 적게 담겨 있으면 그런 사진 앞에서는 뭉뚱그린 설명이 나와요. 설명을 붙인 사람들의 말버릇도 함께 따라와요.

화면에 없는 것을 말할 때가 있어요

가장 자주 지적되는 약점이에요. 부엌 사진을 보여 주면 실제로는 없는 냄비를 있다고 하거나, 식탁 사진에서 접시 개수를 틀리게 세요. 본 것을 옮기는 대신 "이런 장면이면 보통 이런 게 있지" 하는 쪽으로 문장이 흘러서예요.

작은 글씨, 개수, 왼쪽과 오른쪽, 앞뒤 거리처럼 정확히 세거나 따져야 하는 것에서 특히 약해요. 설명이 매끄럽게 읽힌다고 해서 맞는 것은 아니라서, 정확성이 중요한 자리에서는 사람이 한 번 확인하고 쓰는 편이 안전해요.