세그멘테이션Segmentation

점마다 이름표를 붙여요

세그멘테이션의 결과는 네모 몇 개가 아니라 그림 한 장이에요. 원본 사진과 가로세로가 같고, 칸마다 숫자가 하나씩 들어 있어요. 그 숫자가 이름표 번호예요. 사람 자리는 1, 하늘 자리는 2, 나무 자리는 3 하는 식이에요.

이 그림을 색으로 칠해 보면 사진 위에 색 구역이 딱 나뉜 모습이 나와요. 화상 통화에서 배경만 흐려지는 기능, 사진에서 하늘만 골라 색을 바꾸는 기능이 전부 이 이름표 그림을 쓴 거예요. 물체 모양대로 잘라 내니 네모로는 못 하던 일이 가능해져요.

사진 한 장에 이름표 하나를 붙이는 이미지 분류, 물건마다 네모를 치는 객체 인식에서 한 칸 더 올라간 자리예요. 정밀해지는 만큼 계산도 무거워지고 학습 자료 만들기도 힘들어져요.

줄였다가 다시 키워요

문제가 하나 있어요. 사진을 훑으며 층을 쌓다 보면 그림이 자꾸 작아져요. 작아진 그림에는 "무엇이 있었나"는 남지만 "정확히 어느 점이었나"는 뭉개져요. 그런데 세그멘테이션은 점 단위로 답해야 하니 원래 크기로 돌아가야 해요.

그래서 절반씩 줄이며 내려갔다가, 다시 두 배씩 키우며 올라오는 구조를 써요. 올라올 때는 그냥 크게 늘리기만 하지 않아요. 내려갈 때 각 단계에서 챙겨 둔 세밀한 그림을 같은 크기 지점에서 다시 합쳐요. 뭉개진 위치 정보를 아래층이 갖고 있던 선명한 윤곽으로 보충하는 거예요. 이 방식이 있어야 경계가 뭉툭해지지 않아요.

한 덩어리냐, 하나씩이냐

같은 세그멘테이션이라도 두 갈래가 있어요. 하나는 종류만 구분하는 방식이에요. 사진 속 자전거가 세 대 있어도 전부 "자전거"라는 한 색으로 칠해져요. 바퀴가 겹쳐 있으면 어디까지가 첫 번째 자전거인지 알 수 없어요.

다른 하나는 개체마다 따로 나누는 방식이에요. 첫 번째 자전거, 두 번째 자전거를 각각 다른 이름표로 떼어 내요. 사진 속 물건 수를 세거나 하나만 골라 지워야 할 때는 이 방식이 필요해요. 그리고 하늘이나 도로처럼 셀 수 없는 것은 종류로만 칠하고, 셀 수 있는 물체는 개체로 나누는 절충 방식도 있어요.

어려운 곳은 언제나 경계예요

세그멘테이션이 가장 자주 틀리는 자리는 물체 안쪽이 아니라 가장자리예요. 머리카락 한 올, 나뭇잎 사이 틈, 반투명한 유리컵, 흐릿하게 흔들린 손끝처럼 한 점이 물체인지 배경인지 애매한 자리에서 결과가 지저분해져요. 화상 통화에서 배경 흐리기를 켜면 어깨선이 들쭉날쭉해지는 게 이 때문이에요.

학습 자료를 만드는 사람도 같은 자리에서 고생해요. 네모는 두 번 끌어 그리면 끝이지만, 윤곽은 한 장에 몇 분씩 걸려요. 그래서 사진 한 장을 준비하는 비용이 분류보다 수십 배 들어요. 요즘은 사람이 사진에 점 하나만 찍으면 나머지 윤곽을 알아서 따 주는 도구로 이 품을 크게 줄이고 있어요.