깊이 추정Depth Estimation

사진에는 거리가 빠져 있어요

카메라는 세상을 납작하게 눌러 담아요. 한 방향으로 뻗은 빛줄기 위에 있는 것들은 가깝든 멀든 모두 같은 자리에 찍혀요. 사진 한 장만 보면 손바닥만 한 장난감 자동차가 코앞에 있는지, 진짜 자동차가 멀리 있는지 구분할 근거가 그림 안에는 없어요.

그래서 원래 거리를 알려면 눈이 둘 있어야 해요. 두 자리에서 찍은 사진을 견주면 가까운 것일수록 좌우로 많이 어긋나 보이고, 그 어긋난 정도가 곧 거리가 돼요. 거리를 재는 장비도 빛을 쏘아 되돌아오는 시간을 세는 식으로 직접 재고요.

깊이 추정은 이런 장비 없이, 이미 찍힌 사진 한 장에서 잃어버린 거리를 되짚어 내는 일이에요. 정답을 다시 재는 게 아니라 그럴듯한 값을 짚어 내는 쪽에 가까워요.

그림 속 단서를 모아요

되짚는 재료는 사람이 안개 낀 길에서 쓰는 것과 다르지 않아요. 앞의 것이 뒤의 것을 가리면 가린 쪽이 가까워요. 같은 종류의 물건이 작게 찍혔으면 멀리 있는 거고요. 나란한 두 선이 화면 안쪽에서 한 점으로 모이면 그쪽이 먼 방향이에요. 바닥의 무늬가 촘촘해질수록 멀어지고, 그림자가 어디에 어떻게 눕는지도 앞뒤를 갈라 줘요.

학습은 거리를 함께 재 둔 사진 더미로 해요. 여러 각도에서 찍은 사진과 장비로 잰 거리 값을 짝지어 놓고, 사진만 보고 그 값을 맞히게 시켜요. 수많은 장면을 거치는 동안 "이런 모습이면 이만큼 멀다"는 감각이 쌓여요.

그래서 결과는 재어 낸 값이 아니라 경험에서 나온 짐작이에요. 처음 보는 장면이라도 익숙한 단서가 보이면 잘 맞히고, 단서가 어긋나 있으면 사람처럼 속아요.

결과는 한 장의 깊이 지도예요

내놓는 답은 숫자 하나가 아니라 사진과 같은 크기의 그림이에요. 자리마다 값이 하나씩 들어 있고, 보통 가까울수록 밝게 칠해서 보여 줘요. 인물은 하얗게 뜨고 뒤쪽 벽은 어둡게 깔리는 흑백 그림이 바로 그거예요.

이 지도가 있으면 사진을 앞뒤로 자를 수 있어요. 인물만 남기고 뒷배경을 흐리게 만드는 사진 효과, 화면을 조금씩 밀어 입체처럼 흔들어 보이는 효과, 가상 물체를 놓았을 때 앞의 기둥에 자연스럽게 가려지게 하는 처리가 모두 이 한 장 위에서 이뤄져요.

로봇이나 자동차의 보조 장치도 이 지도를 참고해요. 다만 안전이 걸린 곳에서는 사진 한 장의 짐작만 믿지 않고, 거리를 직접 재는 장치와 함께 써요.

순서는 알아도 걸음 수는 몰라요

가장 자주 걸리는 한계예요. 대부분의 깊이 추정은 어느 쪽이 더 가까운지와 그 차이가 얼마나 큰지만 내놓아요. 같은 장면이라도 전체를 두 배로 늘리거나 반으로 줄여 놓으면 앞뒤 관계는 그대로라 구분할 수가 없어요.

미터로 된 거리가 필요하면 기준이 하나 있어야 해요. 카메라의 렌즈 정보를 알려 주거나, 크기를 아는 물건을 한 번 잡아 주거나, 장비로 잰 값 몇 개를 끼워 넣어 눈금을 맞춰요. 눈금을 맞추기 전 값은 지도의 등고선처럼 높낮이만 있는 그림이에요.

잘 속는 장면이 있어요

거울과 유리가 대표적이에요. 거울에 비친 방은 사진 속에서 멀리 뻗은 진짜 방처럼 보여서, 벽 뒤로 공간이 이어진 것처럼 그려지곤 해요. 유리창 너머 풍경과 유리에 비친 반사가 겹치면 어느 쪽 거리를 적어야 할지 흔들려요.

무늬가 없는 하얀 벽, 짙은 안개, 역광으로 새까맣게 눌린 자리도 어려워요. 단서 자체가 지워진 곳이라 주변에서 이어 붙여 메우는데, 그러다 보면 넓은 면이 통째로 밀리거나 얇은 물체의 경계가 뭉개져요. 창살, 머리카락, 나뭇가지처럼 가늘고 촘촘한 것들이 배경에 붙어 버리는 일도 흔해요.