객체 추적Object Tracking

찾기와 잇기는 다른 일이에요

장면 하나에서 물체를 찾아내는 일은 그 장면 안에서 끝나요. 상자 세 개를 그렸다고 해서 그중 어느 것이 앞 장면의 어느 상자였는지는 아무 데도 적혀 있지 않아요. 장면마다 따로따로 새로 찾을 뿐이에요.

그래서 찾기만 붙여 놓은 화면은 이상하게 보여요. 상자가 매 순간 새로 깜빡이고, 잠깐 못 찾은 순간에는 통째로 사라졌다가 다시 나타나요. 지나간 사람이 몇 명인지 세려 해도, 같은 사람을 서른 번 세게 돼요.

추적은 여기에 한 겹을 더 얹어요. 찾은 것들을 앞 장면의 목록과 견줘 짝을 지어 주고, 짝을 찾은 것에는 쓰던 번호를, 못 찾은 것에는 새 번호를 줘요. 화면 밖으로 나간 번호는 얼마쯤 기다렸다 지워요.

무엇을 보고 짝을 짓나요

짝을 짓는 단서는 크게 두 가지예요. 첫째는 자리예요. 아주 짧은 시간 사이에는 물체가 멀리 못 가니까, 앞 장면의 자리와 겹치거나 가까운 것이 같은 대상일 가능성이 높아요.

둘째는 생김새예요. 색과 무늬 같은 특징을 짧은 숫자 묶음으로 뽑아 두고, 새로 찾은 것들과 견줘요. 자리만으로는 갈리지 않는 상황에서 이 단서가 결정적이에요.

두 단서로 점수를 매기고 나면 짝짓기 문제가 돼요. 앞 목록과 새 목록을 놓고 전체 점수가 가장 좋아지도록 한꺼번에 짝을 정해요. 하나씩 가까운 것부터 붙이면 뒤에 남은 것들이 엉키기 때문이에요.

안 보이는 동안에도 자리를 짐작해요

가려짐은 늘 일어나요. 앞사람 뒤로 지나가거나 기둥에 가리면 그 순간 찾기가 실패해요. 여기서 번호를 바로 지워 버리면 다시 나타났을 때 새 번호가 붙어 한 사람이 둘로 세어져요.

그래서 잠깐 사라진 번호는 얼마간 살려 둬요. 사라지기 직전의 방향과 빠르기를 보고 "지금쯤 여기 있겠다"는 자리를 계속 옮겨 가며 짐작해요. 그 근처에서 비슷한 것이 나타나면 원래 번호를 다시 붙여요.

살려 두는 시간을 길게 잡으면 오래 가려진 대상도 이어 붙지만, 이미 나가 버린 번호가 엉뚱한 것에 붙는 일이 생겨요. 짧게 잡으면 그 반대예요. 사람이 많이 오가는 자리인지 아닌지에 따라 이 시간을 조절해요.

번호가 뒤바뀌는 사고

추적에서 가장 흔한 실패는 못 찾는 게 아니라 번호가 바뀌는 것이에요. 비슷하게 생긴 둘이 스쳐 지나가는 순간, 겹쳐 있는 동안에는 자리로도 생김새로도 갈리지 않아요. 빠져나온 뒤 두 번호가 서로 바뀌어 붙으면 그때부터 계속 잘못된 채로 이어져요.

한 번 바뀐 번호는 스스로 돌아오지 않아요. 그래서 이 실패는 지나간 길을 그린 그림이나 머문 시간 통계를 통째로 망가뜨려요. 추적 성능을 잴 때 얼마나 잘 찾았는지와 별도로 번호가 몇 번 바뀌었는지를 따로 세는 이유예요.

번호가 붙으면 셀 수 있어요

번호가 유지되는 순간 할 수 있는 일이 확 늘어요. 가게에 들어온 사람 수를 세는 일은 번호가 한 번씩만 새로 생기도록 관리하는 일이에요. 어느 진열대 앞에 얼마나 오래 머물렀는지는 한 번호가 그 구역 안에 있던 시간을 더한 값이고요.

지나간 길을 그리는 일도 번호 덕분이에요. 같은 번호의 자리를 시간 순으로 이으면 선 하나가 나와요. 이 선을 보면 어느 쪽으로 다니는 사람이 많은지, 어디서 멈추는지가 드러나요. 동작을 알아보는 일에도 같은 대상의 흐름을 모아 주는 역할을 해요.