책임Accountability

손댄 곳이 여럿이에요

AI가 낸 결과 하나에는 보통 세 자리가 얽혀 있어요. 데이터를 모아 모델을 학습시킨 쪽, 그 모델에 안내문과 화면을 붙여 서비스로 파는 쪽, 그리고 그 서비스를 자기 업무에 끌어다 쓴 쪽이에요.

각자 손댈 수 있는 범위가 달라요. 만든 쪽은 무엇을 학습에 넣었고 어떤 한계가 있는지 알아요. 파는 쪽은 어떤 용도로 쓰라고 안내했는지, 위험한 요청을 걸러 내는 장치를 붙였는지 정해요. 쓴 쪽은 이 도구를 어느 자리에 놓았는지, 결과를 사람이 보고 넘겼는지를 정해요. 손댈 수 있었던 만큼이 답해야 할 몫이 돼요.

그래서 같은 잘못이라도 어디에서 갈렸느냐에 따라 물어볼 곳이 달라져요. 애초에 쓰면 안 될 자리에 갖다 놓았다면 만든 쪽의 성능 문제가 아니고, 안내한 용도 안에서 썼는데도 엉뚱한 답이 나왔다면 쓴 사람만 탓하기 어려워요.

기록이 없으면 물을 수가 없어요

책임을 가리는 일은 대부분 기록을 되짚는 일이에요. 어떤 요청이 들어갔는지, 어떤 자료를 근거로 삼았는지, 어떤 설정으로 돌렸는지, 결과를 누가 받아 어떻게 처리했는지가 남아 있어야 원인을 짚을 수 있어요.

이 기록이 없으면 이상한 일이 벌어져요. 문제가 생겼는데 아무도 자기 단계에서 무슨 일이 있었는지 보여 주지 못하니, 서로 상대를 가리키기만 하고 아무것도 고쳐지지 않아요. 남는 것은 다툼뿐이고 같은 일이 다시 일어나요.

반대로 기록이 남아 있으면 이야기가 달라져요. 어느 단계에서 어긋났는지 보이니 그 자리를 손보면 돼요. 기록은 누구를 벌하려고 남기는 게 아니라 다시 일어나지 않게 하려고 남기는 거예요.

형식만 남은 확인

많은 곳에서 "결과는 사람이 확인한다"는 절차를 둬요. 그런데 하루에 수백 건이 올라오고 대부분이 멀쩡하면, 확인은 곧 습관이 돼요. 화면을 넘기며 버튼만 누르는 상태가 되면 그 절차는 이름만 남아요.

이때 위험한 것은 결과가 틀린다는 사실보다, 책임이 옮겨 간 것처럼 보인다는 점이에요. 확인란에 사람 이름이 찍혀 있으니 서류상으로는 사람이 판단한 게 되지만, 실제로 판단은 아무도 하지 않았어요.

확인을 살리려면 확인이 실제로 가능한 조건을 만들어야 해요. 한 번에 넘길 수 있는 양을 줄이거나, 근거를 함께 띄워 주거나, 되돌릴 수 없는 일에만 확인을 걸어 두는 식이에요. 모든 것을 확인하게 하면 아무것도 확인하지 않게 돼요.

미리 나눠 두면 다툴 일이 줄어요

일이 벌어진 뒤에 책임을 나누려 하면 늘 늦어요. 잘 굴러가는 곳은 시작할 때 정해 둬요. 이 도구를 어떤 일에 쓸지, 어떤 일에는 쓰지 않을지, 어떤 결과는 사람이 반드시 볼지, 문제가 생기면 누가 멈출 권한을 갖는지를 적어 두는 거예요.

여기에 하나가 더 붙어요. 결과를 받는 사람에게 AI가 관여했다는 사실을 알리는 일이에요. 상대가 그 사실을 모르면 이상하다고 느껴도 물어볼 생각을 못 해요. 알려 주면 잘못을 바깥에서 먼저 발견해 주는 눈이 하나 늘어요.