가드레일Guardrails

모델 안이 아니라 바깥에 붙여요

AI가 위험한 요청을 거절하는 데에는 두 가지가 함께 작동해요. 하나는 학습으로 몸에 밴 성향이에요. 이건 모델 안에 있어서 뜯어보거나 껐다 켤 수 없어요. 다른 하나는 서비스가 모델 바깥에 붙여 둔 장치예요. 이쪽은 규칙을 눈으로 볼 수 있고, 켜고 끄고 바꿀 수 있어요.

가드레일은 뒤쪽을 가리켜요. 바깥에 있으니 어떤 모델을 갈아 끼워도 그대로 남고, 문제가 생겼을 때 어디를 고쳐야 하는지 짚을 수 있어요. 울타리와 매트가 누가 놀러 오든 늘 같은 자리에 있는 것과 같아요.

성향과 장치는 서로를 대신하지 못해요. 성향은 상황에 따라 흔들리고, 장치는 말의 결을 세밀하게 읽지 못해요. 둘을 겹쳐 두는 이유예요.

들어올 때 한 번, 나갈 때 한 번

들어오는 요청을 살피는 검사는 요청 자체가 서비스가 다루지 않기로 한 영역인지 봐요. 여기서 걸리면 모델까지 가지 않고 안내 문구가 나가요. 빠르고 값도 적게 들지만, 위험이 요청 문장에 드러나지 않으면 놓쳐요.

나가는 답을 살피는 검사는 만들어진 답에 문제가 있는지 봐요. 요청은 평범했는데 답이 엉뚱하게 흘러간 경우, 참고한 자료가 이상했던 경우가 여기서 걸려요. 대신 답을 다 만든 뒤라 시간이 더 걸리고, 이미 화면에 흘러가고 있던 답을 중간에 거두는 어색함도 생겨요.

두 검사는 놓치는 자리가 서로 달라요. 앞은 의도를, 뒤는 결과를 봐요. 그래서 둘 중 하나만 두는 서비스는 드물어요.

손을 줄이는 것이 가장 단단한 울타리

말로 된 검사는 늘 새어 나갈 틈이 있어요. 표현을 바꾸면 걸리지 않고, 너무 촘촘하게 만들면 평범한 말까지 걸려요. 반면 AI가 아예 할 수 없는 일은 어떤 문장으로도 하게 만들 수 없어요.

그래서 실무에서 가장 확실하게 작동하는 울타리는 권한 쪽이에요. 이 일에 필요한 도구만 쥐여 주고, 읽기만 필요한 자리에는 쓰기 권한을 주지 않고, 되돌릴 수 없는 동작 앞에는 사람의 확인을 놓아요. 문장을 아무리 잘 지어내도 없는 손은 움직일 수 없어요.

고장 난 기구에 줄을 둘러 막아 두는 일도 같은 자리에 있어요. 이상한 낌새가 잡히면 그 기능만 즉시 닫아 두는 스위치를 미리 만들어 두면, 고치는 동안 피해가 멈춰요.

좁게 치면 못 놀게 돼요

울타리를 촘촘히 치는 데에는 대가가 따라요. 안전 관련 질문, 의학이나 법과 관련한 일반적인 설명, 폭력이 등장하는 창작물처럼 정상적인 요청이 함께 걸려요. 이걸 과잉 거부라고 불러요.

과잉 거부는 겉으로는 안전해 보이지만 두 가지 문제를 만들어요. 하나는 서비스가 쓸모를 잃는 것이고, 다른 하나는 사람들이 검사가 없는 다른 통로로 옮겨 가는 것이에요. 옮겨 간 곳에는 울타리가 아예 없어요.

그래서 가드레일 점검에는 늘 두 숫자가 함께 들어가요. 막아야 할 것을 얼마나 막았는지, 막지 말아야 할 것을 얼마나 막았는지예요. 한쪽만 보면 반드시 반대쪽이 무너져요.

울타리가 서 있는지 확인하는 일

울타리를 세워 두는 것과 그 울타리가 실제로 버티는 것은 다른 이야기예요. 문서에 적힌 규칙이 코드에서 빠져 있거나, 새 기능을 붙이며 검사 하나를 건너뛰는 일이 생겨요. 그래서 만든 사람과 다른 사람이 넘어 보는 절차를 따로 둬요.

이 점검이 레드 티밍이에요. 가드레일이 미리 쳐 두는 쪽이라면 레드 티밍은 넘어 보는 쪽이고, 두 일은 짝으로 굴러가요. 넘어 보다 뚫린 자리가 나오면 그 사례가 새 울타리의 재료가 돼요.