탈옥Jailbreak

1거절은 잠금이 아니라 성향이에요

AI가 어떤 요청을 거절할 때, 안에서 자물쇠가 철컥 잠기는 게 아니에요. 무엇을 도와야 하고 무엇을 거절해야 하는지를 아주 많은 예시로 배워서, 비슷한 상황에서 거절 쪽으로 기우는 성향이 몸에 밴 거예요. 성향은 확률이라서 문맥이 달라지면 기울기도 달라져요.

그래서 같은 요청도 어떤 이야기 안에 놓이느냐에 따라 결과가 갈려요. 앞에 붙인 배경, 말투, 대화의 길이가 모두 기울기를 조금씩 밀어요. 규칙이 없어진 게 아니라, 그 순간의 문맥에서 규칙의 무게가 가벼워진 거예요.

회전문과 같아요. 문이 잠겨 있던 것이 아니라 한쪽으로 도는 편이 쉽게 되어 있을 뿐이고, 미는 힘의 방향이 바뀌면 문도 따라 돌아요.

2잣대를 겨냥하면 우회가 생겨요

바닥의 화살표는 진짜 기준이 아니에요. 진짜 기준은 드나드는 사람이 부딪히지 않고 안전하게 지나가는 것이고, 화살표는 그것을 빠르게 알리려고 정해 둔 대신 잣대예요. 대신 잣대를 쓰면 그 잣대만 비켜 가면 되는 길이 열려요.

AI의 안전장치도 마찬가지예요. 진짜 기준은 이 답이 실제로 해를 끼치느냐인데, 모델의 거절은 요청이 위험해 보이는 겉모습(결)에 크게 기대는 경우가 많아요. 그래서 결이 달라지면 같은 요청을 다르게 받아들이는 틈이 생겨요.

잣대와 목적이 벌어져 있는 한, 잣대를 겨냥한 우회는 계속 생겨요. 새 우회가 발견될 때마다 그 사례를 학습에 넣어 잣대를 다듬는 일이 반복되는 이유예요.

3알려진 유형과 막는 쪽의 대응

첫째는 상황을 바꾸는 결이에요. 연기, 가상 이야기, 연구나 교육 같은 틀을 씌워 "지금은 평소와 다른 자리"라고 문맥을 새로 짜는 방식이에요. 막는 쪽은 틀 하나만 보지 않고 대화 전체의 흐름과 실제 요청의 내용을 함께 보고 판단해요.

둘째는 쪼개는 결이에요. 한 번에 물으면 거절될 일을 여러 조각으로 나눠 물어요. 조각 하나하나는 평범해 보이기 때문에, 막는 쪽은 조각이 아니라 이어진 요청 전체를 이어서 살펴요.

셋째는 형식을 바꾸는 결이에요. 다른 언어, 낯선 표기, 표나 목록 같은 겉모습으로 감싸는 방식이에요. 막는 쪽은 여러 언어와 표기로 안전 학습의 범위를 넓혀요.

4인젝션과 헷갈리기 쉬워요

두 낱말은 자주 같이 쓰여서 하나로 뭉뚱그려지기 쉬운데, 분류하는 곳에 따라 탈옥을 프롬프트 인젝션의 한 갈래(직접 인젝션)로 묶기도 하고 따로 나누기도 해요. 이 글에서는 통로를 기준으로 나눠 봐요. 탈옥은 대화창 앞에 앉은 사람이 스스로 문을 거꾸로 미는 일이에요. 프롬프트 인젝션은 그 사람이 아무 잘못도 하지 않았는데, AI가 읽어 온 문서나 웹페이지 속 문장이 대신 지시를 밀어 넣는 일이에요.

책임의 자리도 달라요. 탈옥은 서비스가 어디까지 허용할지 정하는 문제에 가깝고, 인젝션은 AI에게 어떤 자료와 권한을 쥐여 줄지 설계하는 문제에 가까워요. 막는 방법의 무게도 달라져요. 앞쪽은 주로 안전 학습과 요청 검사로, 뒤쪽은 주로 권한 좁히기와 자료 다루는 방식으로 대응하지만, 겹쳐 쓰는 방법도 많아요.

5겹을 쌓아 막아요

모델 하나에만 기대지 않아요. 들어오는 요청을 따로 살피는 검사, 나가는 답을 다시 살피는 검사, 답을 만들 때 참고하는 정책 문구, 그리고 위험한 기능 자체를 서비스에서 빼는 결정이 함께 쓰여요. 회전문에 역회전을 막는 걸쇠를 달고, 도는 속도를 제한하고, 그래도 안 되면 그 통로를 아예 닫는 것과 같은 방식이에요. 한 겹이 새더라도 다음 겹에서 걸리도록 두는 거예요.

너무 조이면 반대쪽 문제가 생겨요. 안전 관련 질문이나 창작물까지 거절해 버리면 쓸모가 크게 줄어요. 조이는 정도를 정하는 일은 기술 선택이라기보다 서비스가 누구를 대상으로 무엇을 하려는지에 대한 결정이에요.