ジェイルブレイクJailbreak

1拒否は鍵ではなく性向です

AIがある要求を拒否するとき、内側で錠がかちりと閉まるわけではありません。何を助け何を断るべきかをとても多くの例から学んで、似た状況で拒否のほうへ傾く性向が身についているだけです。性向は確率なので、文脈が変われば傾きも変わります。

だから同じ要求でも、どんな話の中に置かれるかによって結果が分かれます。前に付けた背景、話し方、対話の長さがすべて傾きを少しずつ押します。規則がなくなったのではなく、その瞬間の文脈で規則の重みが軽くなっただけです。

回転ドアと同じです。ドアが施錠されていたのではなく、片方へ回るほうが楽になっているだけで、押す力の向きが変われば扉も従って回ります。

2物差しを狙うと迂回が生まれます

床の矢印は本当の基準ではありません。本当の基準は出入りする人がぶつからず安全に通ることで、矢印はそれを素早く知らせるために決めておいた代わりの物差しです。代わりの物差しを使うと、その物差しだけをかわせばよい道が開きます。

AIの安全装置も同じです。本当の基準はこの答えが実際に害を及ぼすかどうかですが、モデルの拒否は、要求が危険に見える見た目（風合い）に大きく頼っていることが多いです。だから風合いが変わると、同じ要求を違うものとして受け取ってしまう隙が生まれます。

物差しと目的が離れている限り、物差しを狙った迂回は生まれ続けます。新しい迂回が見つかるたびに、その事例を学習に入れて物差しを調整する作業が繰り返される理由です。

3知られている型と防ぐ側の対応

一つ目は状況を変える筋道です。演技、架空の物語、研究や教育といった枠をかぶせて「今は普段と違う場だ」と文脈を新しく組み立てるやり方です。防ぐ側は枠一つだけを見ず、対話全体の流れと実際の要求の中身を合わせて判断します。

二つ目は分ける筋道です。一度に尋ねれば拒否されることを複数の断片に分けて尋ねます。断片一つひとつは平凡に見えるため、防ぐ側は断片ではなく、つながった要求全体をつなげて見ます。

三つ目は形式を変える筋道です。別の言語、見慣れない表記、表や箇条書きのような見た目で包む方法です。防ぐ側は多くの言語や表記で安全学習の範囲を広げます。

4インジェクションと混同しやすいです

二つの言葉はよく一緒に使われます。分類する場所によって、ジェイルブレイクをプロンプトインジェクションの一種（直接インジェクション）としてまとめることも、別に分けることもあります。この記事では通り道を基準に分けて見ます。ジェイルブレイクは対話欄の前に座った本人が自分でドアを逆に押すことです。プロンプトインジェクションは、その人が何も悪いことをしていないのに、AIが読み込んできた文書やウェブページの中の文章が代わりに指示を差し込むことです。

責任の所在も違います。ジェイルブレイクはサービスがどこまで許すかを決める問題に近く、インジェクションはAIにどんな資料と権限を持たせるかを設計する問題に近いです。防ぐ方法の重みも変わります。前者は主に安全学習と要求検査で、後者は主に権限を狭めることと資料の扱い方で対応しますが、重ねて使う方法も多くあります。

5層を重ねて防ぎます

モデル一つだけには頼りません。入ってくる要求を別に調べる検査、出ていく答えをもう一度調べる検査、答えを作るときに参照する方針文、そして危険な機能そのものをサービスから外す決定が一緒に使われます。回転ドアに逆回転を防ぐ留め具を付け、回る速さを制限し、それでも駄目ならその通路自体を閉めるのと同じやり方です。一枚が漏れても次の層で引っかかるようにしておくのです。

締めすぎると反対側の問題が生まれます。安全に関する質問や創作物まで拒否してしまえば、役に立たなさが大きく増えます。締める度合いを決める作業は技術の選択というより、サービスが誰を対象に何をしようとしているかについての決定です。