インストラクションチューニングInstruction Tuning
指示を受けたらそれに合わせて答える形を身につける段階
- インストラクションチューニングは言葉はすでに話せるモデルに、指示を受けたらそれに合わせて答える形を身につけさせる段階です。
- 学習に使う材料は指示とそれに合う答えを組にした資料です。人が書いたり整えたりしたものです。
- この段階を経ていないモデルは質問を受けても答えの代わりに似たような文をつなげます。
- 新しい知識を入れる場所ではありません。知っていることをどんな形で取り出すかを学ぶ場所です。
- この段階の次に人が付けた好みで答えの結を仕上げる段階が続きます。
目次
1たとえで理解する
舞台に上げる前日、俳優たちが集まってリハーサルをします。この場で演技を初めて教えるわけではありません。せりふも感情ももうみんなできます。合わせるのは進行です。舞台監督が手を挙げれば登場し、照明が変われば場所を移し、合図がなければ待ちます。
AIも似たような場を経ます。膨大な文章を読んで言葉をつなげる能力はすでに備えています。ところが人が何かを頼んだとき、その頼みを合図として受け取り、それに合う答えを出すのは別の話です。だから指示とそれに合う答えを組にした資料で進行を合わせる段階を別に経ます。これがインストラクションチューニングです。
リハーサルを終えた俳優の演技力が伸びたわけではありません。同じ実力で合図に合わせて動くだけです。この段階を経たモデルも知っていることが増えるわけではありません。知っていることを取り出すタイミングと形が変わります。
2くわしく
リハーサル前のモデルはどんな状態か
膨大な文章で学習を終えたモデルはつなぎ書きの達人です。どんな文を投げても、それらしい次の文をつなげてくれます。問題は人が求めているのがつなぎ書きではないときです。
こういうモデルに「みそ汁の作り方を教えて」と入れると、作り方ではなく「肉じゃがの作り方も教えて」「あと、副菜は何がいいかな」のように似たような文が次々とつながって出てくることもあります。頼みを頼みとして受け取れず、その文の後に来そうな文をつなげただけです。
舞台の外でせりふをうまく言える俳優が、キューサインを知らない状態と同じです。実力がないのではなく、進行のルールを知らないのです。
リハーサル台本は指示と答えの組
学習に使う資料は組になっています。片方には人が頼みそうな指示が、もう片方にはその指示に合う良い答えが置かれます。モデルはこの組をたくさん見ながら、指示の後にはこういう形の答えが来るという流れを身につけます。
指示の種類はとても広いです。要約して、表にまとめて、この文を別の言い方に変えて、なぜそうなのか説明して、条件に合わないので聞き返してといったものです。答えるのが難しい質問にはわからないと答える組も一緒に入ります。
組の個数より多様性が大事です。似たような指示ばかりたくさん入れると、その形式だけに長けたモデルになります。舞台の一場面だけを二十回合わせて他の場面には手をつけないリハーサルと同じです。
新しい知識を入れる場所ではありません
この段階を知識の注入と誤解しやすいのですが、実際に増えるのは形式と態度です。会社の規定や最新のお知らせのようにモデルが知らない内容を扱いたいなら、資料を探してきて手元に置く方式のほうが合っています。
もちろん特定分野の指示資料をたくさん入れれば、その分野の言い回しや形式には慣れます。ただし事実を覚える効果は大きくなく、入れた資料に間違った内容があれば、その間違った結まで一緒に染み込みます。
リハーサルで俳優の演技力が大きく伸びないのと同じです。動線と合図は確実に身につきますが、声そのものが変わるわけではありません。
プロンプトで頼むこととは層が違います
指示をうまく書くとモデルの答えがよくなります。それはその都度舞台の上で手ぶりで教えてあげることに似ています。毎回また教えなければならず、新しい会話が始まると消えます。
インストラクションチューニングはその手ぶりなしでも動くように身につけさせるほうです。モデルの中の値が少しずつ変わりながら、短い指示だけでもちょうどよい長さと形式で答えるようになります。例をつけなくても指示だけで済むのはこの段階のおかげです。
二つは互いを代わりにしません。よく仕上げられたモデルにも、明確な指示は依然として大きな違いを生みます。
次の段階へつながります
この段階を終えると指示にはよく従いますが、答えの結はまだ粗いです。二つの答えがどちらも指示を守っていて片方がずっと読みやすい場合、どちらが優れているか見分ける基準はここでは学んでいないからです。
だから後ろにもう一段階が付きます。人がいくつもの答えを見比べてより良いほうを選び、その好みを反映して答えの結を仕上げる過程です。RLHF（Reinforcement Learning from Human Feedback、人のフィードバックに基づく強化学習）と呼ばれます。
リハーサルで進行を合わせたあと、観客の反応を見ながら演技の強さと速さを整える順番だと考えればいいです。前の段階が形式を、後ろの段階が結を受け持ちます。
3もう少し正確に
インストラクションチューニングは指示と応答の組で行う教師あり学習式の追加学習です。事前学習で得た値を大きく揺らさない範囲で少しずつ調整します。資料の量は事前学習に比べればごくわずかで、良い組数万件だけでも結果ががらりと変わることがよくあります。最近は人が作った組と大きなモデルが作った組を混ぜて使うこともあります。
たとえがずれる点もあります。俳優はリハーサルで規則を理解して覚えますが、モデルは理解するというより、指示の後にこういう答えが来る流れが自然だと値が調整されるだけです。だから台本になかった指示でも似ていればよく従う一方、台本と結が大きく違う指示には急に崩れることもあります。またリハーサルは一度で終わりますが、この段階はモデルを新しく出すたびに資料を手直ししながら繰り返します。扱いを誤ると失うものもあります。狭い種類の組だけを長く学習させると、事前学習で得た幅広い能力がぼやけることもあります。資料の量より種類をまんべんなく満たせという言葉がこの段階でよく出てくる理由です。
4やってみる
5よくある誤解
インストラクションチューニングで新しい知識を入れると思われがちですが、実際には知っていることをどんな形で取り出すか身につける段階に近いです。
プロンプトをうまく書くことと同じことだと見なされがちですが、実際にはプロンプトがその都度の指示だとすれば、この段階はモデル自体に染み込む調整です。
この段階を経ればなんでも言う通りにすると信じられがちですが、実際には聞き返したり断ったりする状況まで資料に含めて一緒に身につけます。
7ひとこと要約
つまりインストラクションチューニングは演技をすでにできる俳優たちがキューサインに合わせて動くよう進行を合わせるリハーサルのように、モデルが指示を合図として受け取りそれに合う形で答えるようにする段階です。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02