ポイント
- 推論は学習を終えたモデルが新しい入力を受け取って答えを出す瞬間です。学ぶことと使うことは別の時間に起こります。
- 推論している間、モデルは**何も学びません。**中の数値はそのままで、入ってきた入力だけを計算して送り出します。
- 学習は普通一度きりですが、推論は使うたびに毎回起こります。だから長く運用するほど推論にかかる分が大きくなります。
- 推論は**速いほど使い道が広がります。**写真一枚の判断に10秒かかればカメラアプリには入れられません。
- 文章を作るモデルは、同じ入力でも答えがいつも同じとは限りません。出てきた候補のうちどれを選ぶかの方式によって少しずつ変わります。
たとえで理解する
フリマアプリを何か月も眺めている人がいます。ある品物がいくらで出品されて実際いくらで売れたかを何百件も追っていると、相場が体にしみつきます。そこに新しい出品写真が一枚上がると、これまで見た取引をもう一度調べ直すことなく、その場で「これは大体このくらい」と値を付けます。値を付けるこの短い瞬間が推論です。
相場を身につけることと値を付けることはまったく別の作業です。身につけるのに何か月もかかりましたが、出品一件に値を付けるのは数秒で終わります。その代わり値を付ける作業は、新しい出品が上がるたびに毎回最初からやり直す必要があります。
そして値を付けている間、頭の中の基準は変わりません。この出品一件に値を付ける瞬間は、すでに身につけた基準を取り出して使うだけだからです。
くわしく
学習と推論は別の時間に起こります
モデルを使う流れは二つに分かれています。前半が学習です。資料をたくさん見せながらモデルの中の数値を少しずつ直していきます。後半が推論です。直し終えた数値はそのままに、新しく入ってきた入力一つをその数値に通して結果を取り出します。
二つは普通、別の日、別のコンピュータで起こります。学習はモデルを作る側が先に終えておき(大きなモデルは何週間もかかることもあります)、推論は使う人がボタンを押すたびにその都度起こります。私たちがAIサービスを使いながら出会うほぼすべての瞬間は、実は推論のほうです。
推論中は何も学びません
チャットボットとしばらく話していると、この会話でAIが自分のことを学んでいくような感覚になります。ですが推論が動いている間、モデルの中の数値は**一か所も変わりません。**会話がつながっているように見えるのは、これまでのやり取りを毎回もう一度入力に貼り付け直しているからです。
だから記憶機能のない会話画面を新しく開くと、前に伝えた内容は消えます。新しい会話でも覚えているサービスは、以前のやり取りを別に保存しておいて入力にもう一度貼り付けているだけで、このときもモデルの中の数値はそのままです。学んだことがないので忘れることもないわけです。利用者と交わした話を実際にモデルへ反映させるには、その内容を別途集めて改めて学習をやり直す作業が必要です。
使うたびに費用がかかり直します
学習は一度大きく払って終わりますが、推論はそうではありません。利用者一人が質問を一回投げるたびに計算が最初から回ります。利用者が百万人なら百万回、その人たちが一日に十回ずつ使えば一千万回です。
一回の計算は学習に比べればとても軽いです。ですが回数がとても多いので、利用者の多いサービスを長く動かすほど**全体費用の中で推論が占める割合が学習を上回ることが多くなります。**AIサービスに利用制限や料金プランが付く理由でもあります。
どれだけ速く答えるかが使い道を決めます
推論は正確なだけでは足りません。カメラアプリが画面の中の物を見分けるには一枚あたり数十分の一秒以内に判断が出る必要があり、自動車の補助装置ならそれよりさらに速くなければなりません。答えを待つ時間が長くなると、どれだけよく当たってもその場では使えません。
だから作る側では、正確さを少し譲ってでも推論を軽くする手入れをします。数字の桁数を減らしたり、あまり使われない部分を削ったり、大きなモデルの判断を真似る小さなモデルを別に作っておいたりする方法です。
どこで計算するかも選ぶ必要があります
推論は遠くのサーバーで起こることもあれば、手元の機器の中で起こることもあります。サーバーで行えば大きなモデルを使える代わりにインターネットが必要で、資料が外に出ていきます。機器の中で行えばインターネットなしで即座に答え、資料も外に出ませんが、入れられるモデルの大きさはずっと小さくなります。
最近の携帯電話の写真整理や字幕機能が飛行機の中でも動くのは、推論が機器の中で起こっているからです。反対に、長くて複雑な文章を書いてくれる大きなモデルはたいていサーバーで動きます。ただ、短い要約や書き直しのような小さな文章生成モデルは、機器の中で動く例も増えています。
もう少し正確に
推論は学習を終えて固定されたパラメータに入力を通して出力を得る計算です。写真の分類のように一度通すだけで終わることもあれば、文章を作るモデルは次の語を一つ出すたびにこの通過を繰り返します。この一方向の計算を順伝播と呼びます。学習には結果がどれだけ間違っていたかを逆向きにたどって数値を直す段階が付きますが、推論にはその段階がないため、ずっと軽く速くなります。だから学習には高価な装置が何台も必要でも、推論は小さな装置一台や携帯電話の中だけで動くことも多いです。複数の人のリクエストを一度にまとめて計算することで、処理量を増やすこともあります。
たとえとずれる点もあります。人は出品を見続けるうちに相場感が少しずつ更新されますが、モデルは推論をいくら繰り返しても中の数値が変わりません。また「推論」という言葉は、じっくり考える思考を思い浮かべさせますが、ここでいう推論は決まった計算を通す作業に近いです。最近の一部のモデルが答える前に考えを長く伸ばすことを、人の思考と同じと見るかどうかは見方が分かれます。計算の仕組みで見れば、途中の文章をより長く作りながら同じ計算を何度も繰り返しているのです。
やってみる
よくある誤解
AIが会話しながら自分のことを学んでいくと思われがちですが、実際には推論中モデルの中の数値はそのままです。話がつながって見えるのは、これまでの会話を毎回もう一度入力に入れているからです。
学習だけが高くて使うのはほぼ無料だと考えられがちですが、実際には推論は利用者の数だけ繰り返され、長く運用するほど推論側の割合のほうが大きくなります。
推論は人のようにじっくり考える作業だと思われがちですが、計算の仕組みで見れば、固定された数値に入力を通す計算です。これを思考と呼べるかどうかは見方が分かれます。
ひとこと要約
推論は学習を終えたモデルが新しい入力一つを受け取り、その場で答えを出す瞬間で、私たちがAIを使うほぼすべての時間がここに当たります。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新 2026-10-17