ソフトマックスSoftmax

候補一つだけ見ても決まりません

モデルは次に来る断片を選ぶ前に、候補ごとに点数を付けておきます。この点数は目盛りのない生の数字なので、一つだけ切り取ってみても高いのか低いのかもわかりません。

ソフトマックスは候補全体を一つの束として計算します。全部の点数を集めて合計を作ったうえで、各候補がその合計の中で占める分を取り分として与えます。だからある候補の取り分は、自分の点数だけでなく、ほかの候補がどんな点数を受け取ったかによっても変わります。

競争相手が弱ければ同じ点数でも大きな取り分をもらえ、みな似たように高ければ取り分は細かく分かれます。候補の数が増えるほど一つ一つの取り分が小さくなるのも同じ理由です。

順序はそのまま、目盛りだけが変わります

割り算を経ても候補の順序は少しも変わりません。点数板で先んじていた候補は取り分でも先んじます。順位を決めようとする計算ではなく、人が読んで見比べられる目盛りに移そうとする計算だからです。

パーセントに変えておくと便利なことが多くあります。何パーセント以上の候補だけを残すという形で切れますし、確率に応じて無作為に一つを選んで答えに多様性を持たせることもできます。学習のとき正解とどれだけずれているかを測るのにも、確率の形が扱いやすいのです。

差を広げてから配分します

名前に付いた「ソフト」は、最高点一つだけを選んで独り占めさせないという意味です。一位に100%を与えて残りを0%にする代わりに、二位や三位にもいくらか残しておきます。おかげで際どく分かれた状況が結果にそのまま表れます。

かといって点数の比率をそのまま移すわけでもありません。点数の差は取り分に移るときにより大きく広がります。少し先んじた候補がかなり大きな取り分を持っていき、遅れた候補の取り分は急速に0に近づきます。点数の数コマの差で答えが事実上一つに固まってしまうことが起きる理由です。

温度の設定がこの広がり方を調節します。温度を下げると間隔がさらに広がって一位がほぼ全部持っていき、上げると間隔が狭まって下位の候補にも取り分が回ります。

最後の段階だけで使われるわけではありません

言語モデルでソフトマックスがいちばん目立つ場所は、次の断片を選ぶ直前です。しかしモデルの内側でも何度も使われます。

文の中のどの単語にどれだけ集中するかを決めるアテンションが代表例です。単語ごとに関連点数を付けたあと、その点数を100%の中で分けて集中の比率とします。前で見たヘッドごとの重み付けも、どのヘッドにどれだけ重みを与えるかをこの方式で決めます。

写真を複数の種類に分けるモデルも、最後にこの計算を付けます。結果画面に出るパーセントが全部足して100%になるのは、このためです。