ソフトマックスSoftmax

1候補一つだけ見ても決まりません

モデルは次に来る断片を選ぶ前に、候補ごとに点数を付けておきます。この点数は目盛りのない生の数字なので、一つだけ切り取ってみても高いのか低いのかもわかりません。

ソフトマックスは候補全体を一つの束として計算します。点数をそれぞれ必ず正の値になるように変えて大きくしたうえで、その変えた値の合計の中で各候補が占める分を取り分として与えます。だからある候補の取り分は、自分の点数だけでなく、ほかの候補がどんな点数を受け取ったかによっても変わります。

競争相手が弱ければ同じ点数でも大きな取り分をもらえ、みな似たように高ければ取り分は細かく分かれます。候補の数が増えるほど一つ一つの取り分が小さくなるのも同じ理由です。

2順序はそのまま、目盛りだけが変わります

割り算を経ても候補の順序は少しも変わりません。点数板で先んじていた候補は取り分でも先んじます。順位を決めようとする計算ではなく、人が読んで見比べられる目盛りに移そうとする計算だからです。

パーセントに変えておくと便利なことが多くあります。何パーセント以上の候補だけを残すという形で切れますし、確率に応じて無作為に一つを選んで答えに多様性を持たせることもできます。学習のとき正解とどれだけずれているかを測るのにも、確率の形が扱いやすいのです。

3間隔を見て配分します

名前に付いた「ソフト」は、最高点一つだけを選んで独り占めさせないという意味です。一位に100%を与えて残りを0%にする代わりに、二位や三位にもいくらか残しておきます。おかげで際どく分かれた状況が結果にそのまま表れます。

かといって点数の比率をそのまま移すわけでもありません。ソフトマックスは点数の比率ではなく点数どうしの間隔を見ます。間隔が1なら取り分は約2.7倍、2なら約7倍、3なら約20倍に開きます。だから数コマ先んじた候補がかなり大きな取り分を持っていき、遅れた候補の取り分は急速に0に近づきます。すべての点数に同じ数を足しても結果は変わりません。点数の数コマの差で答えが事実上一つに固まってしまうことが起きる理由です。

温度の設定がこの広がり方を調節します。温度を下げると間隔がさらに広がって一位がほぼ全部持っていき、上げると間隔が狭まって下位の候補にも取り分が回ります。

4最後の段階だけで使われるわけではありません

言語モデルでソフトマックスがいちばん目立つ場所は、次の断片を選ぶ直前です。しかしモデルの内側でも何度も使われます。

文の中のどの単語にどれだけ集中するかを決めるアテンションが代表例です。単語ごとに関連点数を付けたあと、その点数を100%の中で分けて集中の比率とします。複数の専門家の枝のうち、どこに仕事を任せるかを決める仕組みも、よくこの方式で重みを分けます。

写真を複数の種類に分けるモデルも、最後にこの計算を付けます。結果画面に出るパーセントが全部足して100%になるのは、このためです。