エポックEpoch

一周の中に一歩が何度も入っている

データを一件見るたびに値を直すと揺れすぎ、データ全体を見終えてから一回だけ直すと遅すぎます。そこでデータをちょうどよい大きさのバッチに分け、バッチを一つ見るたびに値を一歩ずつ動かします。

データが一万件でバッチが百件ずつなら、一周に百歩入ります。十周すれば千歩になります。だから学習がどれだけ進んだかを話すときは、周回数と歩数を一緒に見ます。同じ周回数でもバッチを小さく取っていれば、歩数はずっと多く踏んだことになります。

一周が終わるたびに学習をいったん止めて成績を測るのも、この仕組みのおかげです。取り分けておいたデータを取り出してこれまで学んだことで解かせ、その点数を周回番号と一緒に書き留めます。この記録が積み重なると、学習がうまく進んでいるかどうかが一目で分かります。一周の途中で成績を測らないのは、値がまだ動いている最中でその瞬間の点数があまり意味を持たないからです。

何周するか

決まった答えはありません。データが少なくモデルが大きければ何十周もすることがあり、データがとても多ければ一周だけで終える場合もあります。とても大きな言語モデルでは、データがあまりに多くて一周を通しきれないこともよくあります。

周回数が足りないと、モデルはまだ学ぶべきことを学び終えていません。逆に多く回しすぎると、データにあるものをまるごと覚えてしまい、初めて見るデータの前でかえって成績が落ちます。そのため実際には周回数を余裕を持って決めておき、成績が悪くなり始めた地点で止める方法を一緒に使います。何周が最適かは、始める前に計算だけで求めることはできず、実際に回してみて成績の動きを見ながら判断するのが普通です。

一周ごとに順番を混ぜる

毎周データを同じ順番で入れると、モデルは順番に付いた癖まで身につけてしまいます。前の方にまとまっていた種類を先に学び、後ろの種類はいつも後回しになる、という偏りが起きることもあります。

そこで一周を始めるたびにデータを混ぜ、バッチを組み直します。同じデータでも毎周少し違う組み合わせで出会うことになるので、足元の勾配が毎回わずかに変わり、中途半端な場所に居座る危険も減ります。

データをためておいた順番に意味がある場合が多いことも理由です。種類ごとに整理したデータをそのまま入れると、しばらく同じ種類ばかり見続けることになり、その区間では値が一方に偏ります。混ぜること一つで、こうした偏りがなくなります。混ぜる作業そのものは値を直すわけではありませんが、値の直り方を安定させる裏方の役目を果たしています。

周回数をなぜわざわざ数えるのか

学習がどれだけ進んだかを時間で測ると、機械の性能によって値が変わります。周回数で測れば、データを何回見たかがそのまま表れるので、違う環境で回した学習どうしも比べられます。

周回数は成績グラフの横軸にも使われます。学習データについての成績と取り分けたデータについての成績を周ごとに打ってみると、二本の線がいつから開き始めるかが見えてきます。いつ止めるかを決める根拠は、ここから出てきます。同じ理由で、他の人が発表した学習の様子と自分の学習の様子を見比べるときも、周回数をそろえて見るのが基本です。