データセットDataset

資料一件と資料の束は違います

データは資料の一件一件を指す言葉ですが、データセットはその資料を同じ規則で集めた一つの束を指します。客一人の注文記録はデータで、この一年分の注文記録全体がデータセットです。

一つの束の中では資料の形がそろっている必要があります。写真ならサイズと形式を合わせ、表なら列名と順序を合わせます。ある資料には日付があり、ある資料にはないと、モデルはその列をうまく使えません。

そのためデータセットには資料そのものだけでなく説明が付きます。どこでどう集め、何が入っていて、どんな条件で使えるかを書き添えるのです。この説明がないと、他の人がその束をうまく使えません。

棚を分けてこそ実力を測れます

データセットは普通三つの取り分に分けます。教えるために使う分、教えている途中で様子を見る分、最後に一度だけ実力を測る分です。

分ける理由は単純です。教えるときに見せた資料で試験をすると、覚えただけかどうかしかわかりません。初めて見る資料でどれだけ当てられるかが本当の実力なので、試験用の取り分は学習中ずっと手を付けず封をしておきます。

この境界が漏れると大変です。試験用の資料がこっそり学習側に混ざると、点数だけ良く見えて実際にはひどいモデルができます。資料を分けるとき、同じ人が撮った写真が両側にまたがっていないかまで気を配る理由です。

入っていないものは学べません

モデルはデータセットの外の世界を知りません。昼に撮った写真ばかりの束で教えると夜の写真で迷い、標準語ばかりの束で教えると方言を聞き取れません。入っている範囲がそのままモデルの扱える範囲です。

そのためデータセットを作るときは「この束に何が欠けているか」を絶えず問います。あまり出てこない状況ほど意識して余分に集める必要があり、それでも足りなければ手持ちの資料を反転させたり明るさを変えたりして増やすこともします。

集める作業より整える作業のほうが大きいです

資料をかき集めるのは始まりにすぎません。同じ資料が何度も入っていないか、壊れていたり空いていたりする欄はないか、付いている正解は合っているかを人が一つずつ確かめます。この整える作業に全体の時間の大半が使われることも珍しくありません。

正解を付ける作業も簡単ではありません。写真一枚に何が写っているか人が書き込む必要がありますが、人によって基準が違い、同じ写真に違う正解が付くこともあります。そのため基準を文書で決めておき、複数人の判断をすり合わせる手順を設けます。

大きさより揃え方が大事です

資料を十倍に増やしたのに実力が変わらない、ということがよくあります。増えた資料がすでに得意な部分ばかりを埋めていたからです。逆に、間違えている状況の資料を少し足すだけで目に見えて良くなることもあります。

そのため最近はやみくもに増やすより、今何を間違えているかを見て、その空白を埋める資料を選んで集める方向に手をかけます。よく揃った小さな束が、雑に集めた大きな束に勝つことは珍しくありません。