合成データSynthetic Data

なぜ作って使うのか

いちばんよくある理由は本物が足りないからです。稀にしか起きないことほど集めるのが難しいです。機械が故障する瞬間や、とても危険な状況はそう頻繁には経験できませんが、まさにそういう状況をうまく扱うモデルが必要です。

二つ目の理由は資料の中に人の情報が入っているからです。本物の記録をそのまま使えない分野では、統計的な性質だけを似せた資料を新しく作って使うこともあります。個人をたどれないようにすることがこのときの核心です。

三つ目の理由は正解を付ける手間です。人が手で正解を付ける作業には時間と費用が大きくかかります。作り出した資料は何を作ったかすでにわかっているので、正解が自然と付いてきます。

どうやって作るのか

いちばん単純な方法は規則で組み立てることです。ある値がある範囲の中でどう出るかを規則として書いておき、そのまま取り出します。何を作ったかがはっきりわかるので扱いやすいですが、規則に書かなかった性質は資料に現れません。

もう一つの方法は本物の資料を真似て作ることです。実際の資料を学習したモデルが、それと似たものを新しく作り出します。写真や文章はこの方法をよく使います。本物に近い資料が得られる代わりに、手本になった資料の性質がそのまま移ってしまうことを知っておく必要があります。

持っている資料を少しずつねじって増やすこととは区別します。写真を反転させたり明るさを変えたりする作業は元の資料がそのまま残る手直しで、合成データはなかったものを新しく作り出すほうです。

ずれる部分を知ることが要

作り出した資料は作った人が考えた世界だけを含みます。規則に入れなかった例外、本物の資料でまれに出てくる奇妙な値、人が実際にしでかす見当違いの入力はたいてい抜けています。こうした資料だけで学んだモデルは、整った状況ではうまくいっても現場に出るとよくつまずきます。

均一さも落とし穴です。人工芝はどこを踏んでも感触が同じですが、本物の芝は場所によって違います。作り出した資料は互いに似すぎていて、個数だけ増えて学ぶことは増えないことがよくあります。だから個数よりもどれだけ互いに違うかを先に確認します。

だから採点は必ず本物の資料でします。作った資料で学び、作った資料で採点すると良くできているように見えますが、その点数は作った人の想像の中でしか通用しません。

作ったものをまた真似ると

いちばん気をつけるべきは巻き戻しです。作り出した資料で学習したモデルがまた資料を作り、その資料でまた学習することが繰り返されると、本物から少しずつ遠ざかります。人工芝の写真を見て次の人工芝を作り、それをまた真似てさらに作るようなものです。

遠ざかる過程にも順序があります。まず稀なものが消えます。よくある形だけが残り、隅にあったものが消されます。その次には残ったもの同士もだんだん似てきます。だから実際に使うときは本物の資料を一定の割合でずっと混ぜ、作り出した資料が全体のどれくらいを占めるかを記録しておきます。