連合学習Federated Learning

一巡が回る順序

最初の段階は配ることです。中央にある今のモデルを、参加する機器にそのままコピーして送ります。この時点ではみんなが同じモデルを手にしています。

二番目は各自学ぶことです。機器ごとに自分の中にある資料で短く学習します。数回だけ回してモデルを少し変えます。三番目は送ることです。学習したモデル全体ではなく、最初に受け取ったものとの違いだけを中央へ送ります。

四番目は合わせることです。中央は複数の機器から上がってきた変化を平均して新しいモデルを作ります。このとき資料が多い機器の分をより大きく扱うこともあります。こうして作った新しいモデルをまた配りながら次の巡が始まります。数十から数百巡回すのが普通です。

何が行き来し、何が残るか

この方式の要は、行き来するものの種類が変わることにあります。資料を集める方式では、写真や文字、位置記録のようなものがサーバーへ上がります。連合学習ではその代わりに数字のかたまりが上がります。原本は機器の中に残ります。

おかげで危険の性格が変わります。サーバーが破られても個人の原本がそっくり漏れることはなく、記録を一か所にため込まないので保管期間や流出範囲を心配することも減ります。病院のように資料を外に出せない場所どうしが互いに助け合える道が開けるのも同じ理由です。

要約だけを送っても漏れることがあります

モデルの変わった部分は、結局その機器の資料を見て計算した値です。だからその数字を掘り下げれば原本の一部をたどれることがあります。特定の文が学習に使われたかを突き止めたり、条件がそろえば画像をおおよそ復元したりできることも知られています。

だから保護の仕組みを重ねて使います。一つ目は必要な分だけを送ることです。値の大きさを切り、細かい部分は捨てます。二つ目はノイズを混ぜることです。個人を特定できないくらいの小さな揺らぎをわざと加えて送ります。三つ目はまとめて合わせることです。中央が個々の機器の値を見られず、複数の機器の合計だけを見られるよう暗号技術で隠します。連合学習そのものは出発点であり、個人情報の扱いはこうした仕組みを重ねて初めて形になります。

集める方式より手間がかかる点

最も大きな難しさは機器ごとに資料が違うことです。一か所に集めればまんべんなく混ざりますが、それぞれの場所では、ある機器は偏った資料ばかり持っていることがあります。こういう状態で学んだ変化を平均すると、方向が互いに打ち消し合ってうまく進みません。

機器の事情もさまざまです。ある機器は計算が遅く、ある機器は通信が途切れます。だから実際のサービスでは、充電中で無線につながっている機器だけを選んで参加させ、遅れて届く結果は待たずに先へ進みます。一巡に参加する機器の数、それぞれ何回学習するか、どれくらいの頻度で合わせるかを決めることが、この方式の設計の要です。