ポイント
- ビッグデータは、記録がコンピュータ一台と普段の道具では扱いきれないほど積み上がり、扱い方そのものが変わった状態です。
- 基準は何ギガバイトといった数字ではなく、一人の手と一台のコンピュータで済むかどうかです。
- 量だけが問題ではありません。積み上がる速さとてんでばらばらな形も一緒に関わってきます。
- 一件は取るに足らなくても、数千万件集まると街が動く様子が浮かび上がります。
- たくさん集まったからといって良いデータとは限りません。抜け落ちた人たちと個人情報の問題が一緒についてきます。
たとえで理解する
交通系ICカードをタッチすると、いつどの駅で乗ったかが一行残ります。自分の記録だけを見れば、通勤時間が書かれている程度です。ところが全国で一日に記録される件数は数千万件にのぼります。ここまで積み上がると、表を開いて目で追う方法では手も足も出ません。表計算ソフトでは開けません。こうした記録が何年分も積み上がり、ほかの記録と合わさると、コンピュータ一台では手に余ります。その代わり、これまで見えなかったものが見えてきます。どの乗換駅が何時に混むのか、終電を逃した人たちがどこへ散っていくのかが浮かび上がります。扱い方が変わり、見えるものも変わる地点、そこからがビッグデータです。
くわしく
大きいの基準は数字ではありません
ビッグデータには「何ギガバイトから」という合意された線がありません。基準は相対的です。今使っている道具では開けず、今使っているやり方では計算が終わらないとき、そのデータはその場でビッグデータになります。
一駅の一日分の乗降記録なら、表計算ソフトで十分開けます。一路線の一か月分は少し重たく、全国の一年分はまったく開けません。同じ種類の記録なのに、量が増えるにつれてある瞬間、道具を替えなければならない線を越えます。
だからビッグデータは、データそのものの性質というよりデータと道具の間の関係を指す言葉です。十年前は手に負えなかった量が、今ではノートパソコンで処理されることもあります。線そのものが動き続けています。
分けて入れ、分けて計算します
コンピュータ一台に入りきらないとき、最もよく使われる方法は、何台にも分けて入れることです。全国の記録を地域ごとに分けて何台にも配り、計算もそれぞれが自分の担当分だけをこなし、結果だけをあとで集めて合わせます。
こうすると、台数を増やした分だけ扱える量も増えます。その代わり新しい心配も出てきます。一台が壊れるとその担当分がまるごと消えるので、同じ断片を複数台に重ねて持たせ、機械どうしのやり取りの時間が計算時間より長くならないよう仕事の分け方も別に設計しなければなりません。
一台で済む仕事を無理に何台にも分けると、かえって遅くなります。分けて得られる利益より、分けて合わせる手間の方が大きくなるからです。だから現場では、今のこのデータが本当に分けるほどの量なのかをまず確かめます。
速さと形もあわせて関わります
交通系ICカードの記録は今この瞬間にも刻まれています。昨日までの記録を整理している間に、今日の分がまたそれだけ積み上がります。全部集まってから計算する方式では永遠に追いつかないので、流れ込んでくるそばから処理し続ける方式が別に必要になります。
形もそろっていません。カードの記録は列がはっきりした表ですが、一緒に使われるバスの位置信号や問い合わせの文章は形式がばらばらです。時代によって記録の仕方が変わり、古い記録と最近の記録で列がそろわないこともよくあります。
だからビッグデータを語るときは、量と速さと多様さをあわせて見ます。三つのうちどれかひとつが大きくなっただけでも、それまでのやり方が崩れるからです。
一件は取るに足らなくても集まれば風合いが見えます
記録一件にはたいした情報がありません。火曜の朝にどこかの駅で乗ったという事実だけです。ところが数千万件が重なると、個々の記録にはなかったものが現れます。どの区間が何時に飽和するのか、雨の日に人がどんな経路で乗り換えるのかといったことです。
AIが今のように上達したのも、これのおかげが大きいです。規則を人が書いてやる代わりに例をたくさん見せる方式は、例が十分にあるときだけ通用します。インターネットに文章や写真が積み上がり、機械がそれを読み込めるようになって、ようやく例が十分になりました。
同時に計算する力も必要になります。データがどれだけ多くても、それを全部見渡す装置がなければ使えないからです。データが積み上がったことと計算装置が速くなったことが重なった時期に、今のAIが生まれました。
多いことと偏りのないことは別です
全国の交通系ICカードの記録には、カードを使わない人が抜け落ちています。歩いたり自転車で移動したりする人、自家用車に乗る人の移動は一行も残りません。記録がどれだけ多くても、この人たちはずっと見えないままです。
量が増えても、抜けている部分が自然に埋まるわけではありません。 一方に偏ったまま数千万件が積み上がると、かえってその偏りが事実のように見えてしまい、なお危険です。数字が大きいと信じてしまいがちだからです。
個人情報の問題もついてきます。ある人の移動記録が長く積み重なると、名前が消してあっても住む場所と働く場所が浮かび上がります。だから複数人をまとめてぼかした形でだけ公開したり、細かく揺らして個人を特定できなくする処理を通したりします。
もう少し正確に
ビッグデータを説明するとき、よく三つの軸が挙げられます。量が大きいという意味のボリューム、速く積み上がるという意味のベロシティ、形式がばらばらという意味のバラエティです。ここに値を信じてよいかを表すベラシティと、実際の使いみちを表すバリューを加えて五つの軸で説明することもあります。処理の面では、データを何台にも分けて保存し、計算を断片に分けて各台で回してから合わせる分散処理が基本の骨組みです。
たとえがずれる部分もあります。交通系ICカードの記録は列が決まった整った表なので、実際のビッグデータよりずっと整理されています。現場で扱うのは形式が入り混じり、誤りの混ざった記録である場合が多いです。またたとえでは積み上がった記録をあとで見る場面だけを描きましたが、実際にはデータが積み上がっている最中に結果を出さなければならない状況も多いです。ビッグデータという言葉は以前ほど流行語のようには使われなくなり、データパイプラインやデータ基盤のような、働き方そのものを指す言葉に比重が移る流れもあります。
やってみる
よくある誤解
容量が何テラバイトかを超えればビッグデータだと思われがちですが、実際は決まった線はありません。今使っている道具で手に負えなくなった瞬間がその線です。
データが多ければ結果も正確だと考えられがちですが、実際は偏った記録が増えれば偏りまで一緒に大きくなります。
ビッグデータとAIは同じものだと思われがちですが、実際はビッグデータが材料を集めて扱う仕事で、今のAIの主流である機械学習はその材料から規則を学ぶ仕事なので、別の段階です。
ひとこと要約
ビッグデータは記録がコンピュータ一台と普段の道具では扱いきれないほど積み上がり、扱い方そのものを替えなければならない状態で、その代わり一件ずつ見ていたときにはなかった風合いが見えてきます。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新 2026-10-17