データサイズのリアル

概要

この記事では現実世界のシステムが扱うデータ量がどれくらいなのかを見ていきます。次のトピックを扱います。

• Web サイトのデータサイズ
• ファイルのサイズ
• ハードウェアのキャパシティ
• 世界的なサービスのデータボリューム

導入

現在アプリケーションは世界中の人々に使われています。世界中で使われているアプリケーションは次のような特徴があります。

• ユーザ数が数百万
• データ量がペタバイトからエクサバイト(TB-EB)
• パフォーマンスは ms から μs
• 毎秒数百万リクエスト

これらに耐えるシステムを設計するには、データ量への理解は欠かせません。さまざまの物のデータ量に触れることで、感覚を身につけていきましょう。

データサイズの単位

データサイズは単位は byte です。現在では 1byte は 8bit と定義されています。

データサイズは扱う桁数が大きいので接頭辞をつけて桁数を省略します。国際単位系(SI)では接頭辞は次のようになっています。

一方、 データサイズ の接頭辞は次のようになります。

データは 2 進数として扱われているため 接頭辞は 1000 ごとではなく 2 の 8 乗である 1024 ごとになっています。国際単位系とは区別して KB ではなく KiB とする記法もありますが本記事では KB に統一します。

Web サイトのデータサイズ

Page Weightによると、Web サイトの構成要素のデータサイズは次のようになります。集計の対象期間は 2017/1 ~ 2022/1 で、対象はモバイルサイトです。

1 ページあたりの合計サイズであってファイル 1 つあたりのサイズでないことの注意してください。JavaScript のサイズが想像より大きいと感じる人もいるかもしれません。JavaScript のサイズが大きくなる原因としては、フレームワークやライブラリのような外部パッケージのコードも含まれるためです。

ファイルのサイズ

ファイルの内容によってサイズは異なるので参考程度にしてください。サイズとフォーマットは参照元から適宜変換しています。またファイルフォーマットの良し悪しを比較する物ではありません。ファイルの特徴によって適切なファイルフォーマットが異なるからです。

ハードウェアのキャパシティ

ハードウェアのメモリとストレージのデータサイズです。規格がないものに関しては目安を示しています。

世界的なサービスのデータボリューム

Data Never Sleepsによると実際のアプリケーションで作成されているデータは次のようになります。

次はバイト単位でみてみます。Twitter の 1 tweet を 100 文字かつ一文字は 1 バイトをします。そうすると 1tweet は 0.1KB になります。Instagram の 1photo は 0.1MB とします。Slack の 1 message は 50 文字かつ一文字を 1 バイトとします。そうすると 1message は 0.05KB となります。これらのことを踏まえると 1 年間で増えるデータ量は次のようになります。

1 年間サービスを運用するとテラバイト以上のデータが蓄積されていきます。これほどのデータ量を 1 つのサーバに保存するのは難しいので、データベースのパーティションを行う必要があります。

余談

データ量ではなく、どれくらいのユーザがサービスを使っているかを見てみます。statistaによると、世界の有名サービスの月間ユーザ数は次のようになっています。

2021 年の世界人口は 78.7 億人なので、Facebook は世界人口の 40%近くが使っていることになります。

また、国内の有名サービスは次のようになっています。

2021 の日本の人口は 1.26 億人なので、日本人の 60%が LINE を使っていることになります。