12.7 A/B テストと改善施策の検証

テストの設計と GA4 での効果測定を学びます。
応用書籍換算約 8 ページ

この章で学ぶこと

A/B テストの基本の考え方
A/B テストのツールと GA4 を連携する方法
必要なサンプルサイズと、テストの期間の考え方
テストの結果を正しく判断する方法

A/B テストの基本

A/B テスト は、ページの 元のパターン（A） と、変更したパターン（B） を、ユーザーをランダムに分けて同時に表示し、どちらがより良い成果を出すかを比べる方法です。

サイトに訪れたユーザー
  ├ 50% → パターン A（元のページ）：問い合わせ率 2.0%
  └ 50% → パターン B（ボタンの文言を変更）：問い合わせ率 2.6%
→ B のほうが良い成果を出した（統計的に意味のある差かを確認する）

前後比較との違い

施策の効果は、「変更の前」と「変更の後」の数値を比べて測ることもできます（この部の第 1 章）。しかし、前後比較には弱点があります。

比べる点	前後比較	A/B テスト
比べ方	期間を分けて比べる	同じ期間に、ユーザーを分けて比べる
季節や曜日の影響	受ける	両方のパターンが同じように受けるので、打ち消される
ほかの施策の影響（広告、メールなど）	受ける	両方のパターンが同じように受ける
因果関係の確かさ	低い	高い
必要な準備	少ない	テストのツール、十分なアクセス数

A/B テストの対象の例

対象	テストの例
CTA のボタン	文言（「資料請求」と「無料で資料をもらう」）、色、位置
見出し・キャッチコピー	ファーストビューのメッセージ
フォーム	項目の数、確認画面の有無
ページの構成	導入事例を上に置くか、下に置くか
価格の表示	月額と年額のどちらを先に表示するか

ポイント A/B テストでは、1 回のテストで変える要素を 1 つに絞る のが基本です。複数の要素を同時に変えると、どの変更が効果を生んだのかがわからなくなります（複数の要素の組み合わせを試す「多変量テスト」もありますが、より多くのアクセス数が必要です）。

テストツールと GA4 の連携

GA4 には、A/B テストを実施する機能はありません。A/B テストは、専用のテストツール を使って実施し、その結果を GA4 で分析 するのが一般的です。

テストツールの役割

役割	内容
ユーザーの振り分け	ユーザーをランダムに A と B に分け、同じユーザーには同じパターンを表示し続ける
パターンの表示	ページの一部を書き換えて、B のパターンを表示する（ツールの画面で編集できるものが多い）
結果の集計	パターンごとの成果を集計し、統計的な判定を行う

GA4 と連携する方法

テストツールから、どのユーザーが、どのパターンを見たか の情報を GA4 に送ると、GA4 のデータで、パターンごとの行動を詳しく分析できます。

テスト ツールが、ユーザーにパターンを表示したときに、GA4 にイベントを送る（例）
イベント名：experience_impression
パラメータ：
    exp_variant_string = "TEST01-B"（テストの ID とパターン）

方法	内容
イベントで送る	パターンの表示のときに、テストの ID とパターンを、イベントのパラメータで送る
ユーザープロパティで送る	ユーザープロパティに、参加しているテストとパターンを設定する
GA4 での分析	パラメータをカスタムディメンションに登録し、探索の比較やセグメントで、パターンごとのキーイベント率などを比べる

注意 GA4 へのデータの送り方は、テストツールによって違います。GA4 と連携する機能を持つツールも多いので、ツールの説明書で確認しましょう。また、テストツールの集計と、GA4 の集計は、計測の方法の違いで一致しないことがあります。判定にどちらの数値を使うかを、テストの前に決めておきます。

A/B テストの注意点

注意点	内容
ちらつき（フリッカー）	元のページが一瞬表示されたあとに、B のパターンに切り替わると、ユーザー体験が悪くなり、結果にも影響する
ページの表示速度	テストツールのタグで、ページの表示が遅くなることがある
SEO	テストのパターンを検索エンジンに不適切に見せないよう、テストツールや検索エンジンのガイドラインに従う
プライバシー	テストツールも外部送信に当たるため、プライバシーポリシーや外部送信の公表に記載する（第 11 部）

サンプルサイズと期間

A/B テストで、最もよくある失敗が、データが少ないうちに結論を出してしまう ことです。

偶然の差と、意味のある差

例）
パターン A：100 人中 2 人が問い合わせ（2.0%）
パターン B：100 人中 4 人が問い合わせ（4.0%）
→ B は A の 2 倍に見えるが、たった 2 人の差。偶然の可能性が高い

ユーザーの行動には、偶然のばらつきがあります。データが少ないと、本当は差がないのに、偶然の差が大きく見えてしまいます。

必要なサンプルサイズの考え方

必要なサンプルサイズ（各パターンのユーザー数）は、次の要素で決まります。

要素	内容	必要なサンプルサイズへの影響
元の成果の率	A のパターンの問い合わせ率など	率が低いほど、多くのサンプルが必要
検出したい差	どれくらいの改善を見つけたいか（例：2.0% → 2.4%）	小さな差を見つけたいほど、多くのサンプルが必要
有意水準	偶然の差を、意味のある差と誤って判断する確率の上限（一般的に 5%）	厳しくするほど、多くのサンプルが必要
検出力	本当に差があるときに、それを見つけられる確率（一般的に 80%）	高くするほど、多くのサンプルが必要

目安の例）
元の問い合わせ率 2.0%、検出したい差 2.0% → 2.5%（相対で 25% の改善）
有意水準 5%、検出力 80% の場合
→ 各パターンに、おおよそ 1 万数千人程度のユーザーが必要

（サンプルサイズは、テストツールや、オンラインのサンプルサイズの計算ツールで計算できます。上の数値はおおよその目安です）

ポイント アクセス数が少ないサイトでは、問い合わせ率のような 低い率の小さな差 を、A/B テストで検出するのは難しいことがあります。その場合は、大きな差が期待できる変更 をテストする、率の高い指標（CTA のクリック率など）で比べる、などの工夫をしましょう。

テストの期間

ポイント	内容
必要なサンプルサイズに達するまで	事前に計算したサンプルサイズに達するまで続ける
最低でも 1〜2 週間	曜日によるユーザーの違いを含めるため、週単位で区切る
途中で何度も結果を見て止めない	結果を見るたびに「差が出たら止める」と、偶然の差で誤った結論を出しやすくなる
長すぎないように	長く続けると、Cookie の削除などで、同じ人が別のパターンを見てしまうことが増える
特別な期間を避ける	大型のセールやキャンペーンの期間は、普段とユーザーの行動が違う

結果の判断

判断の流れ

1. 事前に決めたサンプルサイズ・期間に達したか
   ↓ はい
2. 主な指標（事前に決めた指標）で、統計的に意味のある差があるか
   ↓ はい                          ↓ いいえ
3. ほかの指標に悪い影響がないか     「差があるとは言えない」と判断する
   ↓ ない                          （A のままにするか、別のテストを考える）
4. B のパターンを採用する

判断のときの注意点

注意点	内容
主な指標を事前に決める	テストの後に、差が出た指標を探して「効果があった」とするのは避ける
セグメントごとの差	全体で差がなくても、スマホだけで差がある、などの場合がある。ただし、セグメントを細かく分けるほど、偶然の差が見つかりやすくなる
長期の影響	問い合わせの数は増えたが、質が下がった、などの影響がないかを、あとから確認する
新しさの効果	リピーターが、新しいデザインに一時的に反応しているだけのことがある

テストの記録

【テスト ID】TEST01
【仮説】資料請求のボタンの文言を「資料請求」から「無料で資料をもらう」に変えると、無料であることが伝わり、クリック率が上がる
【主な指標】資料請求のボタンのクリック率（副次の指標：資料請求の完了率）
【期間】2026-09-01 〜 2026-09-28（4 週間）
【結果】A：3.1%、B：3.8%（統計的に意味のある差あり）。完了率は差なし
【判断】B を採用。ほかのページの CTA でも、「無料」を伝える文言をテストする

（数値は例）

注意「差があるとは言えない」という結果も、立派な学びです。「この要素は、成果にあまり影響しない」ことがわかれば、ほかのより重要な要素の改善に集中できます。結果に関わらず、すべてのテストを記録しておきましょう。

まとめ

A/B テストは、ユーザーをランダムに分けて同時に比べるため、前後比較よりも因果関係を確かめやすい
1 回のテストで変える要素は 1 つに絞る
テストはテストツールで実施し、パターンの情報を GA4 に送って、詳しい行動を分析する
必要なサンプルサイズを事前に計算し、週単位で、途中で止めずに続ける
主な指標を事前に決め、統計的な差、ほかの指標への影響、長期の影響を確認して判断し、すべてのテストを記録する

これで第 12 部は終わりです。理解度クイズで確認してみましょう。最後の付録では、困ったときに引けるトラブルシューティング集と、この講座のあとの学習のロードマップを紹介します。