広告運用の現場で、A/Bテストはもはや常識的な手法になっています。
新しい広告のコピーやデザイン、あるいはランディングページを比較するとき、多くのマーケターはプラットフォームが提供するA/Bテスト機能を使って「どちらの方が効果的か」を判断しているのではないでしょうか。
しかし、最近の研究では、このA/Bテストが必ずしも信頼できる結果を返していないことが明らかになっています。
問題の核心にあるのが「Divergent Delivery（分岐的配信）」と呼ばれる現象です。これは、広告プラットフォームの配信アルゴリズムが広告ごとに異なるユーザー群へ配信してしまうために起こります。
A/Bテストはなぜ広告で多用されるのか
広告効果測定におけるA/Bテストの魅力
A/Bテストは、科学的に広告の効果を検証できる方法として広く知られています。二つの広告を同時に配信し、その反応を比較することで、どちらがより優れているかを統計的に判断できます。
特に、広告のクリエイティブを改善する際や、新しいコピーを試すときに「どちらの方がユーザーに響くのか」を知ることができるため、実務上の価値は非常に高いといえます。
ランダム化実験としての理想的な役割
理想的なA/Bテストは、ユーザーをランダムに二つのグループに分け、広告Aと広告Bをそれぞれに割り当てます。ランダム化によって、グループ間の差は広告の違いだけに帰結するため、因果関係を厳密に測定できるのです。
これは本来、マーケティングにおける「科学的アプローチ」の象徴ともいえる手法です。
プラットフォームが提供する「便利な実験ツール」の実態
FacebookやGoogleなどの大手広告プラットフォームは、こうしたA/Bテスト機能を標準搭載しています。
ボタン一つでテストを開始できるため、多くのマーケターは「信頼できるランダム化実験」を簡単に実行できていると考えがちです。
しかし実際には、配信の仕組みは単純なランダム化とは大きく異なります。アルゴリズムが介入し、広告ごとに「成果が出そうなユーザー」に配信が偏るため、結果が歪む可能性があるのです。
A/Bテストが信用できない理由 ― 分岐的配信とは
アルゴリズムが「広告ごとに異なるユーザー群」を最適化
広告プラットフォームは、限られた広告枠を最大限活用するためにアルゴリズムで配信を制御しています。
表向きはA/Bテストであっても、実際には広告ごとに「より反応が期待できるユーザー」へと配信を最適化する仕組みが働いているのです。
その結果、広告Aは特定のユーザー群に、広告Bは別のユーザー群に偏って表示されてしまいます。これは純粋なランダム化とは異なり、比較の前提が崩れることになります。
配信対象の違いが比較結果をゆがめる
もし広告Aが主に女性に、広告Bが主に男性に配信された場合、クリック率やコンバージョン率の差は「広告の内容そのもの」ではなく「受け取った人の属性の違い」によって生じている可能性があります。
つまり、A/Bテストの結果をそのまま広告の優劣として解釈するのは危険です。実際には、広告そのものの効果とターゲティングによる違いが混ざった数字に過ぎないのです。
シンプソンのパラドックスが起こるリスク
統計学でよく知られる「シンプソンのパラドックス」という現象もここで問題になります。
これは、全体の集計では広告Aの方が良いように見えるのに、性別や年齢などのサブグループに分けて分析すると広告Bの方が効果的に見える、という逆転現象です。
分岐的配信によって広告ごとに配信対象が異なると、このような逆転が生じやすくなります。そのため、広告実験の結果を安易に解釈すると、誤った意思決定につながりかねません。
実例で見る配信の偏り
デトロイト市の採用広告実験から学べること
サザンメソジスト大学のミハエル・ブラウン博士らの研究では、デトロイト市の採用活動を題材とした実験が紹介されています。
広告プラットフォーム上で複数の採用広告を出稿し、A/Bテスト機能を用いて効果を測定しました。
驚くべきことに、広告の種類ごとに配信されたユーザーの性別構成が大きく異なっていたのです。ある広告は女性に多く配信され、別の広告は男性に偏って配信されました。
性別や属性ごとの偏りが結果に影響するケース
このように、配信の偏りが存在すると、表面上のクリック率や応募数の差は広告そのものの効果ではなく、配信先の違いによって説明できる場合があります。
例えば、女性に人気のあるメッセージが偶然多くの女性に配信されれば、あたかも「その広告が全体として優れている」ように見えてしまいます。
「ランダム化されているように見えて実はされていない」現実
A/Bテストという名前から、多くの人は「完全にランダム化された実験が行われている」と信じてしまいがちです。
ですが、実際には広告配信アルゴリズムが介入し、広告ごとに異なる層へ配信しているため、純粋なランダム実験は成立していません。
この現実を理解していないと、誤解に基づいた広告戦略を立ててしまう危険があります。
ホールドアウトテストとの違いと限界
ホールドアウトテストなら広告リフトは測定可能
A/Bテストと並んでプラットフォームが提供するのが、ホールドアウトテストと呼ばれる仕組みです。これは特定の広告を配信したグループと、その広告を意図的に配信しなかったグループを比較するものです。
この方法であれば、同じターゲティング条件の中で「広告に触れた場合」と「触れなかった場合」を比較できるため、広告によってどれだけ行動が変化したかというリフトを因果的に推定できます。
それでも複数広告の比較は難しい理由
ただし、ホールドアウトテストが万能というわけではありません。ある広告について「配信した効果」を測定することはできますが、別の広告と直接比較しようとすると問題が残ります。
なぜなら、結局のところ配信アルゴリズムは広告ごとに異なるユーザーに広告を届けてしまうからです。
広告Aのホールドアウトテスト結果と広告Bのホールドアウトテスト結果を比べても、そもそも比較対象のユーザー群が異なるため、純粋に「どちらが優れているか」を判断するのは困難なのです。
ROI評価と戦略判断で混同してはいけない点
この違いは実務上、非常に重要です。単一広告の効果を測る目的であればホールドアウトテストは有効です。しかし、複数広告の優劣を比較してブランド戦略やクリエイティブの方向性を決める場合には、依然として因果的な解釈が難しいままです。
ROI評価と戦略判断を同じように扱ってしまうと、誤った結論を導いてしまう恐れがあります。テストの結果をどう活用するかは、目的によって明確に区別する必要があります。
マーケターが取るべき対策と実務的示唆
実験の目的を明確にする ― ROIなのか戦略判断なのか
A/Bテストやホールドアウトテストを実務に活かすうえで最も重要なのは、実験の目的を明確にすることです。投資対効果を確認したいのか、ブランド戦略の意思決定に役立てたいのかによって、使える手法と解釈の仕方が変わります。
目的をあいまいにしたまま結果を見ても、適切な判断にはつながりません。
プラットフォーム依存のデータ解釈を鵜呑みにしない
GoogleやMetaが提供するテスト機能は便利ですが、その仕組みを理解せずに結果だけを信じ込むのは危険です。プラットフォームは自社の最適化アルゴリズムを優先しているため、提供されるデータが必ずしも広告の純粋な比較を反映しているとは限りません。
マーケター自身が仕組みを理解し、解釈の限界を踏まえて活用することが求められます。
A/Bテストの限界を理解したうえでの活用法
A/Bテストを完全に否定する必要はありません。クリエイティブ改善や短期的な最適化には依然として有用です。ただし、戦略的な意思決定や広告コンテンツの本質的な比較に使う際には、分岐的配信の影響を考慮しなければなりません。
目的ごとにテストの活用方法を使い分けることが、実務における最も現実的な対応策といえるでしょう。
参考文献：Braun, M., & Schwartz, E. M. (2025). Where A/B Testing Goes Wrong: How Divergent Delivery Affects What Online Experiments Cannot (and Can) Tell You About How Customers Respond to Advertising.
