デジタルマーケティング初心者向け！WEB広告の効果検証の仕方

はじめに

はじめまして！R.Sです！
今回記事を書くにあたって、何を書こうか、、、とかなり悩んだのですが、
前職のWEB広告代理店でも経験した「WEB広告の検証方法」について記事にしようと思います。

個人的にデジタルマーケティングはPDCAを回せる・回しやすいことが一番のポイントだと思っており、正しく検証を行わないとCheckが機能しなくなってしまうので、その利点を損してしまいます！
代理店時代は毎週毎週検証設計を考え、施策を実施し、集計をしていました！

長年マーケティングをやってきた方はもう知っているよ、、というお話ばかりになるとは思いますが、まだデジタルマーケティングをはじめたばかり！という方であれば少しは参考になるかと思います！

検証方法には2パターンある

検証方法は大きく分けて2パターン存在しています。
まずはそれぞれの概要とメリット・デメリットを説明します。

①AB比較

AB比較とは、複数のものを同時並行で検証できる方法です。
例えば、新しいクリエイティブと既存のクリエイティブを同時並行で配信し、どちらの成果が良いか確認することはAB比較となります。

• メリット
  ◦複数のパターンを同時並行で検証できる
  ◦並行配信のため、リスクが分散され、（前後比較と比べると）大幅な成果悪化は起きにくい
  ◦同時並行で配信ができるため、時期的影響（トレンド影響）に左右されず判断が可能

• デメリット
  ◦並行配信のため、そもそもの配信量が少ないと配信量の分散により学習が足りなくなる可能性あり

実際に数値集計をするとこんな感じ　↓

新規追加したクリエイティブと既存クリエイティブを同時並行で配信した結果、新規追加したクリエイティブのほうが全指標で成果が良かった。とわかりますね。

②前後比較

前後比較とは、施策を実施する前後で成果がどのように変動したかを検証する方法です。
例えば、ディスプレイ広告で今までリターゲティングで配信していたが、新しいターゲティングを追加、追加したターゲティングを続けるべきか判断したいとなったときは前後比較になります。

余談ですが、AB比較でターゲット別の成果を見て判断すればよいのでは、、？と思った方は△黄色信号△です！理由は以下の通りです。

• 最もCVRが高いリターゲティングに成果が勝るターゲティングはなかなかないので、単純にAB比較をしてしまうと新しいターゲティングは停止になる可能性が高い
• 新しいターゲティングで流入したユーザーがリターゲティングリストに入って、リターゲティングの成果改善に影響を与えることもある

→AB比較だけで追加したターゲティングの成果を見るのではなく、前後比較で媒体全体で成果が改善したか見る必要があります（商材によるところもあるかなと思います）

• メリット
  ◦同時並行配信ではないので、配信量が分散されない
  ◦AB比較が仕様上や正確な検証を行う上でできない場合も前後比較なら実施できる可能性が高い（前後比較には制約がない）

• デメリット
  ◦同時並行配信のようにリスクが分散されないため、大幅な成果悪化が起こる可能性がある
  ◦検証前期間と後期間に外部要因の変化があった場合、検証結果に影響を受けてしまう（トレンド影響に左右される）

AB比較と前後比較のメリット・デメリットを整理してみると、成果悪化が起こる可能性があるうえに正しい検証ができないなど前後比較のデメリットがかなり大きいと感じられるのではないでしょうか。

特に外部要因により正しい検証ができないという点は大きなデメリットですが、
こちらは「ゼロ点補正」を使うことによって可能な限り排除することができます。

ゼロ点補正とは？

ゼロ点補正とは、前後比較する際に発生してしまうトレンド影響を可能な限り排除する方法です。
具体的には、検証前後期間で施策や大きな入札調整を行わないキャンペーンや媒体を残し、前後比較を実施、そのキャンペーン・媒体の検証同期間での変動幅をトレンド影響によるものだと見立てる方法です。

実際に数値集計をするとこんな感じ　↓

※テストキャンペーン＝施策実施キャンペーン
※コントロールキャンペーン＝施策を実施していないキャンペーン

テストキャンペーンだけだと施策によって成果が悪化したのか不明ですが、コントロールキャンペーンの同期間の変動がほとんどないことを加味すると、施策による成果悪化が起こった可能性が高いと判断できます。

このため、前後比較での検証を実施する場合は、何も変更をしないキャンペーンもしくは媒体を残しておく必要があります。

また、コントロールに適したキャンペーン・媒体としては、検証するキャンペーン・媒体に類似したキャンペーン・媒体であることが最適です。（ディスプレイならディスプレイ、検索なら検索広告内でコントロールを残しておきましょう）

類似したものがない場合は、検索広告の指名キャンペーンであれば、一番トレンド影響を受けやすいのでそちらをコントロールキャンペーンにすることで外部影響を除外できる可能性が高いです。

結局どの検証方法で検証するのがよいの？

長々と説明してきましたが、仕様上や判断する上で問題ない場合は、成果棄損のリスクが少なかったり、同時並行による判断がしやすいため、AB比較で検証するのが最善です。

また、Facebook・Googleなど媒体公式のAB比較ツールが存在している媒体は、公式ツールを使った検証をするのがおすすめです。特にGoogleの「下書きとテスト」機能はキャンペーンを複製して、Cookieを分割して配信検証することができるので、キャンペーン全体の変更でもリスクなく、AB比較できます。

参考：Google広告「検索キャンペーンとディスプレイ キャンペーンの下書きについて」
https://support.google.com/google-ads/answer/6318732?sjid=574764951660312776-AP%EF%BC%89

AB比較が仕様上できない・AB比較だけでは正しい判断ができない場合は、ゼロ点補正を利用した前後比較で検証してみてください。

その他検証する上で細かいけど大事なこと

検証方法・期間をあらかじめ決めた上で検証を行う

AB比較の場合コントロールは必要ないが、前後比較はコントロールが必要。
検証期間に年末年始やGWなどの大きな外部影響がある場合正しい検証ができないため。

検証する際に変更する要素は可能な限り1つにする

複数の変更があった場合、どれが成果に1番寄与したか判断できないため。

学習期間・検証期間ともに1~2週間は必ず設定する

ほとんどの媒体が機械学習で配信されているので、変更を加えてから最大2週間は学習期間で配信が安定しないことがあるため。
検証期間も1~2週間設定することで、曜日傾向などを平均化できるため。

最後に

以上になります！
ご存じの方は長々と初歩的な文章ですみません！
初知りの方は、何かの検証をする際にこちらの記事を思い出して検証設計を立ててもらえるとうれしいです。

最後まで読んでいただきありがとうございました！

※本記事は2023年12月時点の内容です。