CVが水増しされていた — 削除済みの補助CVが混ざる

申込数と、管理画面のCVが合わない

広告の管理画面に出ているCV数と、実際に社内で受け付けている申込の件数。この2つを突き合わせたところ、管理画面のほうがかなり多い、ということがありました。

差が数%なら計測の誤差で説明できます。そうではない規模の差でした。

原因は「昔のCV」

調べていくと、原因は集計に含まれるコンバージョンの種類でした。

広告アカウントには、主要なコンバージョンのほかに、補助的なコンバージョンを設定できます。ページの閲覧、特定のボタンのクリック、スクロール。改善の途中経過を見るために設定するものです。

問題は、過去に使っていた設定が、集計対象に残り続けていたことでした。もう使っていないつもりのものが、管理画面の「コンバージョン」列に足し込まれていた。

結果、表示されていたCVの多くが、申込ではない別のアクションでした。

気づきにくい理由

この状態が続いていた理由は明確です。数字が良く見えるからです。

CVが多く見えれば、CPAは低く見えます。CPAが目標内に収まっていれば、誰も疑いません。順調に見える。

もし逆に、CVが実際より少なく見えていたら、すぐ調査が始まっていたはずです。良い方向の異常は、調べられない。

確認の仕方

見るのは3つです。

1. 集計対象になっているコンバージョンを一覧で出す。
アカウントに設定されているものと、実際に「コンバージョン」として集計されているものは別です。後者を確認します。

2. それぞれの発生件数を個別に見る。
合計ではなく、種類ごとに分けて見ます。ここで、想定していない種類が大量に発生していれば分かります。

3. 社内の受付件数と突き合わせる。
最終的にはこれです。管理画面の数字と、実際に人が対応している件数。この2つが合っているかを、月に一度でいいので確認する。

直したあとが本番

修正すると、CVは減ります。CPAは上がります。

ここで慌てないために、直す前に社内へ説明しておくことが要ります。「来月から数字が変わるが、悪化ではなく正常化である」と。

説明せずに直すと、翌月の報告で「急に悪くなった」という話になり、元に戻す圧力がかかります。

補助CVは、悪者ではない

誤解のないように書いておくと、補助的なコンバージョンを設定すること自体は有効です。申込が少ない段階では、その手前の行動を見ないと改善の手がかりがありません。

問題は、それを主要なCVと同じ集計に混ぜることです。分けて見れば有用で、足し合わせると判断を誤らせる。

設定を追加するときは、集計に含めるかどうかを必ず分けて決める。そして使わなくなったら、集計対象から外す。この運用だけで防げます。