AdWords Campaign Experimentsはcontrolとexperimentを同時配信して変更を比べる

AdWords Campaign Experimentsでcampaign変更を試すときは、現在の設定をcontrol、変更案をexperimentとして同じ期間に配信します。変更前の一週間と変更後の一週間を比べる方法では、需要、曜日、競合の動きまで一緒に変わります。同時配信なら、時間差による影響を減らして変更案を判断できます。

ただし、experimentを始めれば答えが自動で決まるわけではありません。試す変更、判断に使う指標、終了条件を配信前に一つずつ決めてください。

controlには元の設定を残しexperimentだけを変える

AdWords Campaign Experimentsの公式案内では、既存の設定とexperimentを並行して動かし、trafficの一部をexperimentへ割り当てます。keyword、bid、ad group、placementなどの変更を試せます。

比較の出発点は、controlへ元の設定を残すことです。controlも同時に変えると、結果の差がexperimentによるものか、共通変更によるものか分かりません。

説明用の仮例として、特定のkeyword群のbidを上げるか判断するとします。

この比較で変えるのはbidです。広告文とリンク先pageまで同時に変えると、どの変更が差を生んだか分けられません。

AdWords API v201506のAddExperiment exampleでも、campaignへexperimentを作り、trafficをcontrol splitとexperiment splitへ分けたうえで、experiment側のbidを変更しています。

配信前に一つの仮説と判断指標を決める

「成果を改善する」だけでは、experimentの終了時に採否を決められません。次の形まで具体化します。

対象keywordのbidを上げると、許容できるcost per conversionの範囲でconversionsを増やせるか。

この仮例なら、impressionsやclicksが増えただけでは採用理由になりません。目的が問い合わせ獲得なら、conversionsとcost per conversionを先に見ます。売上額を計測している場合は、売上と広告費の関係も別に確認します。

比較期間中は、conversionの定義、対象keyword、広告文、リンク先pageをそろえます。緊急の修正が必要になった場合は、変更日時と内容を記録し、結果へ影響した可能性を残してください。

統計的な差と事業上の採用を分ける

AdWords Campaign Experimentsのreportでは、Experimentでsegmentし、controlとexperimentの成績を横に並べ、統計的な差を確認できます。

統計的な差は、見えた差が偶然だけで生じた可能性を判断する材料です。差が事業にとって十分かどうかは別です。conversionsが増えても、cost per conversionが許容額を超え、対応できない問い合わせばかり増えるなら、その変更を採用する理由にはなりません。

反対に、短期間で差が確認できない場合も、すぐに「効果なし」と決めないでください。配信量が少ないのか、conversionまで時間がかかるのか、変更の影響が小さいのかを分けます。実験期間を延ばす場合は、終了日と追加で必要な判断材料を決めます。

広告ローテーションとは分ける対象が違う

広告文を試す公式案内は、Campaign Experimentsと広告ローテーションの違いを説明しています。Campaign Experimentsはcontrolとexperimentへtrafficを分けます。広告ローテーションは、各splitの中で広告文をどう表示するかを決めます。

同じad group内の広告文だけを比較するなら、広告ローテーションが候補です。keyword、bid、ad group構成などを変更案として元の設定と比べるなら、Campaign Experimentsが候補になります。

両方を同時に変えると、splitの差と広告文の表示差を読み分けにくくなります。何を検証したいのかを先に決め、不要な変数を増やさないでください。

採用または削除の前にreportを保存する

Campaign Experimentsの結果を確認した後は、変更を全面的に採用するか、変更を外すか、experimentを続けるかを決めます。採用または削除を実行すると、過去のexperiment dataを画面で確認できなくなるため、先にreportを保存します。

保存するのは最終数値だけではありません。少なくとも次を同じ記録へ残します。

• campaign名とexperiment名
• 試した変更と変えなかった条件
• controlとexperimentへのtraffic配分
• 開始日と終了日
• 判断に使った指標
• 採用、削除、継続の結論と理由

広告運用を外部へ委託しても、どの費用まで許容し、何をconversionとし、どの差なら変更を採用するかは広告主が決めます。experimentも実際のtrafficと広告費を使うため、単なる画面上の試算ではありません。

最初の一手は、次に予定しているcampaign変更を一つ選び、「何を変えるか」「何を変えないか」「どの指標で採否を決めるか」を一行ずつ書くことです。