Google Optimize 360のtestは変えるpageと採用する数字を先に決める

siteのvariationをtestするときは、先に変えるpageと、どの数字で採用を決めるかを決めます。Google Optimize 360は、siteの複数variationを表示し、audienceごとにどのversionを選ぶかを支援するproductです。testを作っただけでは、どの案を残すべきか分かりません。

Googleの2016年3月15日の案内は、Google Optimize 360をwebsite testingとpersonalizationのproductとして紹介し、複数variationを見せ、audienceごとに機能するversionを選べると説明しています。このproductはlimited betaとして案内されています。

testの目的は、画面を二つ作ることではありません。今のpageで利用者が迷う場所を一つ選び、変えたことで目的に近づいたかを確かめることです。問い合わせが少ない理由が、buttonの文言なのか、料金説明が見つからないのか、formの入力が多すぎるのかを分けないままvariationを作ると、結果を見ても次に何を直すべきか分かりません。

最初のtestでは、売上や問い合わせをすぐ増やす約束をしない方がよいです。今のpageに何が起きているかを知るために、変える要素を小さくします。見出し、画像、button、formを一度に替えれば、数字が動いてもどの変更が影響したのか区別できません。採用しない案にも、何を確かめるために作ったのかを残します。

変える場所と判断する数字を一つずつ決める

問い合わせpageのtestなら、buttonの色だけを変える前に、利用者が条件を読んでから送信できる構造かを確かめます。clickが増えても、入力途中で離脱するなら目的に近づいたとは言えません。

数字を一つだけ選ぶことは、ほかの数字を見ないという意味ではありません。問い合わせ完了を採用基準にするなら、buttonのclick、formの表示、入力開始、送信エラーは、どこで止まったかを調べる材料になります。ただし、補助の数字を採用基準と混ぜると、都合のよい数字だけを選びやすくなります。何を最終判断に使うかと、原因を探すために見る数字を別に書きます。

資料請求pageなら、資料を請求する人を増やすことが目的か、その後に商談へ進める人を増やすことが目的かで、判断は変わります。送信数だけを増やすために条件説明を外し、対応できない問い合わせが増えれば、作業時間を増やすだけです。広告費、営業の対応時間、利用者が受け取る内容まで含めて、良い結果と呼ぶ条件を決めます。

testの結果を読む順序を決める

1. 対象pageと変更しない要素を決める。
2. variationごとに、何を変えたかを記録する。
3. 問い合わせ、購入、資料請求など目的に対応する数字を決める。
4. 同じ期間と同じ流入条件で結果を見る。
5. 採用したvariationと理由を残し、次のtestで条件を混ぜない。

testを外部へ頼む場合も、どのpageを変え、最終的に誰が採用を決めるかをsite側で残します。ツールのaccountに結果が残っても、変更理由と判断基準がなければ次の改善へ使えません。

実施前には、元のpageを戻せる状態にします。変更するHTML、画像、stylesheet、計測設定を分けて記録し、variationを止めたときに何が残るかを確認します。制作担当が画面を作り、広告担当が流入を増やし、事業側が問い合わせを受ける場合、誰か一人が全体を見ないと判断が途切れます。testの期間中に通常のpage改修を重ねるなら、どの変更がtestの対象外かも記録します。

期間は短ければ早く判断できるとは限りません。曜日、営業日、広告campaign、季節の案内が変わると、同じpageでも来る人が変わります。長く回せばよいわけでもなく、途中で商品の条件や受付状況が変われば、同じ比較を続けられません。開始日、終了日、流入元の大きな変更、page側の変更を並べておくと、結果を読んだときに比較できない期間を見つけられます。

testを始めた直後に数字が少し動いたからといって、すぐに全pageへ同じ変更を広げません。対象pageの利用者、流入元、目的が違えば、同じbuttonや見出しが同じように働く理由はありません。まず一つのpageで採用理由を説明できる状態にし、次のpageでは改めて目的と条件を決めます。templateを共通化しているsiteほど、変更の影響範囲を確認します。

testを行うことと改善を証明することは別

variationの数字に差が出ても、期間、流入元、campaign、対象者が違えば比較できません。Google Optimize 360のようなproductはtestを実行する手段です。利用者へ必要な情報を伝え、問い合わせや購入を進められるpageにする判断まで代わりに行いません。

variationが勝ったように見えても、内容が不正確になったり、問い合わせ後の約束を守れなくなったりするなら採用しません。短い文言でclickを集めることと、利用者に必要な条件を伝えることは両立させる必要があります。価格、納期、対象地域のように申し込み判断へ関わる情報を隠して数字だけを見ると、後の対応で問題になります。

反対に、差がはっきりしない結果も無駄ではありません。変更した場所が目的に強く関係しなかった、比較条件が十分にそろわなかった、次に見るべき場所が分かったという記録になります。無理に勝者を決めるより、元のpageを維持するか、別の疑問を立てるかを判断します。testの回数を増やすことを成果にしないでください。

最初に残す記録は、対象page、直したい疑問、変更する一か所、採用基準、補助として見る数字、開始と終了の条件です。これだけでも、外部の制作担当や広告担当へ依頼するときに、何を変えてよいかを伝えられます。ツールの設定を任せても、pageの目的と採用判断はsiteの側で持ちます。

最初の一手は、改善したいpageを一つ選び、「このpageで利用者に何を完了してほしいか」を一文で書くことです。その答えからtestの数字を決めます。