Google AnalyticsのBot and Spider Filteringは既知botだけを今後のデータから除外する

Google AnalyticsのBot and Spider Filteringは、IABのknown bots and spiders listにあるUser Agentと一致するhitを、選んだビューの集計から除外します。すべての自動アクセスを判定する機能ではありません。

設定を有効にする前のデータも書き換えません。既知botの自動除外、有効化前のデータを見るためのAdvanced Segment、特定条件を除外するView Filterは、役割を分けて使います。

Bot and Spider Filteringはビューごとに有効にする

Google Analytics公式のBot and Spider Filtering発表の保存版は、管理画面のview levelへExclude traffic from known bots and spidersという選択肢を追加しています。

この設定を選ぶと、IABのknown bots and spiders listにあるUser Agentと一致するhitが、profile filterを適用した場合と同じように除外されます。判断条件は、Google Analyticsで見つけた不自然な直帰率や地域ではなく、IABのリストにあるUser Agentです。

したがって、設定後に数値が減っても、減少分を一律に迷惑なアクセスや不正なアクセスと呼べません。検索エンジンのcrawler、監視サービスなど、リストへ含まれる自動アクセスが除外対象になり得ます。何を除外したいかより先に、「利用者の行動を測るビュー」と「受け取ったhitを加工せず残すビュー」を分けます。

リスト外のbotは自動では除外されない

設定名で重要なのはknownです。IABのリストにないUser Agentまで、行動の特徴から自動判定するとは説明されていません。

急なアクセス増加、特定の参照元、短い訪問時間だけでbotと決めるのも危険です。広告、メール、テレビ、SNSで紹介された場合も、似た変化が起こり得ます。Bot and Spider Filteringを有効にしても残る変化は、次の順で原因を分けます。

• 計測コードを二重に送っていないか
• 自社のアクセスや監視処理を含んでいないか
• キャンペーンや外部掲載による訪問ではないか
• 同じSource、Hostname、地域、Browserなどへ繰り返し偏っているか
• サーバーのaccess logでも同じ時刻のrequestを確認できるか

Google Analyticsの数値だけでは、ページを取得したすべてのbotを確認できません。JavaScriptを実行せず、Google Analyticsへhitを送らないcrawlerは、除外設定の前からレポートへ現れません。サイトへのrequestを調べる目的には、access logを使います。

有効化前のデータはAdvanced Segmentで見方を変える

View Filterは、設定後に処理するデータへ作用します。有効化前に集計されたhitを削除し直す機能ではありません。Bot and Spider Filteringもprofile filterと同じように処理されるため、過去のレポートをさかのぼって書き換えません。

すでに集計された期間を調べる場合は、記録済みのdimensionで対象を区別できるか確認します。区別できるなら、Advanced Segmentで訪問の一部を取り出し、全体と並べて比較できます。

ただし、IABのリストと一致したUser Agentを示す専用dimensionが追加されるわけではありません。SourceやBrowserなどの条件だけで、同じbot集合を再現できるとは限りません。Advanced Segmentは保存データの見方を変える手段であり、Bot and Spider Filteringを過去へ適用する代用品ではありません。

独自のView Filterは確認できる条件だけに使う

Bot and Spider FilteringはIABのリストを使います。独自のView Filterは、IPアドレス、Hostname、Sourceなど、Google Analyticsで確認できる条件を明示して除外または変換するときに使います。

不自然に見えるという理由だけで、地域やProviderを丸ごと除外しないでください。実際の顧客まで同じ条件に含まれる可能性があります。独自フィルタを追加するなら、対象となるfield、値、除外理由、確認期間、変更者、元へ戻す条件を記録します。

未加工ビューを残して変更日から比較する

Bot and Spider Filteringを使う前に、フィルタを適用しないビューを一つ残します。日常の報告に使うビューだけを変更すると、設定による減少と集客そのものの減少を分けにくくなります。

設定記録には、対象のAccount、Property、View、有効化日時、変更者、比較する未加工ビューを残します。設定前後を比べるときは、同じ曜日数、同じキャンペーン条件をそろえます。hit数が減ったという事実だけで、人間の訪問を正確に数えられたとは結論づけません。

最初の一手は、Bot and Spider Filteringをすべてのビューへ付けることではありません。フィルタを適用しないビューがあるか確認し、報告用ビュー一つで有効にして、変更日を記録してください。