GoogleウェブマスターツールのCrawl Statsはクロール数、転送量、取得時間を分けて読む

GoogleウェブマスターツールのCrawl Statsでは、クロールされたページ数だけを見て良否を決めてはいけません。Pages crawled per day、Kilobytes downloaded per day、Time spent downloading a pageを同じ日付で比べ、サイトの変更記録と照合します。

三つのグラフは、インデックスされたページ数、サイト全体の容量、ブラウザーで表示が終わるまでの時間を表すものではありません。先に、それぞれが数えている対象を分けます。

Crawl StatsはGooglebotによる直近90日間の取得状況を示す

GoogleウェブマスターツールのCrawl Statsに関する説明では、Googlebotによる直近90日間の活動を確認できます。HTMLだけでなく、Googleが取得したCSS、JavaScript、Flash、PDF、画像なども集計対象です。

画面に並ぶ三つの指標は次のとおりです。

数字の大小を評価する前に、どの列が変わったのかを確認してください。一つの数字だけでは、原因も対処も決まりません。

Pages crawled per dayはインデックス登録数ではない

Googlebot activity reportsの公式説明によると、同じページへ複数のURLから到達できる場合、クロールされたページ数がサイトのページ数より多くなることがあります。本文とページ内アンカーを指すURLも、別のURLとして取得される場合があります。

したがって、クロール数が増えたことを、そのまま登録ページの増加と読み替えてはいけません。URLパラメータ、印刷用URL、重複する経路などが増えていないかを、サーバーのアクセス記録やサイト内リンクで調べます。

反対に、クロール数が減っただけで障害とも決められません。サイト統合でURL数を減らした日、公開ページを削除した日、robots.txtを変更した日と重ねて見ます。

Kilobytes downloaded per dayは取得した量を示す

転送量が増えても、クロールされたページ数が同じように増えるとは限りません。一回に取得するHTMLや画像が大きくなれば、ページ数がほぼ同じでも転送量は増えます。

ページ数と転送量の変化を組み合わせると、次に調べる場所を絞れます。次の表は診断結果ではなく、調査順を決めるための仮説です。

Crawl Statsは集計値です。どのURLやファイルが変化を作ったかは、同じ期間のサーバー記録と公開作業の履歴へ戻って確認します。

Time spent downloading a pageが跳ねた日はサーバー側から調べる

Googleは、一ページの平均取得時間が急に増えた場合、ネットワークの遅延やボトルネックを調べる材料になると説明しています。取得時間だけが跳ねた日には、サーバー負荷、データベース処理、外部サービスへの待機、通信障害、公開作業を確認します。

この指標は、利用者のブラウザーでページ全体が表示される時間とは別です。Googlebotが文書を取得する時間と、ブラウザーがCSSや画像を読み、画面を描く時間を一つの数値へまとめないでください。

平均値だけでは、すべてのURLが遅かったのか、一部の重いURLが値を押し上げたのかも分かりません。急な変化を見つけたら、同じ日時のWebサーバー記録から、応答時間の長いURLとエラーを探します。

三つのグラフを変更記録と同じ日付で照合する

Crawl Statsを見る担当者は、次の情報へ同じ日付で到達できるようにします。

1. WordPress、テーマ、プラグインを変更した記録
2. URL、サイトマップ、robots.txtを変更した記録
3. Webサーバーのアクセス記録とエラー記録
4. 障害、保守、回線変更の記録

外部へ制作や保守を委託しても、Googleウェブマスターツールの確認権限と変更記録はサイト所有者側にも残します。グラフを見られても、何を変えたか分からなければ、原因を切り分けられません。

最初の一手は、三つのグラフで同じ日を選び、変化した指標と変化しなかった指標を書き出すことです。その日付を公開記録とサーバー記録へ照合し、確認するURLや処理を絞ってください。