GoogleウェブマスターツールのクロールエラーはサイトエラーとURLエラーを分けて確認する

Googleウェブマスターツールでクロールエラーを見つけたら、最初にサイトエラーとURLエラーを分けます。DNS、ウェブサーバーへの接続、robots.txtの取得に問題があるサイトエラーは、個別のページより広い範囲へ影響します。URLエラーは、Googlebotがサイトへ接続した後に、特定のURLで見つけた問題です。

二つを同じ一覧として扱うと、確認する相手も作業も定まりません。サイトエラーが出ているなら接続経路から確認し、URLエラーなら優先順位付きの一覧から対象URLの詳細を開きます。修正はサイト側で行い、再確認してから修正済みにします。

サイトエラーはサイト全体へ届く経路から確認する

サイトエラーは、特定のURLだけに生じる問題ではありません。Googleのクロールエラーに関する公式記事は、次の三つをサイトエラーとして挙げています。

• DNSの解決エラー
• ウェブサーバーとの接続エラー
• robots.txtファイルの取得エラー

これらの段階で失敗すると、Googlebotは個別のURLをリクエストできません。サイトエラーが表示されている場合は、404になった一ページを直す前に、エラーの種類と発生率の推移を確認します。

DNSならドメインが正しいサーバーへ解決されるか、接続エラーならウェブサーバーが応答できるか、robots.txtの取得エラーならファイルへ到達できるかを調べます。サイト運用担当者が画面を確認し、DNSまたはサーバーを管理する担当者へ、エラーの種類と発生した期間を渡します。

最近これらの問題がなければ、サイトエラー欄には正常を示すチェックマークが表示されます。その場合は、存在しないサイトエラーを探し続けず、URLエラーへ進みます。

URLエラーは接続後に特定のページで起きた問題として読む

URLエラーは、特定のページに固有の問題です。GooglebotがDNSを解決し、サーバーへ接続し、robots.txtを取得して読み込んだ後に、そのURLをリクエストした段階で問題が起きています。

したがって、URLエラーに404が表示されていても、DNS障害と同じ対処はしません。対象URLを開き、そのページが本来存在するのか、別のURLへ移ったのか、削除済みなのかをサイト側で確認します。404の応答をどのように扱うかは、URLの役割を決めてから判断します。

個々のURLを選ぶと、Googleが最後にクロールを試みた日時、問題を最初に検出した日時、エラーの説明を確認できます。さらに、そのURLを含むサイトマップと、そのURLへリンクする別のページも調べられます。エラー名だけで原因を決めず、どこから見つかったURLかまで読みます。

上位1,000件は全件ではなく優先順位付きの一覧である

URLエラーでは、カテゴリごとに、Googleが重要かつ対処可能と判断した上位1,000件が表示されます。これは全エラーから無作為に選んだ見本ではなく、修正候補を上から確認するための一覧です。

優先順位には、そのURLがサイトマップに含まれているか、サイト内外からいくつリンクされているか、最近の検索トラフィックがあるかなどが使われます。上位にあるURLは、サイト側で状態を判断できる可能性が高い対象です。ただし、上位1,000件へ入っていないことは、ほかにエラーがないという意味ではありません。

カテゴリごとのエラー総数と、過去90日間の履歴を示すグラフは別に確認できます。一覧では具体的なURLを調べ、総数とグラフでは増減の範囲を見ます。件数だけを減らすため、必要なページを削除したり、無関係なURLへ転送したりしません。

詳細から修正対象と再確認方法を決める

URLエラーの詳細では、最初に検出した日時と最後にクロールを試みた日時を分けて読みます。古くから続く問題なのか、直した後にも検出された問題なのかを判断する材料になります。

次に、そのURLを含むサイトマップと、そのURLへリンクしているページを確認します。サイトマップへ不要なURLを残しているなら掲載対象を見直し、サイト内リンクが古いなら正しいURLへ直します。ページが別のURLへ移った場合だけ、対応する移転先への301転送を検討します。

修正後は、Fetch as Googlebotで対象URLを取得し、Googlebotから見た応答を再確認できます。ここで調べるのは、サイト側の修正が反映されているかです。管理画面の一覧から項目を消すことを、修正の代わりにしません。

修正済みはエラーを直す操作ではなく一覧を整理する操作である

修正済みを付けられるのは、フルアクセス権限を持つユーザーです。付けると、そのエラーは一覧から削除されます。ただし、サイトのファイル、リンク、転送、サーバー設定を変更する操作ではありません。

Googlebotが同じURLを再びクロールし、同じエラーを検出した場合は、修正済みにした項目も再び上位のエラー一覧へ表示されます。再表示は、一覧の整理では解決しなかったか、同じ問題が再発したことを示します。対象URLの応答とリンク元をもう一度確認します。

クロールエラーを開いたら、まずサイトエラー欄を見てください。問題があればDNS、サーバー接続、robots.txtのどこで止まっているかを分けます。サイトエラーがなければ、URLエラーの先頭から一件を選び、詳細、リンク元、サイトマップ、実際の応答を確認します。