Fetch as GoogleではHTTP応答と取得した本文をブラウザ表示と比べる
公開日： 執筆：佐藤
Fetch as Googleは、指定したURLをGooglebotとして取得し、サーバーが返したHTTP応答と本文を調べるために使います。ブラウザでページが見えることだけで取得可否を決めず、同じURLの応答コードと取得内容を比べます。
取得に成功しても、そのページのインデックス登録や検索順位は保証されません。取得結果の確認と「インデックスに送信」は別の操作です。先にサーバーの応答と本文を確かめ、必要な修正を終えてから送信を検討します。
確認するURLと正しい結果を先に決める
最初に、調べるURLを一つ選びます。公開中のページなら、期待するHTTPステータスコード、ページタイトル、本文の主要部分を記録します。移転したページや削除したページなら、どのHTTP応答を返す設計なのかを先に決めます。
Googleウェブマスターツールで対象サイトを選び、Fetch as Googleを開きます。対象URLを入力して取得を実行します。Googleが公開した操作例では、取得状態を確認し、成功した結果を開くと、Googlebotが取得した内容を見られます。
先に正しい結果を決めないまま取得すると、表示された応答が意図どおりか判断できません。ツールの成功表示だけで終わらず、サイト側の設計と照合します。
HTTP応答と本文は別々に確認する
Fetch as Googleの結果では、HTTP応答と取得した本文を分けて読みます。応答コードが正しくても本文が違う場合があり、見慣れたエラーページでも応答コードが間違っている場合があります。
たとえば、「ページが見つかりません」と表示するページが200 OKを返すと、見た目とHTTP応答が一致しません。Googleのホスティング事業者とウェブ担当者向け資料は、エラーページが200を返す例を挙げ、Fetch as GoogleでHTTPヘッダーを確認するよう案内しています。
| 取得結果で見るもの | ブラウザまたは設計資料と比べる内容 |
|---|---|
| HTTPステータスコード | 200、301、404など、URLの役割に合う応答か |
| 取得した本文 | タイトル、主要な文章、リンクが公開ページと一致するか |
| 取得状態 | GooglebotがそのURLへ到達できたか |
ブラウザ表示だけでは、HTTPステータスコードを判定できません。反対に、200 OKだけでは、予定した本文を返しているとは限りません。応答と本文の両方がそろって、初めてそのURLの取得結果を判断できます。
ブラウザと取得内容が違うときは配信経路を調べる
同じURLをブラウザで開いた内容と、Fetch as Googleが取得した内容が違う場合は、Googlebotへ届くまでの配信経路を調べます。ファイアウォールや過負荷対策がGooglebotを止めていると、通常の閲覧者には見えるページでも取得に失敗することがあります。
サーバーやコンテンツ管理システムが、アクセス元に応じて別の本文を返すこともあります。Googleの不正アクセスを受けたサイトに関する資料は、検索エンジンのクローラーだけに挿入内容を見せる改変を挙げ、Fetch as GoogleでGoogleへ返す内容を確認するよう案内しています。
意図しないリンクや文章が取得結果に含まれる場合は、公開本文だけを書き直して終わりにしません。PHPファイル、テンプレート、CMSの追加機能、サーバー設定を調べます。修正作業を外部へ依頼する場合も、対象URL、取得日時、応答コード、取得内容を事業者側に残します。
取得とインデックス送信を分ける
URLの取得に成功すると、「インデックスに送信」を選べます。送信時には、そのURLだけを対象にするか、そのURLからリンクされているページも対象にするかを選びます。
ただし、送信はインデックス登録の申請であり、登録の保証ではありません。GoogleのURL送信に関する公式説明は、送信したURLも通常の手順で登録可否を判断すると説明しています。サイトの変更ごとに、必ず送信する必要もないとしています。
取得に失敗しているURLを送信しても、サイト側の問題は直りません。サーバー、robots.txt、転送、公開内容を修正し、同じURLをもう一度取得します。期待した応答と本文を確認できた場合だけ、早く再取得してほしい理由があるURLを送信します。
取得結果を修正前後で残す
Fetch as Googleは、実行した時点の取得結果を示します。一回成功した記録だけでは、別の日や別のURLの状態まで判断できません。修正前と修正後で、同じURL、同じ目的の結果を比べます。
記録には、対象URL、取得日時、取得状態、HTTPステータスコード、本文の相違、行った修正を残します。サイトを管理する会社が記録へアクセスできれば、制作会社やサーバー担当者が変わっても、どの応答を正しい状態としていたか確認できます。
まず、公開中の重要なページを一つ選んでください。ブラウザで開いたタイトルと本文の主要部分を記録し、Fetch as Googleで同じURLを取得します。HTTP応答と本文を比較し、相違がある箇所だけを修正対象にします。
関連記事
