Googleウェブマスターツールのリダイレクト後のクロールエラーは最終URLを調べる
公開日： 執筆：佐藤
Googleウェブマスターツールのクロールエラーに見覚えのないURLが出たら、そのURLだけを探して直してはいけません。別のURLからリダイレクトされた末尾でエラーが起きると、一覧にはエラーを返した最終URLが表示されます。
最初に表示されたURLのHTTP応答を確認し、次にそのURLへ到達する転送元を調べます。直す対象は、一覧に出たURLではなく、誤ったリンクや転送設定である場合があります。
クロールエラーにはエラーを返した最終URLが表示される
Googleのクロールエラー報告に関する公式記事によると、URLが別のURLへリダイレクトされ、その転送先がエラーを返した場合、クロールエラーには転送元ではなく最終URLが表示されます。リダイレクトの種類や、最終URLが返すエラーの種類には左右されません。
たとえば、次の転送があるとします。URLと応答は説明用の仮例です。
/old-service/ 301 Location: /service/
/service/ 404 Not Found
一覧に出るのは/service/です。しかし、Googleが/old-service/をどこで見つけたのか、転送設定を誰が残したのかは、この表示だけでは分かりません。
最終URLはエラーが発生した場所です。エラーへ到達した原因まで示す名前ではありません。
最終URLの表示と転送元の原因を分ける
調査では、URLを三つの役割へ分けます。
| 役割 | 確認すること |
|---|---|
| 発見元 | サイト内リンク、サイトマップ、外部リンクのどこからURLを見つけたか |
| 転送元 | どのHTTPステータスとLocationで次のURLへ送っているか |
| 最終URL | 転送の末尾で200、404、410などのどの応答を返すか |
クロールエラーの一覧は、最終URLを調べる入口です。発見元や転送元の設定まで自動で直してくれるものではありません。
たとえば、サイト内メニューが古いURLを指し、そのURLが存在しない新URLへ301転送されているなら、直す候補は二つあります。メニューを正しいURLへ変更し、301の転送先も正しいURLへ変更します。最終URLへ別の転送を足すだけでは、誤った経路を残します。
HTTP応答を末尾から確認する
まず、クロールエラーに表示された最終URLを直接取得します。ブラウザーの見た目だけでなく、HTTPステータスと本文を確認してください。
次に、サーバーのリダイレクト設定、アクセスログ、サイト内検索を使い、そのURLへ送っている転送元を探します。curlやHTTP header checkerで転送を追う方法もあります。
確認結果は、次のように一行ずつ残します。
確認URL: https://example.com/old-service/
1回目: 301 -> https://example.com/service/
2回目: 404
発見元: サイト内メニュー
修正対象: メニューのリンクと301の転送先
この記録も仮例です。実際のサイトでは、URLごとに転送回数、最終応答、発見元、修正担当を記録します。
301、404、410はURLの扱いに合わせて選ぶ
最終URLに対応するページが存在し、URLだけを変更したなら、転送元から対応する新URLへ301で送ります。すべての旧URLをトップページへ送るのではなく、内容が対応するURLを選びます。
代わりになるページがなく、削除した状態が正しいなら、最終URLの404または410を無理に200へ変える必要はありません。その場合は、サイト内リンクとサイトマップから削除済みURLを外し、利用者を存在しないページへ送り続けないようにします。
ページが存在するのに404を返す場合は、公開ファイル、WordPressのパーマリンク、Webサーバーのrewrite規則、権限を確認します。表示用のエラーページを整えることと、正しいHTTPステータスを返すことは別の作業です。
サイト移転では旧サイトと新サイトの件数を一緒に見る
サイト移転で旧ドメインから新ドメインへ転送している場合、転送の末尾で起きたエラーは新サイト側の最終URLとして表示されます。旧サイトのエラー件数が減り、新サイトの件数が増えても、それだけで新しい障害が増えたとは判断できません。
旧サイトと新サイトのGoogleウェブマスターツールを別々に見ず、同じ期間の件数とURLを対応させます。移転表には、旧URL、新URL、転送応答、最終応答、修正状況を並べます。
一覧の件数は調査の優先順位を決める材料です。原因を確定するには、個々のURLの転送経路と最終応答が必要です。
修正後は同じ経路をもう一度取得する
修正後は、最終URLだけでなく、最初に発見された転送元から取得し直します。途中のURLが一つ増えたり、別のエラーへ到達したりしていないかを確認します。
確認する順序は次のとおりです。
- 転送元が意図したHTTPステータスを返す
Locationが対応するURLを指す- 転送の末尾が意図した200、404、410を返す
- サイト内リンクとサイトマップが正しいURLを使う
- Googleウェブマスターツールで同じURLの状態を追う
最初の一手は、クロールエラーに出たURLを直接取得し、HTTPステータスを記録することです。そのURLだけを修正候補にせず、転送元と発見元まで一つの経路として調べてください。
関連記事
