GoogleのURL削除ツールはページ側の削除・noindex・robots.txtと役割を分けて使う

GoogleウェブマスターツールのURL削除ツールは、検索結果からURLや古いキャッシュを急いで外すために使います。ウェブ上のページやファイルを削除する機能ではありません。申請前に、実際のURLを削除するのか、検索結果だけから外すのか、古い説明文とキャッシュだけを更新するのかを決めます。

単一URL、ディレクトリ、キャッシュでは条件が違います。先にサイト側を処理し、その結果を確認してから申請します。ツールだけで検索結果から外しても、ページ側の状態を変えなければ再び表示されます。

URL削除ツールはサイト側の処理を早く反映する

GoogleのURL削除に関する公式説明は、ページの削除やアクセス制限を行えば、検索結果から自然に外れると説明しています。機密情報などを急いで外す必要があり、再クロールを待てない場合に、URL削除ツールで処理を早めます。

したがって、申請は最初の操作ではありません。サイト側で何を変えたか、HTTP応答やHTMLを確認できる状態にしてから使います。

この表は、URL削除ツールの申請条件を分けるためのものです。機密情報へのアクセスを止める必要がある場合は、検索向けの指定だけで済ませず、ファイルの削除や認証による制限も行います。

単一URLは404・410・noindex・robots.txtのいずれかを確認する

単一URLを完全に検索結果から外す申請では、URLの所有者が削除を認めた状態をサイト側で示します。公式説明は、次のいずれかを条件として挙げています。

• URLが実際に404 Not Foundまたは410 Goneを返す。
• HTMLのhead要素にnoindexを記述する。
• robots.txtでそのURLのクロールを遮断する。

画面に「ページが見つかりません」と表示するだけでは、404を返したことになりません。HTTPステータスコードを確認します。noindexはHTMLソースのhead要素内にあるかを確認します。robots.txtは、対象URLのパスが指定に合うかをGoogleウェブマスターツールのテスト機能で確かめます。

三つをすべて重ねる必要はありません。ページ自体をなくすなら404または410、ページは残すが検索結果から外すならnoindex、URL削除申請の条件としてクロールを止めるならrobots.txtというように、残したいものから選びます。

ディレクトリ削除は配下全体をrobots.txtで遮断する

ディレクトリ全体を申請する場合は、そのディレクトリ以下をrobots.txtで遮断します。ディレクトリの入口だけが404でも、配下のファイルが個別URLで読めるなら、ディレクトリ全体を削除した状態にはなりません。

たとえば、/private/以下を対象にするなら、次のようにパス全体を指定します。

User-agent: *
Disallow: /private/

このパスは説明用の仮例です。実在サイトの設定ではありません。末尾のスラッシュを含め、対象にしたいURLと残すURLを書き出してから設定します。広いパスを指定すると、残す予定のページまでクロールできなくなります。

サイト全体またはディレクトリ全体の削除申請は、Googleウェブマスターツールで確認済みの所有者だけが行えます。申請前に、対象サイトの所有権、robots.txtを変更できる担当者、申請を取り消せる所有者を確認します。

キャッシュ削除は公開ページを先に更新する

ページは残すが、検索結果のsnippetやキャッシュに古い文言が出ている場合は、公開中のページから対象の文言を先に削除または変更します。そのうえで、URL全体ではなくキャッシュの削除を申請します。

キャッシュ削除の公式説明では、キャッシュを削除しても、検索結果のtitleとURLは残る場合があります。ページが再クロールされると、更新した内容に基づくsnippetとキャッシュが表示されます。URLそのものを検索結果から外したい場合は、キャッシュ削除では足りません。

反対に、URLがすでに404または410を返すなら、Googleが公開ページを見て削除済みの文言を確認できません。この場合は、キャッシュだけでなくURL全体の削除を申請します。

通常の文章修正では、キャッシュ削除を毎回申請する必要はありません。Googlebotの再クロールと再登録を待ちます。機密情報など、古い文言を早く外す理由がある場合だけ、更新した実ページとキャッシュ削除を組み合わせます。

再表示を防ぐ条件はサイト側へ残す

Googleウェブマスターツールの公式ヘルプ保存版は、ページを更新または削除すれば検索結果から自然に外れ、急ぐ場合は削除申請で処理を早められると案内しています。

申請後も、選んだ状態を維持します。削除したURLは404または410を返し、検索結果から外すページはnoindexを残し、ディレクトリはrobots.txtの遮断を維持します。URLを再び200 OKで公開し、検索を許可すれば、Googlebotの再クロール後に検索結果へ戻る可能性があります。

URL削除ツールは、機密ファイルへのアクセスを止めません。URLを知る人が直接開ける状態なら、検索結果から外れても公開は続いています。情報を公開してはいけない場合は、サーバーから削除するか、認証なしでは読めない状態にします。

申請するURLと所有者を記録する

削除対象には、Google検索結果に出ている正確なURLを使います。URL指定に関する公式ヘルプ保存版は、大文字と小文字などの小さな違いでも別URLとして扱われる場合があるため、検索結果に出ているURLを正確に指定するよう案内しています。

同じ内容が複数URLで表示されている場合は、一件の申請がどのURLを対象にしたかを記録します。申請がRemovedになっても別URLが残るなら、ページ側のURL一覧と検索結果を照合します。キャッシュ削除とURL全体の削除も、申請種別を分けて記録します。

制作会社へ申請を依頼する場合も、確認済み所有者のアカウントを事業者が把握します。誰がページを削除し、誰がrobots.txtまたはnoindexを変更し、誰が申請し、誰が結果を確認するかを一件ごとに残します。

通常の404整理や正規URL選択には使わない

URL削除ツールを使わない場合の公式説明は、古い404ページの整理、ウェブマスターツールのクロールエラー削除、正規URLの選択には、このツールを使わないよう説明しています。

通常の削除済みページは、正しい404または410を返していれば、再クロールに応じて検索結果から外れます。クロールエラーの一覧から消すために申請しても、URL削除ツールが扱うのは検索結果であり、エラー報告ではありません。

同じ内容を持つ複数URLから代表を選ぶ作業も、削除申請ではなくcanonicalや301転送で行います。URL削除ツールは、残したいURLを選ぶ道具ではありません。緊急に外すURL、サイト側で行った処理、再表示を防ぐ条件がそろった場合だけ使います。