GoogleウェブマスターツールのIndex Statusは登録数、クロール数、除外数を分けて読む

GoogleウェブマスターツールのIndex Statusは、Googleに登録されたページ数の推移を確認するための機能です。見るべきものは、サイト内の全ページに対する登録率ではありません。登録済み、クロール済み、robots.txtでブロックされたURL、検索結果へ選ばれなかったURLを分け、サイトの変更日とグラフの変化を照らし合わせます。

数が増えた、減ったという事実だけでは、原因も良否も決まりません。まず各項目が数えている対象を確かめ、急な変化が起きた日から調査を始めます。

Index Statusの四つの数は同じ母数ではない

Index Statusの簡易表示では、現在Googleに登録されているページ数と、最長一年分の推移を確認できます。詳細表示へ切り替えると、次の数を比較できます。

GoogleウェブマスターツールのIndex Statusに関する説明は、これらの数が常に総数であると説明しています。ある日にTotal indexedが92と表示されても、その日に92ページが新しく加わったという意味ではありません。

Ever crawledは累計です。運用期間が長く、URLの追加や削除を重ねたサイトでは、Total indexedより大きくなります。この二つを割って「登録率」を出しても、現存する公開ページのうち何割が登録されたかは分かりません。

正常かどうかは必要なURLと照らして判断する

登録ページ数が多いほどよいわけではありません。検索結果へ出す必要のない管理用ページ、重複する印刷用ページ、同じ内容へ到達する複数のURLまで登録されれば、数は増えます。反対に、必要な商品ページや案内ページが登録されていなければ、総数が増えていても問題は残ります。

先に、検索結果へ出したいURLの範囲を決めます。XMLサイトマップ、主要な内部リンク、公開中のページ一覧を比べ、必要なURLが一つの表記へそろっているかを確認します。そのうえでIndex Statusを見れば、グラフの増減をサイト側の変更と結び付けやすくなります。

ページを追加した日は、追加数と同じだけTotal indexedがすぐに増えるとは限りません。GoogleがURLを発見し、クロールし、登録対象として選ぶまでには段階があります。Index Statusは、その段階をURLごとに表示する画面ではなく、サイト全体の傾向を見る画面です。

Total indexedが急に減ったら共通設定から確認する

Total indexedが緩やかに動いているときと、ある時点から急に落ちたときでは、調べる順序が違います。急な減少が見えたら、同じ時期に公開したテンプレート、共通ヘッダー、robots.txt、転送設定、URL構造の変更記録を確認します。

とくに、共通テンプレートへ誤ってmeta要素のnoindexを入れると、多数のページが検索結果から外れる原因になります。グラフが落ちた日と更新日が近ければ、個々の記事を直す前に、全ページへ影響する設定を調べます。

ただし、Total indexedの減少だけでnoindexが原因だとは断定できません。Index Statusが示すのは変化の所在です。原因の確認には、実際のHTML、robots.txt、サーバーの応答、クロールエラーを別に調べる必要があります。

Not selectedが増えたらURLの対応関係を確認する

URL構造を変更したあとにNot selectedが急増したなら、旧URLと新URLの対応を確認します。旧URLから対応する新URLへ転送されているか、rel="canonical"が意図したURLを示しているか、内部リンクとXMLサイトマップが新URLへそろっているかを見ます。

旧URLをすべてトップページへ転送したり、同じ内容へ複数のURLでリンクしたりすると、URLの関係が分かりにくくなります。移転表を作り、ページごとに転送先を決めてから、内部リンクとサイトマップを直します。

Not selectedには、選ばれなかった個々の理由やURLの一覧が示されるわけではありません。数の増加は調査の合図であり、その数だけ修正対象があるという意味でもありません。URLごとの状態は、サイトマップ、クロールエラー、Fetch as Googleなど、目的の異なる情報と組み合わせて確認します。

Blocked by robotsは増減より意図との一致を見る

Blocked by robotsが増えたら、まずrobots.txtの変更記録を見ます。会員用画面や重複URLなど、クロールさせない範囲を意図して増やしたなら、増加自体を障害とは判断できません。公開したいページまで規則に含まれていれば修正が必要です。

robots.txtでクロールを止めることと、検索結果から外すためにnoindexを使うことは同じではありません。どのURLをクロールさせず、どのページを検索結果へ出さないのかを分けて決めます。数を減らすことを目標にすると、必要な制御まで外しかねません。

グラフを見る日とサイトを変更する日を記録する

Index Statusを開いたら、Total indexedの最新値だけでなく、折れ線が変わった時点を記録します。その日付を、ページ公開、URL変更、テンプレート更新、robots.txt変更、サイト移転の記録と照合します。変化が小さければ週単位で比べ、急変していれば共通設定を先に調べます。

制作会社や運用担当へ調査を頼む場合も、「インデックス数を増やす」とだけ依頼してはいけません。検索結果へ出したいURL、変更した設定、変化が始まった日を渡し、調査した項目と修正内容を残してもらいます。Googleウェブマスターツールのアカウントと履歴は、サイト側でも確認できる状態にします。

最初の作業は、Total indexedとEver crawledの比率を計算することではありません。四つの数が示す対象を分け、グラフが変わった日とサイトの変更記録を並べてください。そこから、全体設定、URLの対応、個別URLの順に調べます。