Googleのcrawl budgetは小規模siteで増やすより必要なURLを正しく返すことを優先する

crawl budgetを増やすことは、URLが数千未満の小規模siteで最初に取り組むSEOではありません。Googleは、新しいpageが公開当日にcrawlされるなら、ほとんどのpublisherがcrawl budgetを気にする必要はないと説明しています。記事数を増やす前に、公開したURLが200で返るか、不要なURLを増やしていないか、server errorやsoft 404がないかを確認してください。

crawl budgetは、Googlebotがsiteに対してcrawlでき、かつcrawlしたいURLの数として説明されています。自分で数字を増やす設定ではありません。siteが遅い、server errorが多い、同じ内容のURLが多いといった状態を直さずに、Googlebotの訪問回数だけを増やそうとしても、利用者が読めるpageは増えません。

新しいpageが早く見つかるなら優先順位を下げる

Googleの2017年1月の案内では、新しいpageが公開した日にcrawlされるなら、crawl budgetを重視する必要はないとしています。URLが数千未満のsiteも、通常は効率よくcrawlされると説明されています。小規模な会社siteや個人事業のsiteでは、まず公開した記事、サービスpage、問い合わせpageが検索に必要な状態で返ることを見ます。

記事を増やす目的が検索から読者を受けることなら、URLの数だけを増やしても足りません。各pageに読者の疑問へ答える本文があり、他のpageと役割が分かれ、link先が正しい必要があります。短い文章を検索語だけ替えて増やすと、検索する人に渡す情報が薄くなるだけでなく、Googlebotが確認するURLも増えます。

説明用の仮例として、サービス紹介20pageと記事100本を持つsiteを考えます。新しい記事を公開したあと、そのURLを自分で開き、数日後にGooglebotが取得しているなら、crawl budgetを上げることへ時間を使う必要は薄いでしょう。それよりも、問い合わせpageがHTTP errorを返していないか、古いURLが関係のないtop pageへ飛ばされていないか、記事一覧に同じ記事が何度も並んでいないかを確認します。

反対に、商品一覧の絞り込みや検索結果からparameter付きURLを多数作るsiteでは、何をcrawlさせるかを整理する意味があります。同じ商品を色、並び順、ページ番号の違いだけで多くのURLに出すなら、どれが検索から読者へ見せたい正本かを決めます。大きなsiteや自動生成URLを持つsiteほど、URLの役割を整理する優先度が上がります。

crawl rateとcrawl demandを一つの数字にしない

Googleは、crawl rate limitとcrawl demandを合わせてcrawl budgetを説明しています。crawl rate limitは、Googlebotがsiteへ同時に接続できる数や、取得の間隔に関係します。siteが速く応答しているときは上がることがあり、遅い応答やserver errorが続くと下がることがあると案内されています。

crawl demandは、GoogleがそのURLをどれだけcrawlしたいかに関係します。外部でよく参照されるURLや、古くならないよう確認する必要があるURLは、より頻繁にcrawlされることがあります。siteを移すときのようにURL全体を確認する必要がある出来事も、crawl demandへ影響します。

この二つを同じ「Googlebotが来ない」という言葉で片付けないでください。serverが遅く、5xx errorが出ているなら、hosting、database、theme、外部serviceの応答を確認します。一方、公開したばかりの記事がまだ検索に出ないなら、本文、内部link、sitemap、公開状態を確認します。問題がserverなのか、URLの発見なのか、本文の価値なのかで、直す場所が違います。

たとえば、記事を公開した日にサイトマップへURLがあり、記事一覧からもlinkされ、browserで200を返すなら、まず待ってcrawlを確認します。その間に同じ記事を別slugで出し直したり、URLを何度も変えたりしません。URLを変えるたびに、Googlebotと読者が見つける入口を増やし、何を評価すべきか分かりにくくします。

低い価値のURLを減らすことは記事を消すことではない

Googleは、faceted navigation、session identifier、site内のduplicate content、soft error page、hacked page、infinite space、低品質またはspam contentのようなURLが、crawlとindexingへ悪い影響を及ぼし得ると説明しています。ここでいう対策は、古い記事を機械的に消すことではありません。利用者が読む価値のあるpageと、設定の結果だけで生まれたURLを分けることです。

たとえば、記事のtag page、日付別archive、site内検索resultが、多くのURLを作る場合があります。各URLへ固有の案内と役割があり、利用者が読むなら残す理由があります。ところが、同じ記事のtitleだけを並べ、本文も独自の説明もないpageなら、検索結果へ出す意味を確認します。indexさせるか、内部linkのために残すか、URLをまとめるかを、pageごとに決めます。

soft 404も、crawl budgetのためだけに直すものではありません。存在しないサービスpageを、何の説明もないまま200で返す、または関係のないtop pageへ送ると、利用者も必要な情報へ進めません。移転先があるURLは対応するpageへ301で移し、移転先がないURLは404または410として扱います。URLの意味とHTTP statusをそろえることが先です。

外部へSEO作業を頼むときは、「crawl budgetを改善する」とだけ依頼しません。対象URL、現在のHTTP status、重複する理由、直したあとに残すURL、確認するreportを渡します。記事を削る人、redirectを設定する人、公開を判断する人を分け、何を失う可能性があるかも確認します。URLを減らす操作は、検索だけでなく、既存のlinkや利用者のbookmarkにも影響します。

最初に見るのはURLの数ではなく公開状態である

小規模siteで最初に行う確認は、URL数を数えることではありません。最近公開した記事を三本選び、公開URLが200で返るか、記事一覧からlinkできるか、sitemapに入っているか、内容が他の記事と重複していないかを見ます。次に、存在しないURLを一つ開き、404の扱いと案内を確認します。

新しいpageが見つかり、siteの応答も安定しているなら、crawl budgetを理由に設定を増やす必要はありません。次に書くべき記事の検索意図、本文、内部linkを整えます。Googlebotに多く来てもらうことを目的にせず、利用者とGooglebotの両方が迷わず読めるURLを増やします。

最初の一手は、最近公開した三つのURLを開き、200、内部link、本文の役割を一枚に記録することです。その結果を見てから、server errorや不要なURLを直す必要があるかを判断します。