• robots.txtのワイルドカードは*で文字列を広げ、$でURL末尾を固定する

  • robots.txtの*は任意の文字列、$はURL末尾に一致させるために使います。Disallowの対象を広げすぎず、AllowとテスターでURL単位に確認する方法を解説します。