改善ガイド / クロール・インデックス
クロール・インデックス最適化ガイド — Googleとbot対策
検索エンジンとAIクローラーにページを正しく認識させるための設定方法。noindex・canonical・robots.txt・sitemap.xmlの正しい使い方を解説。
なぜこのカテゴリが重要なのか
どれだけ良いコンテンツでも、クローラーがページを正しく認識できなければSEO効果はゼロです。特にnoindexの誤設定やcanonicalの不備は致命的な問題になります。
チェックリスト（6項目）
HTTPステータスを200で返す
301/302リダイレクトが多すぎるとクロールバジェットを消費します。
noindexが意図せず設定されていないか確認
開発環境のnoindexが本番に残っているケースが多い。Google Search Consoleで定期確認。
canonicalを正しく設定する
重複コンテンツを防ぐためにcanonicalタグで正規URLを指定する。
robots.txtを設置・最適化する
不要なディレクトリのクロールを防ぎ、クロールバジェットを有効活用。
XML sitemapを作成・更新する
全ページをsitemap.xmlに含め、Google Search Consoleに登録する。
ページ表示速度を改善する（Core Web Vitals）
LCP・FID・CLSがSEOランキング要因。PageSpeed Insightsで確認。
実装コード例
<!-- canonical設定 -->
<link rel="canonical" href="https://example.com/canonical-page">
<!-- robots meta（デフォルト値なので通常不要） -->
<meta name="robots" content="index,follow">
<!-- robots.txt の例 -->
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Sitemap: https://example.com/sitemap.xmlよくある質問（FAQ）
Q. noindexを誤って設定した場合どうすれば良いですか？
A. すぐにnoindexタグを削除し、Google Search ConsoleのURL検査から再クロールをリクエストしてください。ただしGoogleのインデックス反映には数日〜数週間かかる場合があります。
Q. sitemap.xmlは必須ですか？
A. 必須ではありませんが、特に大規模サイトや新規サイトでは重要です。sitemap.xmlを登録することでGoogleが新しいページをより早く認識できます。
Q. canonicalとnoindexの使い分けは？
A. canonicalは重複コンテンツを統一（正規ページを指定）するために使います。noindexはページ自体をインデックスから外す場合に使います。重複ページはcanonicalで対処し、noindexは管理画面・確認ページなどに使います。