Googleの検索セントラルには「クロールとインデックス登録」という章があり、その最初のページが、章全体の目次にあたる概要ページです。27ページへの入口が、1枚の表に並んでいます。
この記事は、その概要ページ「Overview of crawling and indexing topics」を英語版の原文から読み、どこに何が書かれているかを地図にします。公開済みの個別記事への道案内も兼ねています。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。サイトがGoogleに見つけられ、検索結果に載るまでの入口を、先に全体で押さえておくと、個別の設定を迷わず選べます。
結論：3行で言うと
- 設定の手順は、個別ページ側に書かれています。この概要ページにあるのは、27の個別ページへの目次と、一部の行の一言説明だけです
- 27ページは、サイトマップ、クロールの管理、robots.txt、正規化、メタデータ、削除、サイトの移転と変更に分かれます。自社サイトで困りごとが起きた場所から、該当の行を開く使い方が向いています
- 英語版と日本語版で、並びも27ページの顔ぶれも同じでした。保存版で比べると、この一覧は2022年から少しずつ入れ替わり、2025年6月以降は変わっていません
このページの基本情報
| 項目 | 内容 |
|---|---|
| 原題（英語） | Overview of crawling and indexing topics |
| 日本語版の題名 | クロールとインデックス登録に関するトピックの概要 |
| 英語版の最終更新日 | 2025年12月10日 |
| 日本語版の最終更新日 | 2025年12月31日 |
| Google検索セントラルの中の位置（章） | 「クロールとインデックス登録」（Crawling and indexing）の最初のページ |
| 直近の主な更新 | 変更履歴にこのページを名指しした項目は見つかりませんでした。保存版で見ると、リンクの最後の変化は2025年6月ごろの safesearch の削除です |
Googleがこのページで言っていること
冒頭の2段落
冒頭は、この章が何のためにあるかの説明です。Googleがコンテンツを見つけて解析する力を、サイト側が制御する方法と、特定のコンテンツをクロールさせない方法を扱うとされています。
原文には、次の一文があります。
The topics in this section describe how you can control Google’s ability to find and parse your content（この章の各ページは、Googleがあなたのコンテンツを見つけて解析する力を、あなたが制御する方法を説明します）
続けて、クロールとインデックス登録の全体像を知りたい人は、先に「How Search works」のガイドを読むよう案内しています。弊社のHow Search worksの解説が、そのガイドの読み方です。
27ページの地図
原文は、1つの表に27ページを並べています。見出しが付いているのは「Crawler management」「Page and content metadata」「Removals」「Site moves and changes」の4つです。
最初の3行（File types、URL structure、Sitemaps）と、robots.txt、Canonicalization、Mobile sites、AMP、JavaScriptの5行は、見出しなしの単独の行です。区分の列は、原文の見出しに従い、見出しのない行は「単独」と書きました。
一言の説明が付いているのは、単独の8行だけです。たとえばrobots.txtは「どのページやファイルをクローラーが取得できるかを知らせるファイル」、Canonicalizationは「重複ページをGoogleに知らせ、過度なクロールを避ける方法」と紹介されています。
見出し付きの区分にある19ページは、題名だけの案内です。表の右端が、弊社の解説記事です。
「―」は、2026年11月5日時点で弊社の解説が未公開のページです。
| 区分 | 公式ページ（英語版の題名） | 弊社の解説 |
|---|---|---|
| 単独 | File types indexable by Google | Googleが登録できるファイル形式 |
| 単独 | URL structure | URL構造のベストプラクティス |
| 単独 | Sitemaps | サイトマップについて／作成と送信／画像サイトマップ／拡張機能の統合 |
| Crawler management | Ask Google to recrawl your URLs | 再クロールのリクエスト |
| Crawler management | Managing crawling of faceted navigation URLs | ― |
| Crawler management | Large site owner’s guide to managing your crawl budget | ― |
| Crawler management | How HTTP status codes, and network and DNS errors affect Google Search | ― |
| Crawler management | Google crawlers | ― |
| 単独 | robots.txt | robots.txtの概要 |
| 単独 | Canonicalization | 正規化とは／正規URLの指定方法／正規化に関する問題の修正 |
| 単独 | Mobile sites | 関連：モバイルファーストインデックス |
| 単独 | AMP | ― |
| 単独 | JavaScript | ― |
| Page and content metadata | Use valid HTML to specify page metadata | ― |
| Page and content metadata | All meta tags that Google understands | 関連：metaタグを残すか消すかの判断 |
| Page and content metadata | Robots meta tag, data-nosnippet, and X-Robots-Tag specifications | robots metaタグとX-Robots-Tag |
| Page and content metadata | Block indexing with the noindex meta tag | noindexの書き方と効かない条件 |
| Page and content metadata | Make your links crawlable | リンクの張り方の公式ガイド |
| Page and content metadata | Qualify your outbound links to Google with rel attributes | 関連：nofollowの使い分け |
| Removals | Control what you share with Google | ― |
| Removals | Remove a page hosted on your site from Google | ― |
| Removals | Remove images hosted on your page from search results | ― |
| Removals | Keep redacted information out of Google Search | ― |
| Site moves and changes | Redirects and Google Search | リダイレクトとGoogle検索 |
| Site moves and changes | Site moves | URLが変わるサイト移転／関連：ホスティングの変更 |
| Site moves and changes | Minimize A/B testing impact in Google Search | ― |
| Site moves and changes | Temporarily pause or disable a website | ― |
「関連」と書いた行は、原文の行が指すページそのものではなく、近い主題の弊社の記事です。「Mobile sites」の行が指すのは、モバイルサイト全体の入口です。
英語版と日本語版の違い
確認した日付時点で、内容の差は見つかりませんでした。27ページへのリンクは、並びも含めて英語版と日本語版で一致しました。
気づいた点は日付です。日本語版の最終更新日（2025年12月31日）のほうが、英語版（2025年12月10日）より21日新しくなっています。
通常は英語版が先に更新され、日本語版が後から追いつきます。日付が逆転した理由は原文に記載がなく、不明です。
このページの一覧が、どう変わってきたか
Internet Archiveに保存された、英語版の6つの版を取得し、リンク先を比べました。比べたのは一覧のリンク先の増減です。
追ったのは、リンク先の増減だけです。
| ページ表示の最終更新日 | リンク数（重複を含む） | 前の版との違い |
|---|---|---|
| 2022-09-22 | 33 | 最初の比較対象。「Make sure Googlebot isn’t blocked」の行のほか、reduce-crawl-rate、verifying-googlebot、safesearch へのリンクがありました |
| 2022-12-02 | 31 | 「Make sure Googlebot isn’t blocked」へのリンクと、specialty/international へのリンクが消えました |
| 2024-04-11 | 31 | crawling-indexing/mobile、robots metaタグ、site-move-with-url-changes へのリンクが加わりました。advanced/mobile/overview と what-is-site-move へのリンクが消えました |
| 2025-03-06 | 30 | ファセットナビゲーションの行が加わりました。reduce-crawl-rate と verifying-googlebot へのリンクが消えました |
| 2025-06-04 | 29 | safesearch へのリンクが消えました |
| 2025-12-10 | 29 | 一覧の文章とリンクは、前の版と同じでした（2025年12月18日の保存版で確認） |
保存版は、すべての日にあるわけではありません。取得できた版の間にも、小さな変更が入った可能性が残ります。
確かなのは、2025年12月10日の更新で、一覧の中身は変わっていない点です。日付が新しくなっても、中身が変わったとは限りません。
このページから、言えること・言えないこと
| 言えること | 言えないこと |
|---|---|
| この章に、27の個別ページがある | 27ページを順番に実行すると、検索結果に載る（そうは書かれていません） |
| クロールを制御する方法と、クロールさせない方法の両方を扱う章である | ここに挙がった設定をすべて入れる必要がある（目次であり、自社に当てはまる行だけ読めば足ります） |
| 全体像は「How Search works」のガイドが案内先とされている | この概要ページだけで、クロールとインデックス登録の仕組みが分かる |
| robots.txt、正規化、メタデータ、削除、移転が、別々のページに分かれている | どの方法を選んでも同じ結果になる（目的ごとに別のページがあります） |
中小企業の視点で、どう受け取るか
ここからはGoogleの説明とは別の、私の読み取りです。27ページは、必要な行から読めば足ります。
1. まず「見つけてもらう」入口を確かめる
最初の確認は、サイトマップとrobots.txtです。ブラウザで自社のドメインの末尾に「/robots.txt」と「/sitemap.xml」を付けて開きます。
WordPressの多くは、プラグインがサイトマップを自動で作ります。どちらも表示されれば、入口は足りています。
2. 次に「載せたくないページ」が載っていないかを見る
WordPressの管理画面で「設定」→「表示設定」を開き、「検索エンジンがサイトをインデックスしないようにする」にチェックが入っていないかを見ます。公開済みのサイトでこのチェックが入っていると、全体に影響します。
そのうえで、Search Consoleの「ページ」のレポート（インデックス登録の状況）を開きます。理由の一覧に「noindexタグによって除外されました」が出ていないかを確かめます。
3. 困りごとの種類で、読む行を決める
古い情報を検索結果から消したいなら「Removals」の行です。サイトのアドレスを変えるなら「Site moves and changes」の行です。
似たページが多くて、どれが検索に出るか分からないなら、「Canonicalization」の行です。表の右端のリンクから、弊社の解説に進めます。
4. 規模が小さいサイトで、後回しにしてよい行
これも私の判断です。ページ数が数十〜数百のサイトでは、「crawl budget」や「faceted navigation」の行を、まず読む必要はないと考えます。
前者の題名に「Large site owner’s guide（大規模サイトの所有者向けガイド）」とあるためです。自社の規模に当てはまるかは、題名で見当がつきます。
弊社のサイトで確かめたこと
2026年11月5日に、kenkyo.ai に対して次の確認をしました。この章の入口にあたる、サイトマップ、robots.txt、インデックス登録の指定の確認です。
| 確認した内容 | 結果 |
|---|---|
curl -sL https://kenkyo.ai/robots.txt |
全ロボット向けに /wp-admin/ を禁止し、/wp-admin/admin-ajax.php だけ許可。サイトマップの場所を2行で案内していました |
curl -sI https://kenkyo.ai/sitemap.xml |
HTTP 200。中身はサイトマップの目次で、投稿、固定ページ、カテゴリ、タグなど7つの子サイトマップを並べていました |
| トップページと記事1本のHTMLのhead | どちらも rel="canonical" が自分自身のURLを指していました。robotsの指定は max-image-preview:large のみで、noindexはありませんでした |
| 記事1本のHTTPヘッダー | 200を返し、X-Robots-Tagの指定はありませんでした |
概要ページが案内する入口の範囲では、検索結果への載り方を止める設定は見つかりませんでした。数字（クリック数など）は、Search Consoleの管理画面を私が見られないため、書く対象から外しています。
よくある質問
クロールとインデックス登録の概要ページには、何が書かれていますか
27の個別ページへの目次と、一部の行の一言説明です。設定の手順は、個別のページに書かれています。
クロールとインデックス登録は、何が違うのですか
この概要ページに2つの言葉の定義はなく、全体像は「How Search works」のガイドへ案内しています。
ここからは私の読み取りです。クロールはGoogleがページを取りに来ること、インデックス登録は取得した内容を整理して、検索結果に出せる状態にすることだと捉えると、各ページの位置づけを整理しやすくなります。
クロールとインデックス登録の27ページは、全部読むべきですか
原文に読む順番の指定はなく、自社の困りごとに近い行から開く読み方を、先ほど提案しました。
まとめ：今日できる1つのこと
自社のドメインの末尾に「/robots.txt」を付けて開き、見知らぬ禁止指定が入っていないかを5分で確かめてください。次に、上の表から、いま気になる行を1つだけ選んで開きます。
この記事は、Google検索セントラル解説の一覧の一本です。ほかのページの解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか？
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません
