【Google検索セントラル解説】robots.txtの概要｜管理できること、隠せないこと、3つの限界を原文で整理

「robots.txtに書いておけば、そのページはGoogleに出ない」と思っている方は、少なくありません。Googleは検索セントラルに、robots.txtの役割を説明する1ページを用意しています。

この記事は、そのページ「Introduction to robots.txt」を英語版の原文から読んで整理します。

robots.txtで何を管理でき、何を管理できないのか。英語版と日本語版の比べ読み、更新の経緯、弊社のサイトで確かめたことも書きます。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。

検索に出したくないページを、正しい手段で扱えているか。その確認の出発点として、このページを原文で読みました。

結論：3行で言うと

• robots.txtは、検索エンジンのクローラー（サイトを巡回するプログラム）に、アクセスしてよいURLを伝えるファイルです。主な目的は、サイトへのリクエストの集中を避けることとされています
• ページをGoogleに出さないための仕組みとしては、Googleは別の手段（noindexまたはパスワード保護）を案内しています。robots.txtでブロックしても、ほかのページからリンクされていれば、URLが検索結果に出ることがあります
• robots.txtの指示に従うかどうかは、クローラー次第です。情報を守りたいときは、パスワード保護などの別の方法を使うよう、原文は勧めています

このページの基本情報

項目	内容
原題（英語）	Introduction to robots.txt
日本語版の題名	robots.txt の概要
英語版の最終更新日	2025年12月10日
日本語版の最終更新日	2025年12月18日
Google検索セントラルの中の位置（章）	「クロールとインデックス登録」の章にある、robots.txtの項目の入口のページです
直近の主な更新	2025年12月10日の更新は変更履歴に載っておらず、Internet Archiveの前の版と比べると表記の整えでした。内容が動いた更新は、本文の「更新の経緯」に書きました

原文はこちらで読めます。英語版／日本語版。

Googleがこのページで言っていること

冒頭：robots.txtの役割と、使えない場面

robots.txtは、検索エンジンのクローラーに、サイト上でアクセスしてよいURLを伝えるファイルです。

原文は、その主な目的を「サイトがリクエストで過負荷になるのを避けること」と説明します。

そのうえで、ウェブページをGoogleに出さないための仕組みではないと、太字で強調しています。

Googleに出したくないページには、noindexでインデックス登録（検索結果に載せるための登録）をブロックするか、パスワードで保護する方法が案内されています。

ホームページ作成サービスを使っている場合

原文は冒頭に、ホームページ作成サービスやブログサービスを使っている場合の注記を置いています。

robots.txtを直接編集する必要がない、または編集できないことがあります。その場合は、サービス側の検索設定のページなどで、使っているサービスの手順を探すよう案内しています。

ファイルの種類ごとの効果

原文は、robots.txtの効果を、対象のファイルの種類ごとに3行の表で示しています。

対象	robots.txtでできること	原文が添えている注意
ウェブページ（HTML、PDFなど、メディア以外でGoogleが読める形式）	サーバーが過負荷になりそうなときのクロールの管理。重要でないページや似たページのクロールを避けること	検索結果から隠す手段としては使わないでください。ブロックしても、ほかのページから説明つきでリンクされていれば、Googleがページを訪れないままURLを登録することがあります。その場合、検索結果には出ますが、説明は付きません
メディアファイル（画像・動画・音声）	クロールの管理と、検索結果への表示の防止	ほかのページやユーザーが、その画像・動画・音声へリンクすること自体は止められません
リソースファイル（画像・スクリプト・スタイルシートなど）	重要でないものを、ブロックできます	それがないとGoogleがページを理解しにくくなるものは、ブロックしないでください。ページの分析の精度が下がります

ウェブページの行には、もう1つ注意があります。

ブロックしたページに埋め込まれた画像・動画・PDFなどのHTML以外のファイルも、クロールされなくなります。ただし、クロールが許可されている別のページがそれを参照している場合は、この限りではありません。

検索結果に説明なしでURLだけが出ている場合の直し方も、同じ行に書かれています。

ブロックしているrobots.txtの記述を削除してください。完全に隠したいときは、別の方法を使います。

robots.txtの限界：3つ

原文は、ファイルを作る前に知っておくべき限界を、3つ挙げています。

限界	原文の説明の要点
すべての検索エンジンが対応するとは限らない	robots.txtは、クローラーの動作を強制できません。Googlebotなど信頼できるクローラーは従いますが、従わないクローラーもあります。情報を守りたいなら、サーバー上のファイルのパスワード保護など、別の手段が勧められています
クローラーごとに構文の解釈が違う	信頼できるクローラーでも、ルールの解釈は異なることがあります。クローラーによっては、特定の指示が理解されないことがあります。クローラーごとに適切な構文を把握する必要があります
許可していないページでも、リンクされていればインデックスされうる	Googleはブロックされた内容をクロールもインデックス登録もしませんが、ほかのサイトからリンクされていれば、URLを見つけて登録することがあります。URLやリンクのアンカーテキストなど、公開されている情報が検索結果に出る場合もあります

3つ目の対策として、原文は、サーバー上のファイルのパスワード保護、noindexのmetaタグまたはレスポンスヘッダー、ページの削除を挙げています。

最後の注意書きによると、クロールとインデックスのルールを複数組み合わせると、ルールどうしが打ち消し合うことがあります。組み合わせ方は、別のページ（robots metaタグの仕様）に説明があると案内されています。

作成と更新

このページは、作り方のページ、更新方法のページ、Googleによるrobots.txtの仕様の解釈のページへのリンクを並べて終わります。

英語版と日本語版の違い

英語版と日本語版を、文の単位で読み比べました。確認した日付は2026年10月8日です。

比べた箇所	英語版	日本語版	差
最終更新日	2025年12月10日	2025年12月18日	日本語版が8日新しい
冒頭の説明とサービス利用者向けの注記	あり	あり	内容は同じ
ファイルの種類ごとの表、限界の3項目、最後の注意書き、末尾のリンク3本	あり	あり	内容は同じ

私が読み比べた範囲では、内容の差は見つかりませんでした。

日付だけを見ると、日本語版のほうが新しくなっています。ただし、このページだけの特徴ではありません。

2026年10月3日時点で日付を控えた検索セントラルの161ページのうち、日本語版が新しいのは155ページ、同じ日付が4ページ、英語版が新しいのは2ページでした。

日本語版の更新で何が変わったのかは、本文を読み比べても特定できませんでした。

更新の経緯

Googleの検索セントラルの変更履歴（英語版）と、Internet Archiveに保存された英語版の過去の版を調べました。確認した日付は2026年10月8日です。

変更履歴には、このページを指す項目が1つありました。ほかに、関連する更新が1つありました。

日付	変更履歴の記載	このページとの関係
2025年11月20日	クロールに関する文書を、Googleのクロール基盤の文書という新しい置き場所へ移した。内容は変えていない。移した文書に「Googleによるrobots.txtの仕様の解釈」が含まれる	このページの末尾にある3本のリンクは、新しい置き場所を指しています
2021年6月18日	導入ページを簡潔にし、robots.txtとは何で何のためのものかをわかりやすくした	このページ自体への言及です

変更履歴に載っていない変更は、Internet Archiveの版を比べて調べました。ページに「最終更新日」として表示されている日付が違う5つの版の、本文の文章を比べています。

比べた版（表示された最終更新日）	見つかった差
2022年11月22日の版 → 2023年12月1日の版	警告文が、PDFなどGoogleがサポートするテキスト形式も対象に含めた。ブロックしたページに埋め込まれたHTML以外のファイルは、「許可された別のページが参照していない限り」クロールから除外される、という条件が加わった。末尾に「詳しくは」のリンク3本が加わった
2023年12月1日 → 2024年12月5日 → 2025年2月4日の3つの版	文章の差は見つかりませんでした
2025年2月4日の版 → 2025年12月10日の版	「Google search」を「Google Search」に、「will not」を「won’t」にするなど、表記を整えた箇所だけでした。意味の変更は見つかりませんでした

1行目の変更が行われた時期は、2022年11月から2023年12月の間としか言えません。保存されていない版と、リンク先や見た目の変更は見ていません。

このページから、言えること・言えないこと

言えること	言えないこと（よくある誤解）
robots.txtは、クローラーのアクセスを管理するためのファイルである	robots.txtに書けば、そのページがGoogleに出なくなる。原文はこの使い方に警告しています
ブロックしたページのURLが、説明なしで検索結果に出ることがある	ブロックすれば、そのページの情報は検索結果に一切出ない。URLやアンカーテキストは出ることがあります
Googlebotなど信頼できるクローラーは、robots.txtに従う	すべてのクローラーが従う。原文は、従うかどうかはクローラー次第としています

中小企業の視点で、どう受け取るか

ここからはGoogleの説明とは別の、私の読み取りです。自社サイト（WordPressが多いと思います）で、確認する順番に書きます。

1. まず自社のrobots.txtを開く

ブラウザのアドレス欄に、自社のドメインの後ろに /robots.txt を付けて開きます。書かれている Disallow の行を、すべて読んでください。

Googleの別のページ「Update your robots.txt file」（英語版、2025年11月21日更新）によれば、Search Consoleのrobots.txtレポートからも、ファイルの内容をコピーできます。画面の位置は変わることがあるので、Search Consoleの設定の中を探してください。

WordPressの管理画面の「設定」→「表示設定」には、検索エンジンにインデックスしないよう求めるチェックがあります（公式ドキュメントの英語表記は「Discourage search engines from indexing this site」）。

WordPressの公式ドキュメントによれば、オンにするとバージョン5.3以降は、サイトのページに noindex と nofollow の指定（robotsのmetaタグ）が出力されます。5.2までは、robots.txtに「Disallow: /」を返す仕組みでした。

同じ公式ドキュメントは、これはお願いで、アクセスを止めるものではないとも書いています。公開済みのサイトでオンのままになっていないか、確かめてください。

2. 検索に出したくないページは、noindexかパスワード保護で扱う

このページが警告しているのは、robots.txtを「隠す道具」として使うことです。noindexを併用するときには、もう1つ注意があります。

Search Consoleのヘルプ「No page information in search results」（英語版）には、ページを検索結果から完全に消したい場合、robots.txtのブロックも外す必要があると書かれています。Googleがページを読めないと、noindexに気づけないからです。

実務での切り分けの手順は、別の記事「公開した記事が検索に出てこないときの診断手順」にまとめています。この記事は公式ページの解説、あちらは手順の記事です。

3. 検索結果に、説明文のないURLが出ていないか見る

自社のページが、説明なしのURLだけで検索結果に出ていたら、robots.txtでブロックしている可能性があります。

原文の直し方は、ブロックしている記述を削除することです。出したくないページなら、noindexなど別の方法に切り替えます。

4. 見た目や表示に必要なファイルを止めていないか確かめる

テーマやプラグインが使う画像・スクリプト・スタイルシートを、フォルダ単位でまとめてブロックしていないか確認します。

robots.txtを更新した後、Googleが保存している控えは、24時間ごとに更新されると書かれています（先ほどの「Update your robots.txt file」より）。急ぐときは、Search Consoleのrobots.txtレポートの再クロール依頼を使います。

弊社のサイトで確かめたこと

2026年10月8日に、弊社のサイト（kenkyo.ai）に対して、次の確認を行いました。Search Consoleなどの管理画面の数字は見ていません。

robots.txtの中身

コマンドは curl -sL https://kenkyo.ai/robots.txt です。

HTTPステータスは200、種類はテキスト（text/plain）で返りました。中身は次のとおりです。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://kenkyo.ai/sitemap.xml
Sitemap: https://kenkyo.ai/sitemap.rss

読み取れることは2つです。全クローラーが対象であること。止めているのは管理画面のフォルダだけで、その中のadmin-ajax.phpだけは許可していること。

記事・画像・スタイルシートを止める行は無いことも分かります。

サイトマップの2本には、どちらもアクセスできました。sitemap.xmlは200、sitemap.rssも200で、種類はXMLでした。

止めているはずの管理画面に、アクセスするとどうなるか

robots.txtで止めている /wp-admin/ に、curl -sI https://kenkyo.ai/wp-admin/ でアクセスしてみました。

結果は302で、ログイン画面（wp-login.php）への転送でした。

robots.txtの記述は、アクセスを拒む働きをしていません。入口を守っているのは、ログインの仕組みです。

これは、原文の「robots.txtはクローラーの動作を強制できない」という説明を、自社サイトで目で見られる例です。

トップページに、noindexは付いているか

トップページのHTMLを読んで、robotsのmetaタグを探しました。

見つかったのは1つで、内容は max-image-preview:large だけです。noindexは入っていません。

レスポンスヘッダーにも、X-Robots-Tagは見当たりませんでした。

よくある質問

Q. robots.txtでブロックしたページは、Googleの検索結果から消えますか？

消えるとは限りません。ほかのページから説明つきでリンクされていれば、Googleがページを訪れないままURLを登録することがあります。

その場合、検索結果には出ますが、説明は付きません。完全に隠したいなら、パスワード保護かnoindexを使います。

Q. robots.txtとnoindexは、どちらを使えばよいですか？

目的で分かれます。robots.txtはクロール（巡回）の管理、noindexは検索結果への登録を防ぐ手段です。

Search Consoleのヘルプによれば、noindexを使うときは、robots.txtのブロックも外してGoogleがページを読める状態にします。

まとめ：今日できる1つのこと

ブラウザで、自社のドメインの後ろに /robots.txt を付けて開いてください。Disallow の行を1行ずつ読み、意図どおりかを確かめます。

所要時間は数分です。止めるつもりのないページが見つかることがあります。

この記事は、Google検索セントラル解説の一覧の一本です。ほかのページの解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。