【Google検索セントラル解説】Googlebotとは何か｜読む量の上限は15MBから2MBへ、なりすましの見分け方も

2026年11月5日

中野輝規

自社サイトのアクセスログに「Googlebot」という名前が並んでいて、気になったことはありませんか。これは何者で、どのくらいの頻度で来て、止めたいときはどうすればよいのでしょうか。

Googleは、この疑問に答える短い1ページを検索セントラルに置いています。この記事では、そのページ「Googlebot」を英語版の原文から読んで整理します。

英語版と日本語版の比べ読み、更新の経緯、弊社のサイトで確かめたことも書きます。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。サイトの状態をGoogleがどう読みに来るかは、その測定の前提にあたるため、このページを原文で確かめました。

結論：3行で言うと

Googlebotは、Google検索が使う2種類のクローラー（サイトを巡回して読む自動プログラム）の総称です。スマートフォン用とパソコン用があり、robots.txtでは同じ名前で扱われるので、どちらか片方だけを指定することはできません
2026年2月3日の更新で、HTMLなどを読む量の上限が15MBから2MBに書き換わっています（PDFは64MB）。旧版の15MBは、保存された過去の版（2025年12月1日保存）で確かめました。この記載の変わった理由が実際の動作の変更かどうかは、変更履歴に書かれていません
Googlebotを名乗るアクセスにはなりすましが多いと、原文は注意しています。ブロックする前に、逆引きDNSかIPアドレスの範囲で本物かを確かめます

このページの基本情報

項目	内容
原題（英語）	Googlebot
日本語版の題名	Googlebot
英語版の最終更新日	2026年2月3日
日本語版の最終更新日	2026年2月6日
Google検索セントラルの中の位置（章）	URLの階層が「crawling-indexing」（クロールとインデックス登録）にあたるページです
直近の主な更新	2026年2月3日に、ファイルサイズの上限の書き方を更新しました（詳細は後の節）

原文はこちらで読めます。英語版／日本語版。

クロールとインデックス登録の全体像は、クロールとインデックス登録の概要ページの解説にまとめています。この記事は、その中のGooglebotという1つのページに絞った解説です。

Googleがこのページで言っていること

Googlebotは2種類のクローラーの総称

Googlebotという名前の下に、2つのクローラーがあります。

スマートフォン用Googlebot：モバイル端末を使うユーザーを模して、ページを読むクローラー
パソコン用Googlebot：パソコンを使うユーザーを模して、ページを読むクローラー

どちらのクローラーかは、リクエストに付くHTTPのuser-agentヘッダー（名乗りの文字列）で見分けられます。

ただし、robots.txtでは両方が同じプロダクトトークン（user-agentトークン）に従います。そのため、片方だけを許可したり、止めたりはできません。

Googleは、ほとんどのサイトで、主にモバイル版の内容をインデックスに登録すると書いています。したがってクロールの大半はスマートフォン用が行い、パソコン用は少数派です。

来る頻度：平均すると数秒に1回以内

ほとんどのサイトで、Googlebotのアクセスは平均して数秒に1回を超えないとされています。遅れが重なると、短い時間だけ頻度が高く見えることもあります。

サーバーがGoogleのクロールに追いつけないときは、クロール頻度を減らせます。その方法は、別の公式ページ「Reduce the Google crawl rate」に書かれています。

私が開いて確かめた範囲では、このページは、急な増加の原因の例として、絞り込みや並べ替えの機能が作る大量のURLを挙げていました。

緊急時の一時的な手段として、500・503・429のステータスコードを返す方法も書かれていました。長く続けるのは勧めない、という注意つきです。

読む量の上限：HTMLなどは最初の2MB、PDFは最初の64MB

ここが、2026年2月に書き換わった部分です。現行の英語版は、次のように書いています。

対象	現行ページの内容
対応しているファイル形式	最初の2MBを読む
PDFファイル	最初の64MBを読む
HTMLが参照するCSSやJavaScript	1つずつ別に取得し、それぞれにPDF以外と同じ上限がかかる
上限に達したとき	取得を止め、そこまでに受け取った部分だけをインデックス登録の検討に回す
サイズの数え方	圧縮を解いたデータで数える
画像用・動画用のGooglebotなど	別の上限を持つことがある

2MBを超えたページは、2MBより後ろの内容が検討の対象外になりうる、という読み方になります。ただし、原文は「超えたらどうなる」の結果を細かく書いていません。

このほかの上限の考え方は、Googleのクローラー全般を説明する別ページにあります。そのページ（2026年6月12日更新の版）は、標準では15MBまで、Googlebotのように小さい上限（例として2MB）を設けるクローラーもある、と書いていました。

タイムゾーンは太平洋時間

米国のIPアドレスからクロールするとき、Googlebotのタイムゾーンは太平洋時間です。記事の公開日時を構造化データに書くときなどに、頭の隅に置く情報です。

止めたいときの3つの道具

Googlebotは、すでに読んだページ内のリンクをたどって、新しいURLを見つけます。リンクを公開しないことで、サイトを完全に隠すのはほぼ不可能だと、原文は書いています。

理由の例として、「非公開」のサイトから別のサイトへリンクをクリックすると、URLが相手のアクセス記録に残り、公開されうる点が挙げられています。

目的別の道具は、次の表のとおりです。クロールとインデックス登録は別の仕組みで、クロールを止めても、URLが検索結果に出ることはあります。

Googlebotにページをクロールさせない：robots.txtファイル
Googleにページをインデックス登録させない：noindex
クローラーにもユーザーにも見せない：パスワード保護など、別の方法

Googlebotをブロックすると、Google検索（Discoverや検索機能すべてを含む）に加えて、Google画像検索、Google Video、Google ニュースなど、ほかのサービスにも影響します。

本物のGooglebotか確かめる

他のクローラーが、Googlebotのuser-agentを名乗ってアクセスすることはよくあります。ブロックを決める前に、問題のアクセスが本当にGoogleからか確かめるよう、原文は求めています。

確かめる方法は2つです。送信元IPについて逆引きDNSを調べるか、送信元IPをGooglebotのIPアドレスの範囲と照合します。

私が開いて確かめた範囲では、手順の公式ページ「Verify requests from Google crawlers and fetchers」は、次の2段階のコマンド操作を挙げていました。

ログにあるIPアドレスに、hostコマンドで逆引きDNSを行い、ドメイン名が googlebot.com、google.com、googleusercontent.com のいずれかであることを確かめる
得られたドメイン名に、同じhostコマンドで正引きDNSを行い、元のIPアドレスと一致することを確かめる

英語版と日本語版の違い

2026年11月5日に、保存した英語版と日本語版を節ごとに並べて比べました。

比べた点	結果
最終更新日	英語版が2026年2月3日、日本語版が2026年2月6日。日本語版のほうが3日新しい日付です
節の構成	冒頭、サイトへのアクセス方法、ブロック、本物の確認の4節で、両方とも同じです
数字	2MB、64MB、数秒に1回、太平洋時間の数字と順序が一致しています
robots.txt、noindex、パスワード保護の説明	意味の差は見つかりませんでした

確認した日付時点で、内容の差は見つかりませんでした。

更新の経緯

変更履歴と、Internet Archiveに残る過去の版を見比べました。

時期	変更履歴の記載、または過去の版で確かめたこと
2023年3月17日	15MBの取得サイズの上限が、HTMLが参照するCSSやJavaScriptの取得にも、1つずつ適用されると明確化
2023年10月17日	Googlebotのタイムゾーンは太平洋時間、という記載を追加
2024年1月25日	より正確な言い回しに更新。変更履歴は、実際に取るべき行動の変更は無いと書いています
2025年12月1日の保存版（最終更新2025年3月6日）	「HTMLまたは対応するテキストファイルの最初の15MBを読む」という記載を確認
2026年2月3日	ファイルサイズの上限の書き方を更新。現行の英語版は「最初の2MB」「PDFは最初の64MB」

2026年2月3日の変更の理由を、変更履歴は次のように説明しています。Googleのクローラー全般に当てはまる既定の上限を、クローラーの説明ページへ移すことにした。

それにあわせて、Googlebot自身の上限を、より正確に書き直した、という内容です。

「15MBから2MBに、実際の動作が変わった」とまでは、変更履歴は書いていません。確かなのは、ページの記載が15MBから2MB（PDFは64MB）に変わった点までです。

このページから、言えること・言えないこと

言えること	言えないこと
Googlebotには、スマートフォン用とパソコン用がある	robots.txtで、片方だけを許可・拒否することはできません
HTMLなどは最初の2MBが、PDFは最初の64MBが対象と書かれている	2MBより後ろの内容が、順位にどう影響するかは書かれていません
クロールを止めても、URLが検索結果に出ることがある	robots.txtでクロールを止めれば、検索結果から消える、とは言えません。消したいときはnoindexなどを使います
Googlebotを名乗るアクセスには、なりすましがよくある	user-agentがGooglebotなら本物、とは言えません。確認が要ります

中小企業の視点で、どう受け取るか

ここからはGoogleの説明とは別の、私の読み取りです。

1. HTMLのサイズは、まず自分のページで測る

2MBは、普通の会社案内や記事ページなら、まず超えない大きさです。ただし、ページ内にスタイルやスクリプトを大量に書き込む作りだと、HTMLが大きくなります。

確かめるには、Chromeでページを開き、開発者ツール（F12キー）の「Network」タブを使います。最初に読み込まれるHTMLの行の「Size」を見てください。

圧縮前のサイズは、その行にマウスを重ねると出ます。

2MBに近いページがあれば、重要な文章や構造化データがHTMLの前半にあるかを、制作会社に確認します。

2. 「全部を止める」前に、本物かを確かめる

サーバーが重い、アクセスが急に増えた、という場面で、まずGooglebotを疑う人は多いはずです。しかし、名乗りだけでは本物と言えません。

レンタルサーバーのアクセスログで、Googlebotを名乗るIPアドレスを1つ選び、原文の2段階の確認を試します。ログの見方が分からなければ、サーバー会社のサポートに「アクセスログからIPアドレスを抜き出す方法」を聞くのが早道です。

本物のGooglebotへの負荷が原因なら、急な増加の主な原因は、サイト側のURLの作りにあることが多いとされています。詳しくはGoogleの公式ページ「Reduce the Google crawl rate」で確かめられます。

3. 隠したいページは、robots.txtだけに頼らない

検索結果に出したくないページには、noindexを使います。robots.txtでクロールだけを止めても、URL自体が検索結果に出ることがあります。

見せたくないものがあるなら、パスワード保護です。具体的な手順は、クロールエラーの調べ方を解説した記事と合わせて読むと、全体像がつかめます。

4. スマートフォンで見た内容を基準にする

Googleは、主にモバイル版をインデックスに登録し、クロールの大半もスマートフォン用が行うと書いています。パソコンで見て整っているページが、スマートフォンでは文章が省かれている、という状態は避けたいところです。

モバイル版の扱いの詳細は、モバイルファーストインデックスの公式ページの解説に書きました。

弊社のサイトで確かめたこと

2026年11月5日に、kenkyo.aiに対して、次の確認を行いました。Search Consoleなどの管理画面の数字は見ていません。

curl -sL https://kenkyo.ai/robots.txt を実行：指定は「User-agent: *」の1グループだけで、/wp-admin/ を拒否し、admin-ajax.php を許可していました。Googlebot専用の指定はありません
トップページのHTMLのサイズ（圧縮を解いた状態）：336,467バイト（約0.3MB）。2MBに対して、十分に下回っています
同じトップページの、圧縮して送られたサイズ：89,858バイト。Googlebotの上限は圧縮を解いたデータで数えるため、比べるべきは上の数字です
この解説シリーズの記事の1つのHTMLサイズ：212,285バイト（約0.2MB）
user-agentを「Googlebot/2.1」にして、トップページを取得：通常のアクセスと同じ200が返りました

最後の確認は、原文が注意する「なりすまし」の実例にもなっています。私のコマンドはGoogleのIPアドレスから送ったものではなく、名乗りだけを書き換えました。

user-agentの文字列だけでは、本物のGooglebotかを区別できません。区別するには、原文のとおり、IPアドレスの確認が要ります。