【Google検索セントラル解説】クロールエラーの調べ方と直し方｜soft 404・過剰クロールまで順番に確認

「新しく書いた記事が、なかなかGoogleに見つけてもらえない」。そんなときに読む公式ページが、Google検索セントラルの「Google 検索のクロールエラーのトラブルシューティング」です。

クロールとは、Googlebot（Googleのロボット）がページを巡回して読み取ることです。このページは、クロールがうまくいかないときの確認の順番を、診断と対処の組で示しています。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。サイトが増えるほど「見つけてもらえていない」原因の切り分けが要るため、このページの順番を読んでおく価値があります。

結論：3行で言うと

• 確認は5つの順番です。サーバーの可用性、クロールされていないページ、更新の反映の速さ、クロール効率、過剰クロールの順に見ます
• 新しいページが認識されるまでに、多くのサイトで数日以上かかるとGoogleは書いています。公開当日のクロールを期待するのは、ニュースサイトなどの例外です
• soft 404（存在しないのに200を返すページ）は、ページの状態に応じて、404・410、301、または表示の修復で直します

このページの基本情報

項目	内容
原題（英語）	Troubleshoot Google Search crawling errors
日本語版の題名	Google 検索のクロールエラーのトラブルシューティング
英語版の最終更新日	2025年12月18日
日本語版の最終更新日	2025年12月22日
セントラル内の位置	クロールとインデックス登録の章

公式ページはこちらです。英語版と日本語版があります。

Googleがこのページで言っていること

ページの冒頭は、確認の手順を5つに分けています。以下、その順に整理します。

1. サイトの可用性に問題が出ていないか

サイトを安定させても、クロールの予算が増えるとは限りません。Googleは、クロールの必要性に基づいて適切な頻度を決めているからです。

ただし、サーバーが応答しないと、Googleが望むだけクロールすることは妨げられます。診断と対処は次のとおりです。

• 診断：Search Consoleの「クロールの統計情報」で、ホストの可用性のグラフを見る。Googlebotのリクエストが赤い上限線を超えた日を探し、失敗したURLを確かめる
• 診断：URL検査ツールで数本をテストする。「ホスト負荷が制限を超えています」と出たら、見つけたURLの数にGooglebotが追いつけていない
• 対処：クロールされたくないページをブロックする。表示速度を上げる。サーバーの能力を増やす

サーバーの増強には目安があります。常に上限までクロールされ、重要なURLが後回しなら、1か月だけ資源を増やし、リクエストが増えたかを見る方法です。

2. クロールされるべきなのに、されていないページはないか

Googleは、質が高く利用者の役に立つ内容を、見つけられる限りインデックスに登録するために時間をかけるとしています。クロールされない原因は、次の3つのどれかです。

• Googleがそのページの存在を知らない
• Googleから見えないようにブロックされている
• サイトの可用性によって、Googleのアクセスが絞られている

ここで、ページは「クロールとインデックス登録は別物」と念を押しています。このページが扱うのはクロールで、発見したページがインデックスに載るかどうかは別の話です。

Search Consoleには、URLやパスで絞れるクロール履歴がありません。特定のURLが来たかどうかは、サーバーのログで確かめるとしています。

対処は4点です。サイトマップを新しいURLに更新する。

robots.txtで誤ってブロックしていないか調べる。クロールの優先順位を見直す。

サーバーの処理能力が足りているか確かめる。

最後に、クロールされても価値や需要が足りなければ、検索結果に出ないことがあると添えています。

3. 更新が十分に速くクロールされているか

Googleは適切なタイミングで確認して登録するよう努めていますが、多くのサイトでは3日以上かかるとしています。ニュースサイトのように時間の価値が高いコンテンツでなければ、公開当日の登録は期待しないでください、という書き方です。

確認は、サーバーのログでクロール日を見ること、URL検査ツールでインデックス登録日を見ることの2つです。

すること	避けること
ニュースを扱うならニュースサイトマップを使う	変更のない同じサイトマップを、1日に何度も送る
サイトマップのlastmodで、更新日を伝える	サイトマップの全URLがすぐにクロールされると期待する
クロールできるURL構造と、標準の<a>リンクを用意する	検索に出したくないURLをサイトマップに入れる
モバイル版とPC版でHTMLが別なら、モバイル版にも同じリンクを置く。置けないならサイトマップに入れる

サイトマップは「有用な提案」であって、絶対の命令ではない、とページは書いています。モバイル版のリンクについては、Googleがモバイル版だけをインデックスに使うため、リンクが少ないと新しいページの発見が遅れる、という理由が付いています。

4. クロール効率を上げる

Googleのクロールは、通信の帯域、時間、Googlebotの数に制限されます。サーバーの応答が速ければ、より多くのページを読める可能性があります。

ただし、質の低いページを速くしても、クロールは増えません。逆に、質の高い内容を見逃していると判断すれば、クロールの予算を増やすとしています。

ページが挙げる具体策は4つです。

1. 大きくて重要でない資源（装飾画像など）を、robots.txtで読み込ませない。ページの意味に関わる資源はブロックしない
2. ページの読み込みを速くする。画像やスクリプトの読み込みと実行の時間も含まれる
3. 長いリダイレクトの連鎖を避ける
4. HTTPステータスコードで、内容の変更を伝える

4つ目は、If-Modified-SinceとIf-None-Matchという要求ヘッダーの話です。Googleは通常これらに対応しますが、すべてのクロールで送るわけではありません。

前回のクロール以降に内容が変わっていなければ、本文なしの304（Not Modified）を返せます。これでサーバーの処理が減り、クロールの効率が間接的に上がる可能性がある、という説明です。

5. 検索結果に出したくないURLを減らす

不要なページにサーバーの資源を使うと、大切な新規ページや更新の発見が大きく遅れることがあります。ページが挙げる、そうなりやすいURLの種類は次のとおりです。

• 絞り込みメニュー（ファセットナビゲーション）とセッションID
• 重複するコンテンツ
• soft 404のページ
• ハッキングされたページ
• 無限に増えるURLの空間やプロキシ
• 低品質なコンテンツやスパム
• ショッピングカート、無限スクロール、「登録」「今すぐ購入」のような操作用のページ

注意点が1つあります。すでにクロールされたページを隠しても、Googleがサイトの配信上限に達していない限り、そのぶんのクロール予算が他のページへ移るわけではない、と書かれています。

また、クロールの予算を動かす目的で、robots.txtの記述を頻繁に出し入れしたり、サイトマップを入れ替えたりしないよう求めています。robots.txtは、長く検索に出したくないページや資源だけに使うものです。

soft 404エラーの直し方

soft 404とは、ページが存在しないと表示しながら、200（成功）のステータスを返している状態です。空に近いページも含みます。

原因の例は、サーバー側の読み込みファイルの欠落、データベースの接続切れ、結果が空の内部検索ページ、JavaScriptの欠落です。こうしたページは検索から除外されます。

Googleのアルゴリズムが内容からエラーページと判断すると、Search Consoleの「ページのインデックス登録」レポートにsoft 404として出ます。直し方は、ページの状態で3つに分かれます。

ページの状態	対処
ページも内容もなくなった	代わりのページがなければ、404（見つからない）か410（消滅）を返す。独自の404ページを作るなら、本物の404のステータスを返すようにする
別の場所へ移った	301（恒久的な転送）で新しい場所へ送る。URL検査ツールで、正しいコードが返っているか確かめる
ページも内容もある	URL検査ツールで、描画された内容と返ったコードを見る。画面が空に近いなら、画像やスクリプトなどの資源を読み込めていない可能性がある

資源が読み込めない理由として、robots.txtでのブロック、1ページの資源が多すぎること、サーバーのエラー、読み込みの遅さや大きさが挙がっています。

Googlebotの過剰クロールへの対処（緊急時）

Googlebotには、サイトに負荷をかけすぎないための仕組みがあります。それでも負荷が大きすぎるときの、緊急の手順が示されています。

1. サーバーが過負荷のあいだ、Googlebotへのリクエストに、一時的に503か429を返す。Googlebotは約2日間、再試行する
2. クロールが落ち着いたら、503や429を返すのをやめる
3. クロールとサーバーの能力を、しばらく監視する

期間には警告が付いています。「利用できない」というコードを数日以上返し続けると、Googleはクロールを恒久的に減らしたり止めたりします。

さらに、503か429を2日を超えて返すと、そのURLをインデックスから外すと書かれています。

原因が広告用のクローラー（AdsBot）なら、動的検索広告の対象を作ったことが理由かもしれません。そのクロールは3週間ごとに繰り返されるので、容量がなければ広告の対象を絞るか、サーバーを増やします。

英語版と日本語版の違い

英語版の最終更新日は2025年12月18日、日本語版は2025年12月22日で、日本語版のほうが新しい表示です。確認した2026年11月5日時点で、手順や数字（約2日、3週間、3日以上など）に食い違いは見つかりませんでした。

箇所	英語版	日本語版
新しいページの認識	「most sites shouldn’t expect same-day crawling」。ニュースサイトのような時間に敏感なサイトだけが例外	同じ趣旨。節によって「3日以上かかる」「同じ日にクロールされるとは限りません」と書き方が分かれる
robots.txtの記述の出し入れ	クロール予算（crawl budget）の再配分に使わない	同じ趣旨。訳語は「クロール バジェット」と「割り当て」が混在する

どちらも意味は同じ方向で、実務の判断を変える差ではありません。迷ったときは英語版を基準にします。

更新の経緯は、Googleの変更履歴（Search Central updates）で確かめました。このページ名を挙げた更新は見つかりませんでした。

同じ内容の記述が入った時期として、クロール予算のガイドへの2023年1月（If-Modified-Sinceの追記）と2024年11月（モバイル版のリンクの注意）の更新があります。

本ページの該当部分は、その記述と同じ趣旨です。

このページから、言えること・言えないこと

言えること	言えないこと
サーバーが遅い、または落ちると、Googleが望むだけクロールできなくなる	サーバーを速くすれば、クロールの量が必ず増える。質の低いページを速くしても増えない、とページが書いている
新しいページの認識には、多くのサイトで数日以上かかる	サイトマップを送れば、すぐにクロールされる。サイトマップは提案にとどまる
クロールの状況は、クロールの統計情報とサーバーのログで確かめられる	Search Consoleだけで、特定のURLのクロール履歴を絞り込める
soft 404は、ページの状態に応じて404・410、301、表示の修復で直す	見つからないページは、すべて301でトップへ送ればよい
503や429は、緊急時に一時的に返す手段である	503や429を返し続けても、サイトに影響はない

中小企業の視点で、どう受け取るか

ここからはGoogleの説明とは別の、私の読み取りです。従業員が数人から数十人で、WordPressのサイトを運営している会社を想定しています。

項目1：まず「見つけてもらえていない」のか、確かめる

新しい記事が検索に出ないとき、すぐにクロールの不具合を疑う前に、公開から何日たったかを数えてください。ページは、多くのサイトで3日以上かかると書いています。

確認の手順は次のとおりです。

1. Search Consoleの上部の検索窓に、記事のURLを入れてURL検査を開く
2. 登録されているかどうかの表示を見る
3. 登録されていなければ、「ページのインデックス登録」の理由の表示を読む

項目2：自分のサーバーの調子を、クロールの統計情報で見る

Search Consoleの「設定」から「クロールの統計情報」を開きます。ホストの可用性が問題なしなら、サーバー側の原因は薄いと読めます。

エラーが出ていれば、レンタルサーバーの管理画面でアクセス数と負荷の履歴を見て、同じ日の動きと比べます。ここで原因を突き止められなければ、サーバー会社に相談してください。

項目3：存在しないページが、404を返しているか確かめる

WordPressでは、削除した記事のURLがトップへ自動で転送される設定になっていることがあります。この転送は、Googleにはsoft 404と判断されやすくなります。

削除した記事のURLをブラウザで開き、開発者ツールの「ネットワーク」で、最初のステータスが404か410かを見てください。代わりの記事があるなら、その記事への301を設定します。

項目4：サイトマップとrobots.txtを見直す

サイトマップには、検索に出したいURLだけを入れます。ログイン画面、検索結果、カート、サンキューページなどが混ざっていないかを一覧で確認します。

robots.txtは、サイトの最上位に置かれた小さな文書です。ブラウザで「自社のドメイン/robots.txt」を開き、記事や画像の置き場所を誤ってブロックしていないか、1行ずつ読みます。

そのうえで、更新したページのlastmod（最終更新日）が、実際の更新に合っているかも確かめます。何も変えていないのに日付だけ新しくなる設定は、避けたほうが無難です。

弊社のサイトで確かめたこと

2026年11月5日に、kenkyo.aiに対して次の確認をしました。コマンドで外から取れる範囲だけです。

• 存在しないURLを取得（curl -I）：転送なしで404が返った。soft 404にはなっていません
• robots.txtを取得：全クローラー向けに/wp-admin/だけを禁止し、admin-ajax.phpは許可。サイトマップの場所も記載しています
• サイトマップ（sitemap.xml）を取得：200で返り、サイトマップ索引の各項目にlastmod（最終更新日時）が付いていました

この確認は、公開されている応答の読み取りに限ります。Search Consoleの数字は見られないため、クロールの統計情報には触れません。

サーバーのログの読み方は、AIクローラーの訪問をサーバーログで確認する方法に手順があります。この記事は公式ページの解説で、そちらは実務の手順という役割の違いです。

負荷が実際に重いときの設定例は、AIクローラーでサーバーが重いときの対策にまとめています。

よくある質問

Q. Googleのクロールエラーで、新しい記事が数日たっても出ないのは異常ですか？

公式ページは、多くのサイトで新しいページの認識に3日以上かかるとしています。数日で出ないこと自体は、異常とは限りません。

URL検査ツールでの登録状況と、サイトマップへの記載、robots.txtでのブロックの有無を順に確かめてください。

Q. soft 404は、404ページを作っていれば起きませんか？

起きることがあります。見た目が「見つかりません」のページでも、ステータスが200なら、soft 404の対象です。

独自の404ページは、本物の404のステータスを返すように設定してください。

Q. Googlebotのクロールでサーバーが重いとき、503を返し続けてよいですか？

いいえ、緊急時の一時的な手段です。503か429を2日を超えて返すと、Googleはそれらのインデックスから外すと書かれています。

まとめ：今日できる1つのこと

削除した記事のURLを1つ選び、ブラウザの開発者ツールでステータスを見てください。404か410が返っていれば問題ありません。

トップなどへ転送されていて200になっているなら、soft 404の入口です。代わりの記事への301か、本物の404に直します。

この記事は、Google検索セントラル解説の一覧の一本です。ほかのページの解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。