Search Consoleの「クロール異常」「取得失敗」は、原因を決めつけずに分ける
Search Consoleで「クロール異常」「ページの取得に失敗」「テストできませんでした」のような表示が出た時は、原因がまだ1つに絞れていない状態として扱います。
いきなり記事本文やタイトルを直すのではなく、Googlebotが今そのURLへ接続できるか、DNSやSSLで止まっていないか、サーバーが遅すぎないか、認証やWAFで拒否していないかを順番に見ます。
先に結論
- 対象URLとSearch Consoleの表示文言、最終クロール日をメモする
- ブラウザで対象URLが200表示できるか確認する
- URL検査のライブテストで現在も失敗するか見る
- DNS、SSL、サーバー応答時間、WAF、アクセス制限を順番に切り分ける
- HTTPステータスが分かるなら、404、401/403、5xx、リダイレクトへ分類する
- 現在は成功するなら、過去の一時的な失敗か最終クロール日を確認する
- 修正後に公開URLをテストし、必要ならインデックス登録をリクエストする
まず「今も失敗しているか」を分ける
Search Consoleの通常表示は、Googleが最後に見た時点の情報です。修正済みでも、レポートには前回の失敗が残っていることがあります。
| 状態 | 判断 | 次にすること |
|---|---|---|
| ライブURLテストも失敗する | 現在もGooglebotが取得できない可能性が高い | DNS、SSL、サーバー、WAF、認証を確認する |
| ライブURLテストは成功する | 一時的な失敗、または修正済みの可能性 | 最終クロール日を見て、必要なら再リクエストする |
| ブラウザでも開けない | ユーザーにも影響している | 公開サイトの復旧を先に行う |
| 自分のブラウザだけ見える | Googlebotだけ拒否、または環境差の可能性 | WAF、IP制限、Basic認証、User-Agent制限を見る |
原因候補を広く見る
取得失敗は、最初から「5xx」や「404」と出るとは限りません。次の候補を順番に潰します。
| 原因候補 | よくある状態 | 進む記事 |
|---|---|---|
| DNSの問題 | ドメインが一時的に引けない、設定直後で不安定 | ドメイン設定、DNS反映、独自ドメイン設定を確認する |
| SSLの問題 | 証明書エラー、http/httpsの混在、リダイレクトの不整合 | httpsからhttpへ戻る時 |
| タイムアウト | ページ生成が遅く、Googlebotの取得が途中で止まる | 重いPHP、DB、外部API、画像処理を確認する |
| 一時的なサーバー混雑 | 短時間だけ取得失敗し、今は正常に表示される | 5xxの確認順 |
| 認証・アクセス制限 | ログイン必須、Basic認証、IP制限、WAFで拒否 | 401/403の確認順 |
| robots.txt | クロールを止めていて取得の確認が進みにくい | robots.txtブロックの確認順 |
| リダイレクトの失敗 | ループ、長すぎるチェーン、空の転送先 | リダイレクトエラーの確認順 |
HTTPステータスが分かったら分類する
ライブテストやブラウザ確認、サーバーログでHTTPステータスが分かれば、専用記事へ切り分けます。
| 見えた状態 | 意味 | 次に読む記事 |
|---|---|---|
| 200で表示できる | 現在は取得できる。過去の失敗か表示内容の問題を確認 | URL検査項目 |
| 404 | URLが存在しない | 見つかりませんでした（404） |
| 401/403 | 認証やアクセス制限で入れない | 401/403でブロック |
| 500/502/503/504 | サーバー側で取得失敗している | サーバーエラー（5xx） |
| 301/302が続く | リダイレクト途中で止まっている可能性 | リダイレクトエラー |
| 200だが本文が空に近い | 取得はできてもページとして弱い可能性 | ソフト404 |
自作PHPサイトで特に見る場所
ロリポップや自作PHPサイトでは、取得失敗が「一部ページだけ」「特定時間だけ」「Googlebotだけ」で起きることがあります。
- トップページ、カテゴリ、対象記事、画像やCSSの直接URLをそれぞれ開く
- 重いDB処理や外部API呼び出しでページ生成が遅くなっていないか見る
.htaccessのリダイレクトやアクセス制限を直近で変更していないか確認する- SSL設定直後なら、http/httpsの正規URLがそろっているか見る
- WAFやセキュリティ設定でGooglebotらしきアクセスを拒否していないか見る
- エラーログに同じ時間帯の500、タイムアウト、PHP Fatal errorがないか確認する
AIに渡す調査メモ
取得失敗は原因候補が広いので、URL、時間、ライブテスト結果、ブラウザ表示、HTTPステータス、直前の変更をまとめると切り分けやすくなります。
Search Consoleでクロール異常・ページ取得失敗・テストできませんでした系の表示が出ています。
対象URL:
Search Consoleの表示:
最終クロール日:
ライブURLテスト:
ブラウザで開いた結果:
200 / 301 / 401 / 403 / 404 / 500 / タイムアウト / 未確認
発生範囲:
1ページだけ / 複数ページ / サイト全体 / 不明
直前に変更したこと:
DNS:
SSL:
robots.txt:
noindex:
Basic認証・ログイン必須:
WAF・IP制限:
.htaccess:
PHPエラーログ:
現在もGooglebotが取得できない状態か、過去の一時的な失敗かを切り分けてください。