Search Consoleの「noindex タグによって除外されました」とは？
Search Consoleのページのインデックス登録で、「noindex タグによって除外されました」と表示されることがあります。
これは、Googleが対象URLを見た時に「このページを検索結果に出さない」というnoindex指定を見つけた状態です。問い合わせページ、テストページ、管理画面なら問題ないことがありますが、公開したい記事で出ているなら修正対象です。
先に結論
この表示が出たら、次の順番で確認します。
- そのURLを検索結果に出したいページか判断する
- ページHTMLのmeta robotsにnoindexがないか見る
- HTTPヘッダーのX-Robots-Tagにnoindexがないか見る
- テンプレートや共通headへnoindexを入れていないか確認する
- robots.txtでクロールを止めていないか分けて確認する
- サイトマップにnoindexページを入れていないか整理する
- 修正後にライブURLテストとインデックス登録リクエストを行う
問題ないケースと直すケース
| 状態 | 判断 | 次にすること |
|---|---|---|
| テスト環境や下書きページ | 検索に出したくないなら問題なし | 本番へ移す時にnoindexを外す |
| 問い合わせ完了ページや管理画面 | 検索に出す必要がなければ問題なし | サイトマップには入れない |
| 公開したい記事 | 修正が必要 | meta robots、共通head、CMS設定を確認する |
| PDFや画像などHTML以外 | HTTPヘッダーの可能性 | X-Robots-Tagを確認する |
| サイトマップ送信済みURL | 矛盾している可能性 | 出したいURLだけサイトマップに残す |
noindexが入る場所
noindexはHTMLのmetaタグだけではありません。Search Consoleで除外されているURLは、次の場所を分けて見ます。
| 場所 | 例 | 見方 |
|---|---|---|
| HTMLのhead | <meta name="robots" content="noindex"> | ページのソースや共通headを確認する |
| Googlebot向けmeta | <meta name="googlebot" content="noindex"> | Googleだけ除外していないか見る |
| HTTPヘッダー | X-Robots-Tag: noindex | curlやブラウザのネットワーク情報で確認する |
| CMSやSEO設定 | 検索エンジンに表示しない設定 | 記事単位、カテゴリ単位、サイト全体設定を確認する |
| テスト環境のコピー | 本番へnoindexを持ち込み | サブドメインや下書き用設定の残りを探す |
robots.txtとは分けて考える
robots.txt はクロールを止めるための指定で、noindexは検索結果に表示しないための指定です。役割が違います。
Google公式情報では、noindexを有効にするには、Googleがそのページへアクセスできる必要があると説明されています。つまり、noindexを読ませたいURLをrobots.txtでブロックしていると、Googleがnoindexを確認できません。
混ぜると迷いやすい例
- 検索に出したくないから、noindexとDisallowを両方入れる
- 本番公開したい記事なのに、テスト時のnoindexを残す
- noindexページをXMLサイトマップに入れたままにする
- 共通headへnoindexを入れて、全ページが除外対象になる
公開したいページなら確認すること
- ページソースに
noindexが残っていない - 共通テンプレート、共通head、SEO設定にnoindexがない
- HTTPレスポンスヘッダーに
X-Robots-Tag: noindexがない - robots.txtで対象URLをブロックしていない
- canonicalが出したいURL自身、または意図した代表URLを向いている
- XMLサイトマップには検索に出したいURLだけを入れている
- 修正後にSearch ConsoleのライブURLテストで現在の状態を見た
ロリポップや自作PHPサイトで多い原因
WordPressのプラグインだけでなく、FTPで運用している自作PHPサイトでもnoindexは残ります。特に共通パーツ化しているサイトでは、1ファイルの変更が全ページへ効くことがあります。
| 原因 | 見るファイルや設定 |
|---|---|
| テスト用サブドメインの設定を本番へコピーした | 共通head、テンプレート、アップロードしたファイル差分 |
| 共通headにnoindexを入れた | includes/head-tags.php、includes/meta.php、共通header |
| .htaccessでX-Robots-Tagを出している | .htaccess、サーバー設定 |
| 下書きページを公開URLに置いた | アップロード先、公開フォルダ、ファイル名 |
| noindexのままサイトマップへ入れた | sitemap.php、DB登録、固定URLリスト |
AIへ相談する時のメモ
noindexの相談では、ページ本文よりも「どこでnoindexが出ているか」を先に渡すと早いです。ログイン情報やSearch Consoleの所有者情報は伏せてください。
Search Consoleで「noindex タグによって除外されました」と表示されています。
対象URL:
このURLは検索結果に出したいですか:
はい / いいえ / 迷っている
Search ConsoleのURL検査表示:
ライブURLテスト結果:
ページソースのmeta robots:
HTTPヘッダーのX-Robots-Tag:
robots.txt:
canonical:
サイトマップに含まれているか:
直前に変更したファイル:
確認してほしいこと:
1. 意図したnoindexか、外すべきnoindexか
2. metaタグ、HTTPヘッダー、共通headのどこを確認すべきか
3. robots.txtとnoindexを混同していないか
4. サイトマップから外すべきURLか
5. 修正後にSearch Consoleで何を確認すべきか修正後にすること
- 公開URLをブラウザで開く
- ページソースとHTTPヘッダーからnoindexが消えたか確認する
- Search ConsoleでライブURLをテストする
- 問題がなければインデックス登録をリクエストする
- ページのインデックス登録レポートの変化を数日から1週間単位で見る