Codexでrobots.txtを確認する方法

`robots.txt` は、検索エンジンのクローラーに「どの場所を見てよいか、見ないでほしいか」を伝えるためのファイルです。書き方を間違えると、公開したいページまで見つけてもらいにくくなることがあります。

Codexに `robots.txt` を確認してもらう時は、現在の内容、公開したいページ、ブロックしたい場所、サイトマップURLを整理して渡すと、安全に見直しやすくなります。

robots.txtを確認する流れ

現在内容、公開ページ、Disallow、Sitemap、表示確認、Search Consoleの順に確認します。

robots.txtで確認すること

`robots.txt` は短いファイルでも、影響が大きいことがあります。特に `Disallow: /` のような指定は、サイト全体をクロールしないでほしいという意味になるため注意が必要です。

Codexに渡す情報

確認してほしい範囲と、公開したいページを伝えると、危ない指定を見つけやすくなります。

• 現在の `robots.txt` の内容
• 本番サイトのURL
• 公開したいページやフォルダ
• ブロックしたいページやフォルダ
• XMLサイトマップのURL
• Search Consoleで気になっている表示

基本の依頼文テンプレート

まずは、現在の `robots.txt` が危険な状態になっていないか確認してもらいます。

robots.txt の内容を確認してください。

サイトURL：
現在の robots.txt：
（ここに貼る）

公開したいページやフォルダ：
ブロックしたいページやフォルダ：
XMLサイトマップURL：

確認してほしいこと：
- 公開したいページをブロックしていないか
- Disallow の範囲が広すぎないか
- Sitemap のURLが正しいか
- 文法的に不自然な行がないか
- 修正が必要な場合は理由と修正版を出す
- すぐ本番変更せず、まず確認結果を報告する

公開ページをブロックしていないか確認する

新規ページを追加した後は、そのページが `Disallow` の対象になっていないかを確認します。

次の公開ページが robots.txt でブロックされていないか確認してください。

robots.txt：
（ここに貼る）

確認したい公開ページ：
- 

確認してほしいこと：
- 各URLが Disallow に当たらないか
- フォルダ単位でブロックされていないか
- noindex と混同していないか
- 問題がある場合は、どの行が原因か説明する
- 修正版の robots.txt を提案する

Sitemap行を確認する

`robots.txt` には、XMLサイトマップの場所を書くことがあります。URLが古い、http/httpsが違う、存在しないURLになっていると見直しが必要です。

robots.txt の Sitemap 行を確認してください。

robots.txt：
（ここに貼る）

正しいと思うサイトURL：
XMLサイトマップのURL：

確認してほしいこと：
- Sitemap 行があるか
- URLが https になっているか
- ドメインが正しいか
- XMLサイトマップが存在するURLか
- 複数のSitemap行が必要か
- 修正案を出す

やってはいけない指定

テスト中に使った指定を本番に残すと、公開後にページを見つけてもらいにくくなることがあります。

• `Disallow: /` を本番に残す
• 公開記事が入っているフォルダを丸ごとブロックする
• 古いテストドメインのSitemap URLを残す
• 一時的なブロック指定をメモなしで追加する
• `robots.txt` だけで非公開管理をしようとする

修正案だけ作ってもらう

`robots.txt` は本番への影響があるため、いきなり変更せず、まず修正案だけ作ってもらう方法が安全です。

robots.txt の修正案だけ作ってください。まだファイルは変更しないでください。

現在の robots.txt：
（ここに貼る）

目的：
公開したい範囲：
ブロックしたい範囲：
Sitemap URL：

出してほしいもの：
- 現在の問題点
- 修正版 robots.txt
- 各行の意味
- 公開前に確認すべきこと
- Search Consoleで確認する項目

Codexに反映してもらう時

修正案に納得できたら、Codexに `robots.txt` へ反映してもらいます。反映後は、URLへ直接アクセスできるか確認します。

次の内容で robots.txt を更新してください。

対象ファイル：
修正後の robots.txt：
（ここに貼る）

条件：
- 既存内容を確認してから変更する
- 公開ページをブロックしない内容か確認する
- Sitemap URLが正しいか確認する
- ローカルまたは本番の robots.txt URLで表示確認する
- 変更した内容と確認結果を報告する

Search Consoleで見ること

公開後は、Search Consoleでクロールやインデックスの状態を確認します。`robots.txt` が原因のブロックが出ていないか見ます。

• ページがクロール可能か
• `robots.txt` によりブロックされていないか
• XMLサイトマップが送信できているか
• URL検査で取得できるか
• 意図しない除外が出ていないか

確認用テンプレート

最後に、`robots.txt` の状態をまとめて確認する依頼文です。

robots.txt 更新後に次の確認をしてください。

robots.txt URL：
公開したい代表ページ：
XMLサイトマップURL：

確認内容：
- robots.txt がHTTP 200で表示されるか
- 公開ページがDisallowに当たっていないか
- Sitemap URLが正しいか
- 不要なテスト用指定が残っていないか
- Search Consoleで確認すべき項目を整理する

最後に、問題なし / 要修正 / 要確認に分けて報告してください。

チェックリスト

• 現在の `robots.txt` を確認した
• 公開ページをブロックしていない
• `Disallow` の範囲が広すぎない
• `Sitemap` のURLが正しい
• テスト用の指定が残っていない
• `robots.txt` URLへ直接アクセスできる
• Search Consoleで確認する項目を整理した