![](https://image.jimcdn.com/app/cms/image/transf/dimension=710x10000:format=png/path/s0e84577b02fd7261/image/i61bdf57ce384eeb6/version/1619157185/image.png)
ジンドゥークリエイターで作成したサイトを Google Search Console(サーチコンソール) に追加し「URL検査」並びに「インデックス登録をリクエスト」を行ったときに" robots.txt によりブロックされました " と表示され、インデックス登録ができない場合、該当サイトの robots.txt の最新情報がGoogleに伝わっていない可能性があります。
"robots.txt によりブロックされました " と表示されるとき
Google側の robots.txt の情報が最新ではない可能性が高いです。
最新のrobots.txtの情報を提出することをぜひお試しください。
この記事では、Googleに robots.txt の最新情報を知らせる方法を中心にお伝えします。
サイトマップ以外でURLをインデックス登録させる
ジンドゥークリエイターでは、無料版でも "ヘッダー編集" の領域を利用することでサイトをGoogle Search Console(サーチコンソール) に登録することができますが、現在一部のお客様の環境で
サーチコンソールの 「サイトマップ の追加」ではステータスが「取得できませんでした」となる場合があります。
この事象に関しては現在開発などを含め確認中です。対象のお客様にはご不便をおかけしてすみません。
URL検査からインデックス登録は行えますので、ご安心ください。
URL検査 -> インデックス登録 もご利用ください
サイトマップの登録でエラーが出る場合は、サーチコンソールの「URL検査」を利用し、Googleにインデックス申請を提出することができます。正常に受理されれば、数時間から数日でGoogleにページがインデックスされます。ぜひこちらも活用してください。
![](https://image.jimcdn.com/app/cms/image/transf/none/path/s0e84577b02fd7261/image/i785ac4ae84d97e99/version/1619097140/image.png)
robots.txt で拒否された場合は?
サーチコンソールに追加し、「URL検査」並びに「インデックス登録をリクエスト」をしたときに" robots.txt によりブロックされました "と表示される場合は、Googleが認識している該当するサイトの robots.txt の情報が古い可能性があります。
ご自身のサイトの robots.txt の内容と、Googleに登録されている情報を確認して、情報が古ければぜひ最新の情報に更新しましょう。
robots.txtの内容を確認する
- STEP1:対象サイトの robots.txt の内容を確認する
- STEP2:Googleに認識されている robots.txt を確認する
- STEP3:両方の状態が異なっていれば、最新版の情報に更新依頼を出す
STEP1:対象サイトの robots.txt を確認する
ジンドゥークリエイターではrobots.txtは自動で生成されます(編集はできません。サイトの内容に合わせて自動で更新されます)。どのような内容が記載されているかは、ジンドゥークリエイターサイトのURL末部に /robots.txt をつけてアクセスすることで確認することができます。
また、その内容によって対応が変わります。
例:https://xxxxxxxxxxxx.jimdofree.com/robots.txt
※https://xxxxxxxxxxxx.jimdofree.com の xxxxxxxxxxxx はご自身のクリエイターサイトのURLに置き換えてください
[ パターンA ]
User-agent: *
Disallow: /
こちらの内容の場合は、このままサーチコンソールに登録すると「インデックス登録をリクエスト」をしたときに" robots.txt によりブロックされました "と表示される要因になることがあります。
ですが、対象サイトは作成して間もない状態ではないでしょうか?
こちらの状態は通常であれば長くは継続しません。何度かサイトを作るためにログインや更新作業をしているうちに [ パターンB ]のように情報が更新されますのでご安心ください。
[ パターンB ]
User-agent: *
Disallow: /app/
Disallow: /j/
Allow: /app/module/webproduct/goto/
Allow: /app/download/
Sitemap: https://xxxxxxxxxxxx.jimdofree.com/sitemap.xml
こちらの内容の場合は、サーチコンソールに認識されていれば、通常のページはブロックの対象にはなりません。(ジンドゥー側で自動生成されるページの一部は登録できませんが、トップ並びにお客様が作成されたページは登録できます)
Google 側で認識されているrobots.txtの内容を確認して、情報が最新でなければ Google に最新情報を見てもらうようにリクエストを提出しましょう。
STEP2:Google に認識されているrobots.txtの内容を更新する
[1] robots.txt テスターツールにアクセスして、該当サイトのプロパティを選択する
![](https://image.jimcdn.com/app/cms/image/transf/dimension=710x10000:format=png/path/s0e84577b02fd7261/image/i5e23532c8fae002c/version/1619154402/image.png)
[2] robots.txt の中身を確認する
![](https://image.jimcdn.com/app/cms/image/transf/dimension=710x10000:format=png/path/s0e84577b02fd7261/image/ida2fd89ae1cc43cd/version/1619154673/image.png)
プロパティを選択すると、該当するサイトの"現在Googleが認識しているrobots.txtの内容"が表示されます。もし、ここの表示以下のようになっている場合は、最新の状態に更新してもらうためのリクエストを提出しましょう。
User-agent: *
Disallow: /
このままサーチコンソールでページの検査と「インデックス登録をリクエスト」をしたときに" robots.txt によりブロックされました "と表示される要因になります。
[3] robots.txt の情報更新をGoogleにリクエストする
![](https://image.jimcdn.com/app/cms/image/transf/dimension=710x10000:format=png/path/s0e84577b02fd7261/image/i01283d00a7866e69/version/1619155397/image.png)
[2] で確認した、あなたのサイトのrobots.txtの情報が、STEP1で確認した内容と異なっている場合は、テストツール右下の「送信」からGoogleに最新情報に更新してもらうようリクエストを提出しましょう。
![](https://image.jimcdn.com/app/cms/image/transf/dimension=710x10000:format=png/path/s0e84577b02fd7261/image/ie5a3badbf2ee2ff3/version/1619155609/image.png)
「送信」をクリックしたらこちらの画面が表示されます。
「3 Googleに更新をリクエスト 」の送信ボタンをクリックします
![](https://image.jimcdn.com/app/cms/image/transf/dimension=503x10000:format=png/path/s0e84577b02fd7261/image/icc57813833f4239c/version/1619155732/image.png)
「3 Googleに更新をリクエスト 」の下に「送信しました」というアナウンスが表示されたら、
\重要/
今開いているページの「再読み込み(リロード)」を行います。
![](https://image.jimcdn.com/app/cms/image/transf/dimension=503x10000:format=png/path/s0e84577b02fd7261/image/if9134cbdb1411262/version/1619156054/image.png)
robots.txtの最新状態が認識されます。
タイムスタンプも最新になるので、合わせて確認しましょう。
User-agent: *
Disallow: /app/
Disallow: /j/
Allow: /app/module/webproduct/goto/
Allow: /app/download/
Sitemap: https://xxxxxxxxxxxx.jimdofree.com/sitemap.xml
![](https://image.jimcdn.com/app/cms/image/transf/dimension=234x1024:format=png/path/s0e84577b02fd7261/image/i712f143f4e4159f5/version/1619158801/image.png)
このようなrobots.txtになっていれば、最新状態が読み込まれています。次に、サーチコンソールで、URL検査をして、インデックスの登録を行いましょう。
検査ツールの左上、Googleのマークをクリックすることで、サーチコンソールに移動できます。
「URL検査」からインデックス登録を申請する
サーチコンソールに戻ったら、URLを検査から、ページをインデックス登録の申請を行います。
サーチコンソールで sitemap.xml のステータスでエラーになって読み込めなかった場合も、
URLを検査からインデックスに登録していくことができます。
インデックス登録の申請を出す
![](https://image.jimcdn.com/app/cms/image/transf/dimension=693x10000:format=png/path/s0e84577b02fd7261/image/ie652ccee57a9e612/version/1619156613/image.png)
![](https://image.jimcdn.com/app/cms/image/transf/dimension=503x10000:format=png/path/s0e84577b02fd7261/image/id9461d336cac2e84/version/1619156800/image.png)
URL検査 をクリックし、サイトのページURL
https://xxxxxxxxxxxx.jimdofree.com/
などを記載します。
個別ページも提出できますが、トップページを登録しておけば、トップから回遊できる他のページにもクローラーが回遊しやすくなります。
![](https://image.jimcdn.com/app/cms/image/transf/dimension=710x10000:format=png/path/s0e84577b02fd7261/image/i1024b5f5726d9ccc/version/1619157038/image.png)
該当ページの検査結果が表示されるので、URLがGoogleに登録されていません。となっている場合はこの画面から「インデックス登録をリクエスト」をクリックして、リクエスト申請を送りましょう。
![](https://image.jimcdn.com/app/cms/image/transf/dimension=201x1024:format=png/path/s0e84577b02fd7261/image/ie6a5e59e49295a31/version/1619158801/image.png)
ジンドゥークリエイターのトップを含めたほとんどのページはこちらから登録することができます。一部のシステムページ(自動で生成されるページ)やブログのプレビューページは登録が行えませんので、エラーが出た場合はURLや、ライブテストでご確認ください。
時間をおいて、確認しよう!
正常にインデックス登録のリクエストが完了すると、数時間から数日でインデックスされます。
インデックスされると、このような表示に変わります。
![](https://image.jimcdn.com/app/cms/image/transf/dimension=710x10000:format=png/path/s0e84577b02fd7261/image/i103960e364ff493c/version/1619157388/image.png)
いかがでしたか?
URL検査の段階で" robotx.txt "にブロックされました、と出る場合は、Google側が認識しているあなたのサイトのrobotx.txt 情報を最新に更新すると解決されます。
サーチコンソールで sitemap.xml の登録ができない場合も、URL検査を利用することで、URL検査からインデックス登録の申請が提出できますので、ぜひ合わせてご活用ください。