ジンドゥークリエイターで作成したサイトを Google Search Console（サーチコンソール） に追加し「URL検査」並びに「インデックス登録をリクエスト」を行ったときに" robots.txt によりブロックされました " と表示され、インデックス登録ができない場合、該当サイトの robots.txt の最新情報がGoogleに伝わっていない可能性があります。
"robots.txt によりブロックされました " と表示されるとき
Google側の robots.txt の情報が最新ではない可能性が高いです。
最新のrobots.txtの情報を提出することをぜひお試しください。
この記事では、Googleに robots.txt の最新情報を知らせる方法を中心にお伝えします。
サイトマップ以外でURLをインデックス登録させる
ジンドゥークリエイターでは、無料版でも "ヘッダー編集" の領域を利用することでサイトをGoogle Search Console（サーチコンソール） に登録することができますが、現在一部のお客様の環境で
サーチコンソールの 「サイトマップ の追加」ではステータスが「取得できませんでした」となる場合があります。
この事象に関しては現在開発などを含め確認中です。対象のお客様にはご不便をおかけしてすみません。
URL検査からインデックス登録は行えますので、ご安心ください。
URL検査 -> インデックス登録 もご利用ください
サイトマップの登録でエラーが出る場合は、サーチコンソールの「URL検査」を利用し、Googleにインデックス申請を提出することができます。正常に受理されれば、数時間から数日でGoogleにページがインデックスされます。ぜひこちらも活用してください。
robots.txt で拒否された場合は？
サーチコンソールに追加し、「URL検査」並びに「インデックス登録をリクエスト」をしたときに" robots.txt によりブロックされました "と表示される場合は、Googleが認識している該当するサイトの robots.txt の情報が古い可能性があります。
ご自身のサイトの robots.txt の内容と、Googleに登録されている情報を確認して、情報が古ければぜひ最新の情報に更新しましょう。
robots.txtの内容を確認する
- STEP1：対象サイトの robots.txt の内容を確認する
- STEP2：Googleに認識されている robots.txt を確認する
- STEP3：両方の状態が異なっていれば、最新版の情報に更新依頼を出す
STEP1：対象サイトの robots.txt を確認する
ジンドゥークリエイターではrobots.txtは自動で生成されます（編集はできません。サイトの内容に合わせて自動で更新されます）。どのような内容が記載されているかは、ジンドゥークリエイターサイトのURL末部に /robots.txt をつけてアクセスすることで確認することができます。
また、その内容によって対応が変わります。
例：https://xxxxxxxxxxxx.jimdofree.com/robots.txt
※https://xxxxxxxxxxxx.jimdofree.com の xxxxxxxxxxxx はご自身のクリエイターサイトのURLに置き換えてください
[ パターンA ]
User-agent: *
Disallow: /
こちらの内容の場合は、このままサーチコンソールに登録すると「インデックス登録をリクエスト」をしたときに" robots.txt によりブロックされました "と表示される要因になることがあります。
ですが、対象サイトは作成して間もない状態ではないでしょうか？
こちらの状態は通常であれば長くは継続しません。何度かサイトを作るためにログインや更新作業をしているうちに [ パターンB ]のように情報が更新されますのでご安心ください。
[ パターンB ]
User-agent: *
Disallow: /app/
Disallow: /j/
Allow: /app/module/webproduct/goto/
Allow: /app/download/
Sitemap: https://xxxxxxxxxxxx.jimdofree.com/sitemap.xml
こちらの内容の場合は、サーチコンソールに認識されていれば、通常のページはブロックの対象にはなりません。（ジンドゥー側で自動生成されるページの一部は登録できませんが、トップ並びにお客様が作成されたページは登録できます）
Google 側で認識されているrobots.txtの内容を確認して、情報が最新でなければ Google に最新情報を見てもらうようにリクエストを提出しましょう。
STEP2：Google に認識されているrobots.txtの内容を更新する
[1] robots.txt テスターツールにアクセスして、該当サイトのプロパティを選択する
[2] robots.txt の中身を確認する
プロパティを選択すると、該当するサイトの"現在Googleが認識しているrobots.txtの内容"が表示されます。もし、ここの表示以下のようになっている場合は、最新の状態に更新してもらうためのリクエストを提出しましょう。
User-agent: *
Disallow: /
このままサーチコンソールでページの検査と「インデックス登録をリクエスト」をしたときに" robots.txt によりブロックされました "と表示される要因になります。
[3] robots.txt の情報更新をGoogleにリクエストする
[2] で確認した、あなたのサイトのrobots.txtの情報が、STEP1で確認した内容と異なっている場合は、テストツール右下の「送信」からGoogleに最新情報に更新してもらうようリクエストを提出しましょう。
「送信」をクリックしたらこちらの画面が表示されます。
「3 Googleに更新をリクエスト 」の送信ボタンをクリックします
「3 Googleに更新をリクエスト 」の下に「送信しました」というアナウンスが表示されたら、
＼重要／
今開いているページの「再読み込み（リロード）」を行います。
robots.txtの最新状態が認識されます。
タイムスタンプも最新になるので、合わせて確認しましょう。
User-agent: *
Disallow: /app/
Disallow: /j/
Allow: /app/module/webproduct/goto/
Allow: /app/download/
Sitemap: https://xxxxxxxxxxxx.jimdofree.com/sitemap.xml
このようなrobots.txtになっていれば、最新状態が読み込まれています。次に、サーチコンソールで、URL検査をして、インデックスの登録を行いましょう。
検査ツールの左上、Googleのマークをクリックすることで、サーチコンソールに移動できます。
「URL検査」からインデックス登録を申請する
サーチコンソールに戻ったら、URLを検査から、ページをインデックス登録の申請を行います。
サーチコンソールで sitemap.xml のステータスでエラーになって読み込めなかった場合も、
URLを検査からインデックスに登録していくことができます。
インデックス登録の申請を出す
URL検査 をクリックし、サイトのページURL
https://xxxxxxxxxxxx.jimdofree.com/
などを記載します。
個別ページも提出できますが、トップページを登録しておけば、トップから回遊できる他のページにもクローラーが回遊しやすくなります。
該当ページの検査結果が表示されるので、URLがGoogleに登録されていません。となっている場合はこの画面から「インデックス登録をリクエスト」をクリックして、リクエスト申請を送りましょう。
ジンドゥークリエイターのトップを含めたほとんどのページはこちらから登録することができます。一部のシステムページ（自動で生成されるページ）やブログのプレビューページは登録が行えませんので、エラーが出た場合はURLや、ライブテストでご確認ください。
時間をおいて、確認しよう！
正常にインデックス登録のリクエストが完了すると、数時間から数日でインデックスされます。
インデックスされると、このような表示に変わります。
いかがでしたか？
URL検査の段階で" robotx.txt "にブロックされました、と出る場合は、Google側が認識しているあなたのサイトのrobotx.txt 情報を最新に更新すると解決されます。
サーチコンソールで sitemap.xml の登録ができない場合も、URL検査を利用することで、URL検査からインデックス登録の申請が提出できますので、ぜひ合わせてご活用ください。
