クリエイター | Search Console | URL検査で”robots.txt によりブロックされました”と表示されるときの解消方法

    ジンドゥークリエイターで作成したサイトを Google Search Console(サーチコンソール) に追加し「URL検査」並びに「インデックス登録をリクエスト」を行ったときに" robots.txt によりブロックされました " と表示され、インデックス登録ができない場合、該当サイトの robots.txt の最新情報がGoogleに伝わっていない可能性があります。

     "robots.txt によりブロックされました " と表示されるとき
    Google側の robots.txt の情報が最新ではない可能性が高いです。
    最新のrobots.txtの情報を提出することをぜひお試しください。

    この記事では、Googleに robots.txt の最新情報を知らせる方法を中心にお伝えします。

    サイトマップ以外でURLをインデックス登録させる

    ジンドゥークリエイターでは、無料版でも "ヘッダー編集" の領域を利用することでサイトをGoogle Search Console(サーチコンソール) に登録することができますが、現在一部のお客様の環境で

    サーチコンソールの 「サイトマップ の追加」ではステータスが「取得できませんでした」となる場合があります。

    この事象に関しては現在開発などを含め確認中です。対象のお客様にはご不便をおかけしてすみません。
    URL検査からインデックス登録は行えますので、ご安心ください。

    URL検査 -> インデックス登録 もご利用ください

    サイトマップの登録でエラーが出る場合は、サーチコンソールの「URL検査」を利用し、Googleにインデックス申請を提出することができます。正常に受理されれば、数時間から数日でGoogleにページがインデックスされます。ぜひこちらも活用してください。


    robots.txt で拒否された場合は?

    サーチコンソールに追加し、「URL検査」並びに「インデックス登録をリクエスト」をしたときに" robots.txt によりブロックされました "と表示される場合は、Googleが認識している該当するサイトの robots.txt の情報が古い可能性があります。

    ご自身のサイトの robots.txt の内容と、Googleに登録されている情報を確認して、情報が古ければぜひ最新の情報に更新しましょう。

    robots.txtの内容を確認する

    • STEP1:対象サイトの robots.txt の内容を確認する
    • STEP2:Googleに認識されている robots.txt を確認する
    • STEP3:両方の状態が異なっていれば、最新版の情報に更新依頼を出す

     

    STEP1:対象サイトの robots.txt を確認する

    ジンドゥークリエイターではrobots.txtは自動で生成されます(編集はできません。サイトの内容に合わせて自動で更新されます)。どのような内容が記載されているかは、ジンドゥークリエイターサイトのURL末部に /robots.txt をつけてアクセスすることで確認することができます。
    また、その内容によって対応が変わります。

    例:https://xxxxxxxxxxxx.jimdofree.com/robots.txt

    ※https://xxxxxxxxxxxx.jimdofree.com の xxxxxxxxxxxx はご自身のクリエイターサイトのURLに置き換えてください

    [ パターンA ]

    User-agent: *
    Disallow: /

    こちらの内容の場合は、このままサーチコンソールに登録すると「インデックス登録をリクエスト」をしたときに" robots.txt によりブロックされました "と表示される要因になることがあります。


    ですが、対象サイトは作成して間もない状態ではないでしょうか?
    こちらの状態は通常であれば長くは継続しません。何度かサイトを作るためにログインや更新作業をしているうちに [ パターンB ]のように情報が更新されますのでご安心ください。

     

    [ パターンB ]

    User-agent: *
    Disallow: /app/
    Disallow: /j/
    Allow: /app/module/webproduct/goto/
    Allow: /app/download/
    Sitemap: https://xxxxxxxxxxxx.jimdofree.com/sitemap.xml

    こちらの内容の場合は、サーチコンソールに認識されていれば、通常のページはブロックの対象にはなりません。(ジンドゥー側で自動生成されるページの一部は登録できませんが、トップ並びにお客様が作成されたページは登録できます)

     

    Google 側で認識されているrobots.txtの内容を確認して、情報が最新でなければ Google に最新情報を見てもらうようにリクエストを提出しましょう。


    STEP2:Google に認識されているrobots.txtの内容を更新する

    [1] robots.txt テスターツールにアクセスして、該当サイトのプロパティを選択する


    [2] robots.txt の中身を確認する

    プロパティを選択すると、該当するサイトの"現在Googleが認識しているrobots.txtの内容"が表示されます。もし、ここの表示以下のようになっている場合は、最新の状態に更新してもらうためのリクエストを提出しましょう。


    User-agent: *
    Disallow: /

    このままサーチコンソールでページの検査と「インデックス登録をリクエスト」をしたときに" robots.txt によりブロックされました "と表示される要因になります。


    [3] robots.txt の情報更新をGoogleにリクエストする

    [2] で確認した、あなたのサイトのrobots.txtの情報が、STEP1で確認した内容と異なっている場合は、テストツール右下の「送信」からGoogleに最新情報に更新してもらうようリクエストを提出しましょう。


    「送信」をクリックしたらこちらの画面が表示されます。

    「3 Googleに更新をリクエスト 」の送信ボタンをクリックします


    「3 Googleに更新をリクエスト 」の下に「送信しました」というアナウンスが表示されたら、
    \重要/
    今開いているページの「再読み込み(リロード)」を行います


    robots.txtの最新状態が認識されます。

    タイムスタンプも最新になるので、合わせて確認しましょう。


    User-agent: *
    Disallow: /app/
    Disallow: /j/
    Allow: /app/module/webproduct/goto/
    Allow: /app/download/
    Sitemap: https://xxxxxxxxxxxx.jimdofree.com/sitemap.xml

    このようなrobots.txtになっていれば、最新状態が読み込まれています。次に、サーチコンソールで、URL検査をして、インデックスの登録を行いましょう。

    検査ツールの左上、Googleのマークをクリックすることで、サーチコンソールに移動できます。

    「URL検査」からインデックス登録を申請する

    サーチコンソールに戻ったら、URLを検査から、ページをインデックス登録の申請を行います。

    サーチコンソールで sitemap.xml のステータスでエラーになって読み込めなかった場合も、
    URLを検査からインデックスに登録していくことができます。

    インデックス登録の申請を出す


     

    URL検査 をクリックし、サイトのページURL
    https://xxxxxxxxxxxx.jimdofree.com/
    などを記載します。
    個別ページも提出できますが、トップページを登録しておけば、トップから回遊できる他のページにもクローラーが回遊しやすくなります。


    該当ページの検査結果が表示されるので、URLがGoogleに登録されていません。となっている場合はこの画面から「インデックス登録をリクエスト」をクリックして、リクエスト申請を送りましょう。

    ジンドゥークリエイターのトップを含めたほとんどのページはこちらから登録することができます。一部のシステムページ(自動で生成されるページ)やブログのプレビューページは登録が行えませんので、エラーが出た場合はURLや、ライブテストでご確認ください。

    時間をおいて、確認しよう!

    正常にインデックス登録のリクエストが完了すると、数時間から数日でインデックスされます。

    インデックスされると、このような表示に変わります。


    いかがでしたか?

    URL検査の段階で" robotx.txt "にブロックされました、と出る場合は、Google側が認識しているあなたのサイトのrobotx.txt 情報を最新に更新すると解決されます。
    サーチコンソールで sitemap.xml の登録ができない場合も、URL検査を利用することで、URL検査からインデックス登録の申請が提出できますので、ぜひ合わせてご活用ください。