googleアドセンスの「広告クローラ」エラーの対処法

AdSenseにログインすると管理画面の上部に「広告クローラのエラーが生じており、収益の損失が発生する可能性があります。」とメッセージが表示されました。

「Googleは、2018年12月にクロールされていないURLから届く広告リクエストについて、入札をより厳しく制限する方式を導入する広告配信仕様変更を行った。」とのことです。
多くの広告クローラのエラーは、過去に削除して現在は存在しないページと公開前の記事のプレビューで発生しています。が、この場合は特に対処の必要はないようです。つまりプレビューでは公開前の記事であるため、外部からのアクセスは遮断されますが、どのURLから広告にアクセスされたかをクローラが検知して、コンテンツ内容を確認しようとして、そのURLにアクセスすると拒否されてエラーとなっているということなので、記事が公開された時点では、正規のURLへリダイレクトされますので対応は必要ないということなのです。
今回のエラーはすこし状況が異なりましたので、どのように対処してよいのか?色々と悩みましたが、何とか対応して、2週間位で解除となりましたので、その実際を紹介します。

広告クローラとは
クローラは、ウェブページのコンテンツの解析とインデックス登録に使用されるソフトウェアで、スパイダーまたはボットとも呼ばれます。AdSense クローラは、関連性の高い広告を配信するため、サイトにアクセスしてコンテンツを分析します。
・クローラレポートの更新は週 1 回です。
・AdSense クローラは Google クローラとは異なります。
・AdSenseクロールの問題を解決しても、Googleクロールの問題の解決にはなりません
・クローラは URL単位でインデックスを登録します。
・クローラは Google の広告タグが実装されている URL にのみアクセスを試みます。
・クローラはリダイレクト元のページにアクセスを試みます。
・クローラがサイトにアクセスする頻度は調整できません。
(GoogleAdsenseヘルプより)

[ 更新履歴 ]

2021.10.16　
2021.10.12 広告クローラのエラー発生が発生して、2021.10.16 にエラー解除となりましたので、その経緯と原因について追記しました。

広告クローラのエラー(ケース1)
広告クローラのエラー(ケース2)

広告クローラのエラー(ケース1)

現象

アドセンスにログイン

googleアドセンスにログインすると、

サイトは、gungii.comで、問題のあるページは1ページとの事。

対象ページの確認

表示されているgungii.comの行をクリックすると、

gungii.com/xx/xxxxxxxx.xxx?page=theme-settingsにアクセスできないとの事。つまり、Cocoonの設定ページにアクセスできないとの事。

原因

「詳細」をクリック

「詳細」をクリックすると原因(何故?アクセスできなかったのか?)と考えられる内容の一覧が表示されます。

考えられる原因一覧

「詳細」をクリックすると、以下のような一覧表が表示されます。今回の場合、考えられる原因はA,B,Cです。

対策

プラグインを削除

まずAですが、今回、「Flying Scripts by WP Speed Matters」というプラグインを使って、Adsense広告の表示を2秒遅らせるようにしました。これが、原因とは思われませんが、一応、疑ってかかり、「Flying Scripts」のプラグインを削除し、2秒遅らせる制限を解除しました。
2021.09.21
「広告クローラのエラー」が解除されましたので、サイトスピードのアップの為、再度同プラグインを導入して、「使用していないJavaScriptの削除」対策を行いました。(エラーとなれば、それが原因となりますので観察します。)

特になし(クローラの認識を待つ)

次にBですが、ブログ記事を2日連続で投稿しました。つまり新しいページのURLをクローラが認識する前に、その記事のアドセンス広告を表示しようとしますが、URLがわからない為、Cocoonの設定画面にアクセスできないという状態ということでしょうか?でも、これまでも同様のことは発生していますので、これも違う気がします。

リダイレクトを削除

そして最後にCですが、最近gungii.comのブログ記事を分離、一部をgungii.siteへ移動させましたので、リダイレクトを多用しています。(gungii.com→gungii.site)広告コードも埋め込んでいますが、リダイレクトの多用が最も怪しいので削除しました。
2019.09.07
リダイレクト処理そのものを止めました。「301Redirects」というプラグインで行っていましたが、プラグイン自体を削除してリダイレクトを止めました。

結果

2021.08.25から表示されていたメッセージが2021.09.10やっと消えました。原因は何だったのか？はわかりません。やはりリダイレクトの多用の様に思います。

広告クローラのエラー(ケース2)

現象

アドセンスにログイン

googleアドセンスにログインすると、

サイトは、gungii.siteで、問題のあるページは2ページとの事。

対象ページの確認

表示されているgungii.siteの行をクリックすると、

gungii.site/?page_id=11476&preview=true
つまり、page-id=1476のフレビューした固定ページが見つからないとの意味の様です。

原因

上記の通り、「人事評価シート_LP」という固定ページは、公開せずに下書き保存したままプレビューを繰り返していましたが、プレビュー画面ではアドセンス広告も表示されるようになっていました。つまりプレビューでは公開前の記事であるため、外部からのアクセスは遮断されますが、どのURLから広告にアクセスされたかをクローラが検知して、コンテンツ内容を確認しようとして、そのURLにアクセスすると拒否されてエラーとなっているということなのです。公開前の記事のプレビューで発生していますので、特に対応は必要ないということなのです。