WPCatalogBot について
WPCatalogBot は、WPカタログ(wpcatalog.jp)が運用しているクローラーです。日本の WordPress サイトで使われているテーマ・サーバー・表示速度の傾向を調べ、統計として公開するために、サイトのトップページの情報を取得しています。
取得するもの
- トップページの HTML(タイトル、説明文、OGP 画像の URL、読み込まれているテーマ・プラグインのファイルの場所など)
- WordPress の REST API の一覧(
/wp-json/)の先頭部分。登録されている API の名前(名前空間)から、使われているプラグインの種類を調べます。API の中身(投稿・ユーザーなど)は取得しません。 - トップページで指定されている OGP 画像(1 枚。縮小したコピーを掲載に使います)
- robots.txt
ログインが必要なページ、フォーム、上記以外のページは取得しません。JavaScript は実行しません。/wp-json/ だけを止めたい場合は、robots.txt で Disallow: /wp-json/ を指定してください。
頻度と負荷
- 1つのサイトにつき、月に1回程度です。
- 同じサーバーへの同時アクセスは1本までにし、間隔を空けて取得します。
- サーバーから「アクセスが多すぎる」(HTTP 429・503)と返された場合は、間隔を広げるか、その月の取得を取りやめます。
取得を止めたい場合
robots.txt で WPCatalogBot を拒否してください。拒否されているサイトは取得せず、WPカタログにも掲載しません。
User-agent: WPCatalogBot
Disallow: / また、<meta name="robots" content="noindex"> を設定しているサイトも掲載しません。
掲載について
- WPカタログに掲載するのは、テーマ名・サーバー名・表示速度などの構成の情報と、サイトのタイトル・説明文・OGP 画像(縮小したもの)です。本文は転載しません。
- WordPress やプラグインのバージョン、IP アドレスなど、攻撃に悪用されうる情報は掲載しません。
- 掲載の削除や情報の修正は、削除・修正の依頼フォームからご依頼ください。
連絡先
このクローラーについてのお問い合わせは、お問い合わせフォームからお送りください。掲載の削除・情報の修正は削除・修正の依頼フォームからお送りください。
運営: セオリコ