Moz - SEOとインバウンドマーケティングの実践情報

グーグルのクロール頻度の設定を変えると訪問ペースがどれくらい変わるのか調べてみた

この記事はもともとSEOmozのYOUmozセクションに掲載したものですが、非常に優れているのでこちらのブログに格上げしました。

僕は最近、あるクライアントの仕事をしていて、ちょっとした実験をやってみようと思ったんだ。グーグルのWebmaster Toolでクロール速度を変えると、本当に何か違いが生じるのかどうか知りたかったんだ。

僕は心のどこかで、Webmaster Toolの設定ってのは、グーグルの訪問頻度を変えられると思わせるだけのためにあるんじゃないかと疑ってたんだけど、別のどこかではグーグルを信用したい気持ちもあったんだ。

僕は、ユーザーエージェントの情報、グーグルが訪問したページと日付をすべてデータベースに格納するスクリプトを大急ぎで書いた。このスクリプトを200日間実行したんだけど、そのうち90日はクロール速度を「高速」にして、残りを「標準」に設定した。それから、新しいブログを投稿してからグーグルが初めてその記事を訪問するまでの時間も記録した。最初の55日間は「標準」で、それから「高速」で90日間、そのあとふたたび「標準」に戻して55日間、データを追跡した。

集まったデータを解説する前に、背景情報をちょっと説明しておこう。

僕がこの実験を開始した時点で、そのWebサイトは開設から1年以上経過していて、グーグルにキャッシュされてるページ数は45ページだった。新しいブログ記事の投稿は週に2~3回で、その都度、新しいコンテンツがサイトに加えられていく。そのサイトは、ブランド名と、その他その分野に関連する2~3個のキーワードでなかなかの順位を獲得している。

実験期間中に、80件を超える新しいブログ記事をサイトに追加した。

  • クロール速度を「標準」にしておくと、グーグルが初めてページを訪問するまでに平均で3.4日かかった。

  • クロール速度を「高速」にすると、グーグルが初めてページを訪問するのに要した日数は平均で2.9日だった。

これは、僕の基準ではさほど大きな差とは思えないんだけど、興味深いデータではあるよね。断っておくけど、これは、ページが最初にインデックスにキャッシュされたタイミングではなく、ボットが初めてページを訪れたときという意味だからね。

Faster Crawl Rate
Normal Crawl Rate

クロール速度を「標準」にすると、グーグルは1日につき平均6回サイトを訪れている。訪問回数が多いのは、火曜日と金曜日と日曜日だ。

一方、クロール速度を「高速」にすると、グーグルは1日平均7.5回サイトを訪問している。訪問回数が多いのは、水曜日、木曜日、土曜日。クロール速度を「標準」にしておいた場合に比べて、90日間で135ページ分多く訪問してもらえたことになる。

Crawl Rate

上のグラフを見ると、クロール速度を「高速」にすると、少しだけ日数が短縮できているのがわかる。とはいえ、それも90日のうちのほんの一部に過ぎなかった。この結果を見て僕は、このサイトの場合、グーグルのWebmaster Toolでクロール速度を変えても、あまり意味がないという結論に達したんだ。

用語集
Google Webmaster Central / SEO / インデックス / キャッシュ / クローラ / クロール / ボット / ユーザーエージェント / 訪問
この記事が役に立ったらシェア!
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

Python
「Python」(パイソン)は、プログラミング言語の1つ。プログラマのグイド・ヴ ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]