Moz - SEOとインバウンドマーケティングの実践情報
XMLサイトマップを検索エンジンに送信するとクロールがどう変わるのかテストしてみた

Moz(旧SEOmoz) 2009/1/27(火) 9:00 tweet7このエントリーをはてなブックマークに追加 印刷用
この記事はもともとSEOmozのYOUmozセクションに掲載したものですが、非常に優れているのでこちらのブログに格上げしました。

人間誰でもそうだけど、いいものも悪いものも含めて、僕にはいろんな癖がある。この間、あるクライアントのWebサイトに取り組んでいるとき、いつものようにXMLサイトマップを作って検索エンジンに送信したんだけど、そのときに考え始めたんだ。XMLサイトマップって本当にサイトの役に立っているんだろうかってね。XMLサイトマップを検索エンジンに登録すると、どんな効果があるんだろうか。

そこで、そこそこ人気のあるブログを運営していて、WordPressGoogle XML Sitemaps Generator for WordPressというプラグインを使っているクライアントに頼んでみたんだ。僕が作ったトラッキング用のスクリプトをサイトにインストールして、検索ロボットの動きを追跡させてくれないかってね。Google XML Sitemaps Generatorがどんなものか知らない人のために説明すると、WordPressで投稿を編集したり作成したりするたびに、新しくXMLサイトマップを作って主要な検索エンジンに送信してくれるものだ。

そのクライアントは、ブログに新しいコンテンツをだいたい週に2~3本は投稿している。僕がそのサイトにインストールしたスクリプトはPHPで記述したもので、ロボットがサイトマップにアクセスしたとき、サイトマップが送信されたとき、ロボットがWebサイトのページをクロールしたとき、逐一その動きを追跡する。そして集めた情報を、タイムスタンプ、IPアドレス、ユーザーエージェント名と一緒にMySQLデータベースに保存した。さらに僕はGoogle XML Sitemaps Generatorにも手を加えて、サイトマップを検索エンジンに送信するたびにタイムスタンプを挿入できるようにした。

結果はいかに!

この実験の目的は、グーグルやヤフーにXMLサイトマップを登録すると、グーグルがクロールして、そのページのインデックス化するのにかかる時間が短縮されるかどうかを見ることだった。で、このブログを使った実験結果には驚いた! ボットが新しいブログ投稿を訪問するのにかかった平均時間は、次のとおりだった。

  • サイトマップを送信した場合
    • グーグル:14分
    • ヤフー:245分
  • サイトマップを送信しなかった場合
    • グーグル:1375分
    • ヤフー:1773分

この時間は12本の異なる投稿の平均だ。うち6本ではサイトマップを送信し、6本ではサイトマップを送信しなかった。

Crawl Time - No Sitemap
Crawl Time - Sitemap Submitted

データを集計してみて、何かの間違いがあったに違いないと思った。僕は、自分のサイト(GR Web Designs:宣伝になってしまって申し訳ない)ですぐに新しい投稿を作成し、グーグルとヤフーにサイトマップを送信してみた。30分後、トラッキング用スクリプトをチェックしてみると、グーグルはすでにクロールし終えて新しい投稿をインデックス化しており、ヤフーもすぐ後に続いた。

サイトマップがない場合にロボットがクロールに要する時間も計ったけど、サイトの構造に問題があって、ロボットが新しいページをクロールできないことがわかった。自分でサイトをチェックして、ほかの人にもクロール可能かどうか見てもらったけど、何も問題は見つからなかった。さらに調べてみた結果、ロボットは新しく投稿した記事に対するリンクを追加したページを調査したものの、その場ですぐにはリンク先のページをクロールしなかったこともわかった。

この記事を書くために調査していて、SEOmozの「グーグルのサイトマップに関するアドバイス——サイトの確認は行ってもサイトマップは送信するな」というランドの記事を見つけ、僕は混乱してしまった。サイトマップを登録するとこんなすごい結果が得られるのに、どうしてランドはXMLサイトマップを送信しないように言うんだろうってね。だけど、記事をもう一度読み返したら、ランドが関心を持っていたのは貴重な通常のクロールデータを入手することがわかった。WordPressを使っていて、すべてのページがクロール可能だとわかっているんだったら、XMLサイトマップを送信しない理由はない。とりわけ、上のようなすばらしい結果が得られるのならね。

※Web担編注 この記事中で触れているランドの記事は2007年のものでだが、2009年1月5日付の追記で彼は意見を翻し、やはりXMLサイトマップは送信すべきだと述べている。

今回の実験で使ったような、通常のクロールに何の問題もないことがわかっているサイトに関しては、XMLサイトマップを送信することをお勧めする。クロールとインデックス化にかかる時間が短縮できるからだ。リンク構造が適切かどうかはっきりしないサイトの場合には、サイトマップを登録しないほうがいいだろう。これはサイトに問題があるかどうかを判断する材料にもなる。すばらしいリンク構造のサイトを持つみなさんには、時間短縮のために今すぐグーグルとヤフーにXMLサイトマップを送信することをお勧めする。

サイトマップの利用について、SEOmoz読者の意見をぜひとも聞きたい。ただ、今回の実験は1つのサイトだけで行ったもので、みなさんからの反応がよければ、サイトマップの利用についてさらに研究を進めるかもしれない。

tweet7このエントリーをはてなブックマークに追加
日本赤十字社 東日本大震災 義援金募集
Web担メルマガでラクラク情報ライフを
注目記事が毎週手もとに届いて見逃さない
要チェックのセミナー情報もゲットできる
編集長コラムを一足先に読める
―― 10万人が読んでいる、Web担必読メルマガです

今日の用語

mixi
2004年2月からサービスを開始したソーシャルネットワーキングサービス(SNS) ... →用語集へ

連載/特集コーナーから探す

インフォメーション

Web担のメルマガを購読しませんか?
Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。

Web担に広告を掲載しませんか?
購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。

サイトマップ
RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]

GOLD SPONSOR
さくらインターネット株式会社株式会社KDDI ウェブコミュニケーションズ株式会社日本レジストリサービスHP Softwareトランスコスモス株式会社株式会社ハイパーボックスDomain Keeperアドビ システムズ 株式会社
SPONSOR
株式会社キノトロープ株式会社アイレップ株式会社ニューズ・ツー・ユーシックス・アパート株式会社ウェブアンテナ株式会社サイバーエージェント富士通株式会社SitecoreYahoo!プロモーション広告Oracle