誰もが受けたい!アクセス解析5分クリニック

デザイン変更をテストしましたが、結果に確信が持てません。どうすればいいですか?

今回は「A/Bテスト」とは?さらには、そもそも「正しいテスト」とは?を考えてみる。
誰もが受けたい!アクセス解析5分クリニック
丸山先生
医者:丸山先生(35歳・男)
当クリニックの代表。
来栖あきら
研修医:来栖あきら(25歳・男)
イケメンの研修医。
綾瀬ゆい
研修医:綾瀬ゆい(25歳・女)
優しい天然ボケの研修医。

ここ「アクセス解析5分クリニック」には、Webサイトについてさまざまな悩みを抱えた患者が、毎日のようにやってくる。研修医の来栖と綾瀬はデコボココンビだが、院長の丸山先生がとにかく名医。たった5分ですべての悩みを解決する!というのだ……。(登場人物紹介を詳しく見る

今回のお悩み
デザイン変更をテストしましたが、結果に確信が持てません。どうすればいいですか?

デザインを変えて成功したように思えたが

12月のコンバージョン率が悪かったので、試しに1月にアクションボタンの色を、赤から青に変えてテストしてみたんだ。そしたらコンバージョン率が0.3%上がったんだよ!

そうなの!? 私も青色にしようかしら。

でも、その後の結果があまりよくなくて。結局、3月には元のコンバージョン率に戻ってしまったんだ。

テスト結果は本当に正しいのか?

来栖君は「0.3%上がった」と言ったけど、いつのデータと比べて判断したのかな?

12月と1月を比較しました。

それはひょっとすると色の変化ではなく、季節変動などの影響でコンバージョン率が変化しただけかもね。あと、コンバージョン率だけに注目しているけど、アクセス数はどれくらい?

アクセス数はあまり多くなくて、1か月300くらいです。

サンプルサイズも小さい可能性があるね。

来栖君が行ったのは「赤か青か?」つまり「AかBのどちらが優れているか」を判定するテストだ。そういうテストを「A/Bテスト」というんだ。

厳密にいうと来栖君が今回行ったのは本当の「A/Bテスト」ではないのだけれども、そのあたりも含めて、A/Bテストの注意点を説明していこう。

A/Bテストでは、「テストの目的」が重要

まず、A/Bテスト実施時は、次の3つに気を付けよう。

  • 「テストの目的」をしっかり意識する
  • 「母集団」(目的に沿った対象者)を選ぶ
  • 偏りなくランダムに「標本」を抽出する

さて、今回の来栖君の「テストの目的」はなんだっけ?

サイト訪問者が青色か赤色が好きかを判定することです。

そのテスト目的に意味はあるかな? 赤でも青でも、どちらでも構わないということはないかな?

僕もわからないので、それをテストしたつもりです。

テストしようという心構えは大切だ。しかし、もっと大切なのは、最初にテスト目的をしっかり考えることだ。そのためには、たとえば、

ページの背景色やページ内で使っている画像の色味とのバランスで考えると、ボタンの色が赤だとデザインがなじんで注目されにくくなっているのではないか、だとすると、アクションボタンの色を現在のページ構成でもっと目立つものにすることで、訪問者の意識がボタンに集まりやすくなり、結果としてコンバージョン率が高くなるのではないか。

といった明確な「仮説」を立てて、それを検証するためにテストしなければいけない。

そもそも、「どちらでもよい」という場合は、テストしても「どちらでもよい」という結果しか出ないからね。

え、テストして、結果が出ないこともあるのですか?

よくあるよ。来栖君のように誤解している人も多いけど……。結果を出すコツは差が出やすい大胆なテストを作ることだね。でも、大胆なテストを作るには、目的意識がしっかりしていないとできない。テストには手間と時間がかかるから、最初にしっかり考えようね。

「母集団」と「標本」

次は、目的に添った対象者を選ぶことと、偏りなくランダムに抽出することだね。「母集団」と「標本」と呼ぶのだけど、この2つは一緒に考えたほうがわかりやすい。一言でいうと「誰を相手にテストしたの?」という話だ。

僕は、12月と1月のサイト訪問者を順番にテストしました。

今回はここが問題だ。たとえば、全国大学生の学力平均を知りたいのに、東大生だけに聞くのはあきらかに間違っているよね? つまり、“目的に対して、偏ったデータを集めてテストしてはダメ”ということだ。

でも、12月全体と1月全体との比較なので、偏っていないですよね?

うーん……。きっと変化はあるよね。12月はクリスマスで購入モードだし、1月はお正月でお休みモードだし。十分偏っているんじゃない?

そう。12月と1月では、来栖君がテストしたい「通年のサイト訪問者全体」という母集団のなかでは、データが偏っている可能性が高い。それでは残念ながらテストにならないんだ。

だから、来栖君のコンバージョン率の変化は「適切なA/Bテストの結果」ではなく、「なんとなく試してみたら、たまたま違いが出た」に過ぎないんだ。

適切なA/Bテストを自動的に実施できるツールを使う

正しいテストをするには、「通年のサイト訪問者全体」という母集団から、偏りなくデータ抽出する必要がある。

でも時期によって偏りもありますし、綺麗にランダム抽出なんてできないですよ。

そう無理だ。でも、来栖君のサイトで、ある月のユーザーの傾向が、「通年のサイト訪問者全体」と似ているといった期間はないかな? そうであれば、たとえば「3月のユーザーからランダム抽出することで、似たような結果を出す」といったことができる。

図1 3月の訪問者全体が通年のサイト訪問者全体に似ているならば、「3月からランダムに抽出(標本)したユーザー」は、「通年のサイトの訪問者全体」の形によく似る

でも、「3月の訪問者全体」でも、月の前半と後半に分けてテストしたら、やっぱり何らかの理由で偏りが出ますよね? たとえば、第三者のブログやツイッターでそのサイトのことに言及されたら、その期間はまた違う状態になってしまいます。

良い点に気がついたね。そのとおり、手動でA/Bテストを行うと、どうしても季節要因や外部要因の影響を受けがちなんだ。ではどうすればいいかというと、A/Bテストを適切に行ってくれるツールを使うんだ。

ありがたいことに、自動でA/Bテストを実行できる高機能なテストツールをGoogleが無料で提供してくれているんだ。そのツールの名前は「Googleウェブサイトオプティマイザー」というものだ。

テストツールを使うと、何が違うのですか?

ツールが統計的な計算をした上で、テスト期間中のアクセスを自動的にランダムに振り分けてテストを実行してくれるんだ。最初に設定してしまえば、しばらく後に、どちらが良かったか結果を教えてくれる。

それはすごいですね! どのくらいの期間でテストが終わるのですか?

期間は決まっていない。テストで重要なのは、「結果の差が明確なこと」と「サンプルサイズが大きいこと」なんだ。逆に、この2つが満たされていない限り、「ちゃんとA/Bテストで比較した」とは言えないと考えてよいだろう。

そんな! それじゃぁ困ります。僕は1か月くらいで早く結果が知りたいです。

テストというのは、よりよい方法を高い確度で選ぶために実施するのだよね? でもその前に判断してしまうというならば、テストそのものに意味がなくなってしまうよ。

もしウェブサイトオプティマイザーを使うならば、おおよそのテスト期間を知ることはできる。 以下のツールを使ってみよう。

まとめ

早く結果が知りたいという気持ちはわかるけど、テスト結果を信頼するためには、適切なサンプルサイズに対して結果に明確な差が現れていることが大切なんだ。

あと、よくある間違いは、目的なく「赤と青のどちらがよいか?」と単純な理由で実施すること。根拠がないテストで少し違いが出たとしても、それは時期が経つと逆転してしまうことも多い。気を付けよう。

テストを実施するならば、次の3つのポイントを考慮しよう。

  • テストの目的を明確にし、大胆なテストを作る
  • テスト目的に沿う母集団を決める
  • 母集団に対してツールを使ってテスト。あとは結果が出るまで我慢する

いずれも、Web担当者としてのユーザー理解に基づく「仮説」がベースになることは忘れてはいけない。

また、テストではなるべくツールを使おう。ランダムにアクセスを振り分けたり、統計の計算を自動で行ったりしてくれる。ツールを使わずにサンプルサイズが小さい中で判断している人は多いけど、それでは結果の信頼性が危うい。

中小企業はアクセスが少ないために、テスト結果が出るまで待てないことも多いと思うけど、それならば、自分の勘を信じてどんどん進めてもよいと思う。

最後に補足になるけど、最もコンバージョンに影響を与えるのは「人」だ。

たとえば、腹ペコの人は、汚いラーメン屋でも、のれんをくぐるでしょ? 「サイトの外見」よりも「お客さんの“空腹感”の違い」が結果に大きな影響を与えるんだ。常に「1人1人のお客さん」が大切なんだから、それを忘れずにテストや判断を行っていこうね。

今日の処方箋

お悩みデザイン変更をテストしましたが、結果に確信が持てません。どうすればいいですか?

アドバイスデザイン変更に効果があったかどうかは、前提として「正しいテストができていたかどうか」で決まります。第一にその点を検証しましょう。

以下3ステップで進めます。

  1. 12 【2分】 テスト目的は明確でしたか? デザイン変更前と後で結果の差は大きかったですか?

    仮説もなく何となくテストしていたり、その結果の差があまりなかったりすれば(0.3%程度など)、意味がないテストをしてしまった可能性があります。その場合は、どちらのパターンが良いのか判断できません。正確に計測したい場合はもう一度テストするか、テストする余力がない場合は、結果の良さそうだと信じるほうを残しましょう。

  2. 3 【1分】 テストの目的に対して母集団は適切でしたか?

    デザイン変更をテストする母集団は正しかったですか? メルマガユーザーなど、該当デザインなどに影響なく購入しそうな顧客だけをテストしていませんか?

  3. 45 【2分】 母集団からランダムに標本抽出してテストしましたか?

    12月と1月など、時期を変えてテストしていませんか? 通常、時期を変えてしまうと季節変動の影響を受けてしまうため、正しいテストにはなりません。2で考えた母集団を想定し、ランダムで抽出できたかどうか考えましょう。

    ぜひGoogleウェブサイトオプティマイザーのA/Bテストを利用しましょう。導入方法はGoogleアナリティクスと同様に、コードを貼り付けるだけです。

    ※Web担編注 Web担にもGoogleウェブサイトオプティマイザーの使い方を解説した記事があるので、ぜひ参考にしてほしい:
    Googleウェブサイトオプティマイザーの使い方ステップbyステップ: 無料でA/Bテスト入門

    また、注意事項を読みながら導入してみましょう。

    実装のポイントは、Googleアナリティクスのコードよりも上部にオプティマイザーのコードを貼ることです。通常、ウェブサイトオプティマイザーのコードは、headタグのすぐ後に貼るようにします。

筆者からお知らせ

2012年は、大切なWEBサイトの反応をグンと上げたい。かと言って何をすればよいでしょうか?

  • リスティング広告を実施する?
  • Facebookのファンページを作る?
  • アクセス解析のスキルを伸ばす?

etc……

最短で効果を上げるために、2012年、何をしたらよいかわからない。そんなWEB担当者のために、全国のWEB担当者と有名講師が集まって、問題を解決する場を作りました。

よくあるセミナーとは違い、明日から使ってもらえるノウハウやヒントを得てもらうことを目的とした、新しいセミナー型ワークショップです。

2012年4月19日(木)は、全国のWEB担当者仲間と一緒に、サイトのキャッチコピーや2012年度の行動計画を作りせんか?

当日はUstreamでインターネット同時配信も行いますので地方参加も可能です。詳細はこちら

よかったらこの機会をお見逃しなく。

この「ウェブ担当者通信」は、Web担当者Forumが運営しているものではなく、この連載の筆者である丸山耕二が企画しているものです。

※キャラクターイラスト(来栖、綾瀬):「コミPo!」にて制作

この記事が役に立ったらシェア!
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

アップロード
手元のPCなどの機器から、ネットワークを介して、別のPCやファイルサーバー、ウェ ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]