効果的なA/Bテストの設計方法とは？第一人者から学ぶ、5ステップ

米国の第一人者から学ぶ、5ステップのテスト方法

WEBサイトやメール、DMなどさまざまな分野で、レスポンス改善に有効なA/Bテスト。
ところが間違った方法で行うと「せっかくテストをしたのに、有効な結果が出ない」という場合があります。

・ボタンの色など細部を変えても、結果に差がほとんど見られない
・期間限定キャンペーンの見せ方など、次に応用できないテストをしてしまう
・何を検証するためにテストをしたのか、後で分からなくなってしまう

私も何度もテストをしてきましたが、このような誤りを犯してきました。
その結果実感したのが、具体的なテストのやり方はもちろん、その前提となる「何をテストするか？」の考え方や設計が誤っていると、有効な結果が出ないということでした。

では、A/Bテストで失敗しないためには、どのようなやり方をすればよいのでしょうか？

米国のA/Bテストの第一人者たちが書いた本、”A/B testing”（邦訳名「部長、その勘はズレてます! 「A/Bテスト」最強のウェブマーケティングツールで会社の意思決定が変わる」）に載っている、5つの正しいステップを紹介します。

ステップ1：「成功とはなにか」を明確にする

1つ目は、「成功の評価基準を数値化する」ことです。
A/Bテストで「具体的にどの数字を改善したいと思っているのか？」、それが成功の評価基準です。

テスト戦略を練る際には、あなたのウェブサイトの「コンバージョン」（サイト訪問者に商品を購入してもらう、資料請求や会員登録をしてもらうなど、ウェブサイトの最終的な成果）に含まれるものと含まれないものを、別々に書きだそう。

たとえばECで化粧品を販売する企業が、ランディングページ（LP）を売れるようにしたいと考えていました。
そのためにA/Bテストをする場合でも、「コンバージョン率（CVR）を高めたいのか？」「それとも平均単価を高めたいのか？」によって、打ち手は異なります。

特に複数のメンバーでテストを進める時には、この評価基準を事前に明確にしておきましょう。
テストの実行段階になって、「このデータを分析したいと知らなかったから、設定をしていなかった・・・」「広告代理店の制作したクリエイティブが、マネージャーが求めている方向性と違う」といったことが起こりかねません。

「LPでスマホからのCVRをアップしたい」「定期購入者の比率を60％以上に高めたい」など、目標を明確にしましょう。

ステップ2：ボトルネックを突きとめる

2つ目は、その成功を達成するために最大のポトルネックがどこにあるかを突きとめましょう。

ボトルネックとは、ユーザーがページから離脱するところ、すなわち、あなたが起こしてほしいと切望している一連の行動をとる前に、もっとも多くの訪問者がページから去っていくところだ。

ステップ1で、「LPからのCVRを高める」を目標に設定しました。
広告をクリックしてからコンバージョンに到るまでのフローを、数字とともに可視化してみましょう。

広告からLPへ、そしてフォーム（カート）から完了画面へ、というユーザーのたどるフローをたどると気づくのが、フォームから完了画面に至ったユーザーが20%と低いこと。
せっかく購入しようとフォームを訪れたものの、買わずに離脱しているユーザーが80%もいるのです。

この数字をもとに、フォームを第一の優先順位に改善していくと判断できます。

ステップ3：仮説を立てる

ボトルネックを解決するための改善仮説を立てましょう。
仮説の成否を握るのは、ユーザーの意向を理解しているかどうか？です。

事前にユーザーにインタビューをおこなったり、アンケートなどのフィードバック・フオームに意見を入力してもらったり、フォーカスグループ（調査対象の商品などについて意見を聞く少人数のグループ）から実際に話を聞いたりして、あなたのウェブサイトに対するユーザーの考えを調査するのもいいだろう。

ステップ2でいざフォームを改善しようと決まると、いろいろなアイデアが浮かぶはずです。

「入力項目が多すぎて、面倒に思われてしまうのでは？」
「デザインがごちゃごちゃしていて、信頼性が低く感じられるのでは？」
「スマホで入力する時、文字入力の変換などユーザビリティが悪いのでは？」

それぞれについて、課題と解決策を整理していきましょう。

たとえば入力項目については、一般的に「項目数が増えれば増えるほど、完了率が下がる」という法則のもと、不要な項目を探します。
「アンケート」や「電話番号」などを削除したり必須項目からはずしたりすれば、完了率がアップするのでは？と仮説を立てます。

ステップ4：優先順位を付ける

仮説をもとに、テストするページの改善案をラフでもいくつかカタチにみましょう。
そのうえで、インパクトが大きそうな施策から優先順位をつけます。

理想をいえば、デザインしたバリエーションをすべてテストしたいところだが、どんなチームであれ、限られた数のテストしか実行できないのが実状だ。
あなたのチームが傾注できる力、予算、時間、そしてサイトのトラフィックには、すべて限度がある。こうした現実があるからこそ、テストを実施する前に仮説を立て、あらかじめ優先順位をつけておくことが肝要だ。

ステップ3で立てたフォームの改善においては、インパクトが出やすいのは「引き算」の施策とも言われています。
すなわち「デザインを変更する」「新たなコピーを加える」といった施策よりも、「不要な項目を削除する」「余計なリンクを削除する」などの施策がより有効に機能しやすいという意味です。

過去のテスト事例や同業種で有効だった解決策なども参考にしながら、“筋が良さそう”な改善仮説を選び、優先順位を決めましょう。

ステップ5：テストを実施する

4つのステップを経て、最後にようやくテストの実施に移ります。

無作為に選んだ訪問者に（ときには複数の）バリエーションを見てもらい、彼らがどんな行動をとるかを追跡し、あらかじめ数値化しておいた成功の評価基準を達成できるかどうか、見ていけばいい。

テストを始めてしばらくして、結果に統計的に有意な差が得られたら、ステップ1〜4で立てた問いへの答えが得られます。

もちろん、成功することもあれば失敗してしまうケースもあるはずです。
どのような結果が出たとしても、まずは「仮説が合っていたか？」を検証しましょう。
そのうえで次なる改善を目指して、また5つのステップでPDCAサイクルをまわしていけばよいのです。

単に改善版をデザインしたり、ツールの設定をしたりするだけが、テストではありません。
目的の確認や仮説の立案、優先順位付けなど、上流工程の設計が大切と分かりますね。

「ここを改善したい」「他社がこうしていたから、うちもこうしたい」
もしそんな衝動が浮かんだとしたら、テストの実装に入る前に、または部下や外部パートナーに指示を出す前に、いったん手を止めてステップ1〜5を確認してみましょう。

「目標」や「仮説」を改めて書き出してみる、「ボトルネック」を数字で調べてみる、「優先順位」を再考する、といったことできっと新たな気づきが生まれるはずです。