D2C、サブスクリプションなど
マーケティング関連の役立つ情報をお届けします。

A/Bテストの方法で、やってはいけない!初心者にありがちな、3つの間違い

広告やWEBサイトなどで2つ以上のパターンを用意して、どちらの方がユーザーの反応が良いか?を実験するA/Bテスト。
あらかじめ「売れない」リスクを抑えることができて有効ですが、もし間違った方法でA/Bテストを行うと、統計的に信頼できない結果が出てしまいます。
A/Bテストの初心者の方に向けて、よくある3つの間違いをまとめました。

通販事業の現場で使われているKPIを新任担当者でも分かるようにまとめました。
解説資料はこちら
 
 

間違い1:異なる期間で比べてしまう

 

あなたがECサイトで、有機野菜を販売していると仮定しましょう。

 

商品のメリットを訴求するうえで、WEBサイトのランディングページ(LP)のキャッチコピーを、

 

・A:安全性(契約農家から直送して、放射能など安全検査済み)
・B:手軽さ(調理しやすい野菜を選んでお試しセットに、特別レシピ付き)

 

のどちらをメインにするか?2つの案で迷っています。

 

Aパターンの方が売れそうに思えたので、 11月から先に実験したところ、あまり売れませんでした。
そこで12月には、キャッチコピーをBパターンに変更して結果を比べることにしました。

 

すると、Aパターンはコンバージョン率が2%に対して、Bパターンはコンバージョン率が4%と跳ね上がりました。

 

この結果から、Bパターンの方が「売れる」と結論を出せるでしょうか?

 

答えは「No」です。
なぜなら、Bパターンの方が売れたのには、別の要因が考えられるからです。

 

・12月は、年末商戦・クリスマスシーズンのために売れやすかった
・12月に出した広告の精度が高く、購買意欲の高いユーザーがアクセスしていた
・12月はスーパーで野菜が値上がりして、商品へのニーズが高まった

 

など、さまざまな「時期要因」が考えられます。

 

したがって、異なる時期によるテスト結果は、統計的には信頼できません。
必ず同じ時期でランダムにユーザーを振り分けるようにしましょう。

 

通販事業の現場で使われているKPIを新任担当者でも分かるようにまとめました。
解説資料はこちら
 
 

間違い 2:複数の条件を変更してしまう

 

先ほどの有機野菜の例で、オファー(価格や特典)についても、以下の2つの案が候補にあがっていました。

 

・C:割引(3割引)
・D:プレゼント(2セット買うと、もう1セット無料でプレゼント)

 

この2パターンも試したいと思って、先ほどのA・Bの2パターンと合わせてテストをすることにしました。
AとC、BとDの組み合わせでコンバージョン率を比較したところ、AとCを組み合わせた方が数字が高くなりました

 

この結果を見て、「AとCを採用しよう」と判断します。

 

正しいテスト結果とは言えない

 

ところが、これは厳密には正しいテスト結果とは言えません。

 

・Aが良かったのか?
・それとも、Cがプラスに働いたのか?

 

どちらか?が分からないからです。

 

仮にCパターンとDパターンを独立に比べたとき、Cパターンの方が売れなかったとします。
たとえそうであったとしても、CパターンとDパターンとの差を上回る差を、AパターンがBパターンに付けてくれたかもしれません。

 

したがって異なる要素を比較したいときは、一つずつテストするようにしましょう。
もし一度に混ぜてテストしてしまうと、それぞれの効果が分かりません。

 

※ただし「多変量テスト」を使えば、異なる要素を組み合わせてテストすることができます。
※また、時間やコストなどの制約条件がある場合や、各パターンの組み合わせが影響を与える場合など、組み合わせによるテストを行う場合もあります。

 

通販事業の現場で使われているKPIを新任担当者でも分かるようにまとめました。
解説資料はこちら
 
 

間違い3:少ない母数で結論を出してしまう

 

間違い1と2を踏まえて、今度はAパターンとBパターンだけで、同じ期間でテストを実施。
次のような結果が出たとしましょう。

 

テスト結果

 

Aパターンだと2%しか買ってもらえませんが、Bパターンでは3%も買ってもらえる、という結果が分かりますね。
「Bパターンの方が、売れやすい」という検証結果が、定量的に判明しました。

 

ところが、「年末商戦に間に合わせたい!」と急いでいたのでアクセスが2,000集まった段階で、テストを打ち切ってしまっていたとします。

 

その時点では、実は先ほどの数字とは逆の結果が出ていました

 

逆のテスト結果

 

A/Bテストを行っていると、最初に良かったパターンが徐々に別のパターンに追い上げられ、途中で結果が逆転してしまうことがあります

 

なぜなら、母数が少ない段階では、結果にブレが出ることが多いからです。

 

統計的に有意な結果が出るまでは、テストを途中でやめてしまわずに我慢強く待ちましょう。

 

※テスト結果が統計的に正しいかどうか?は、たとえばこちらのページでチェックできます

 

通販事業の現場で使われているKPIを新任担当者でも分かるようにまとめました。
解説資料はこちら
 
 

ケースバイケースで、現場の実情に合わせたテストを

 

この記事では、A/Bテストを初めて取り組む方やまだ経験が浅い方が、誤ったテスト結果にもとづいて判断をしてしまわないように、よくある間違いとして3つのパターンにまとめました。

 

最後に補足すると、A/Bテストが「統計的には正しい結果とは言えない」という観点から書きましたが、必ずしも「間違い」と言えない場合があります。

 

限られた予算と時間で売れるパターンを探り当てていくことが求められるマーケティングの現場では、必ずしも統計的に正しい結果が出るような環境を準備できないことがあるからです。

 

たとえば間違い1についても、Aパターンでまったく売れていなかった場合には、AパターンをやめてBパターンに絞ってテストしてみることはよくあります。

 

また間違い2についても、A・Cパターン、B・Dパターンの結びつきが強い場合には、複数箇所を変更してテストを行う場合もあります。
同様に間違い3に載せた統計的な有意差についても、広告予算と時間によっては、有意差がつくのを待たずにテスト結果を判断することもあります。

 

 

これらは特に、活用できる予算やツールなどが十分ではない中小企業のマーケティング現場ではよくあることです。

 

正しいテストの方法を理解するのは前提としたうえで、現場の求められているスピード感やコスト感などを加味して、時には「誤った判断をしてしまったかもしれない」という可能性を受け入れたうえで、判断していけるとよいでしょう。
 
通販事業の現場で使われているKPIを新任担当者でも分かるようにまとめました。
解説資料はこちら

お問い合わせ
広告・CRMなど、各分野の専門家が
お答えします
フォームからのお問い合わせ
お問い合わせフォームはこちら
お電話でのお問い合わせ
TEL: 03-6435-0337 (受付時間:平日 9:30-18:30)