D2C、サブスクリプションなど
マーケティング関連の役立つ情報をお届けします。

A/Bテストの方法で、やってはいけない!初心者にありがちな、3つの間違い

広告やWEBサイトなどで2つ以上のパターンを用意して、どちらの方がユーザーの反応が良いか?を実験するA/Bテスト。
あらかじめ「売れない」リスクを抑えることができて有効ですが、もし間違った方法でA/Bテストを行うと、統計的に信頼できない結果が出てしまいます。
A/Bテストの初心者の方に向けて、よくある3つの間違いをまとめました。

間違い1:異なる期間で比べてしまう

 

あなたがECサイトで、有機野菜を販売していると仮定しましょう。

 

商品のメリットを訴求するうえで、WEBサイトのランディングページ(LP)のキャッチコピーを、

 

・A:安全性(契約農家から直送して、放射能など安全検査済み)
・B:手軽さ(調理しやすい野菜を選んでお試しセットに、特別レシピ付き)

 

のどちらをメインにするか?2つの案で迷っています。

 

Aパターンの方が売れそうに思えたので、 11月から先に実験したところ、あまり売れませんでした。
そこで12月には、キャッチコピーをBパターンに変更して結果を比べることにしました。

 

すると、Aパターンはコンバージョン率が2%に対して、Bパターンはコンバージョン率が4%と跳ね上がりました。

 

この結果から、Bパターンの方が「売れる」と結論を出せるでしょうか?

 

答えは「No」です。
なぜなら、Bパターンの方が売れたのには、別の要因が考えられるからです。

 

・12月は、年末商戦・クリスマスシーズンのために売れやすかった
・12月に出した広告の精度が高く、購買意欲の高いユーザーがアクセスしていた
・12月はスーパーで野菜が値上がりして、商品へのニーズが高まった

 

など、さまざまな「時期要因」が考えられます。

 

したがって、異なる時期によるテスト結果は、統計的には信頼できません。
必ず同じ時期でランダムにユーザーを振り分けるようにしましょう。

 

 

間違い 2:複数の条件を変更してしまう

 

先ほどの有機野菜の例で、オファー(価格や特典)についても、以下の2つの案が候補にあがっていました。

 

・C:割引(3割引)
・D:プレゼント(2セット買うと、もう1セット無料でプレゼント)

 

この2パターンも試したいと思って、先ほどのA・Bの2パターンと合わせてテストをすることにしました。
AとC、BとDの組み合わせでコンバージョン率を比較したところ、AとCを組み合わせた方が数字が高くなりました

 

この結果を見て、「AとCを採用しよう」と判断します。

 

正しいテスト結果とは言えない

 

ところが、これは厳密には正しいテスト結果とは言えません。

 

・Aが良かったのか?
・それとも、Cがプラスに働いたのか?

 

どちらか?が分からないからです。

 

仮にCパターンとDパターンを独立に比べたとき、Cパターンの方が売れなかったとします。
たとえそうであったとしても、CパターンとDパターンとの差を上回る差を、AパターンがBパターンに付けてくれたかもしれません。

 

したがって異なる要素を比較したいときは、一つずつテストするようにしましょう。
もし一度に混ぜてテストしてしまうと、それぞれの効果が分かりません。

 

※ただし「多変量テスト」を使えば、異なる要素を組み合わせてテストすることができます。
※また、時間やコストなどの制約条件がある場合や、各パターンの組み合わせが影響を与える場合など、組み合わせによるテストを行う場合もあります。

 

 

間違い3:少ない母数で結論を出してしまう

 

間違い1と2を踏まえて、今度はAパターンとBパターンだけで、同じ期間でテストを実施。
次のような結果が出たとしましょう。

 

テスト結果

 

Aパターンだと2%しか買ってもらえませんが、Bパターンでは3%も買ってもらえる、という結果が分かりますね。
「Bパターンの方が、売れやすい」という検証結果が、定量的に判明しました。

 

ところが、「年末商戦に間に合わせたい!」と急いでいたのでアクセスが2,000集まった段階で、テストを打ち切ってしまっていたとします。

 

その時点では、実は先ほどの数字とは逆の結果が出ていました

 

逆のテスト結果

 

A/Bテストを行っていると、最初に良かったパターンが徐々に別のパターンに追い上げられ、途中で結果が逆転してしまうことがあります

 

なぜなら、母数が少ない段階では、結果にブレが出ることが多いからです。

 

統計的に有意な結果が出るまでは、テストを途中でやめてしまわずに我慢強く待ちましょう。

 

※テスト結果が統計的に正しいかどうか?は、たとえばこちらのページでチェックできます

 

 

ケースバイケースで、現場の実情に合わせたテストを

 

この記事では、A/Bテストを初めて取り組む方やまだ経験が浅い方が、誤ったテスト結果にもとづいて判断をしてしまわないように、よくある間違いとして3つのパターンにまとめました。

 

最後に補足すると、A/Bテストが「統計的には正しい結果とは言えない」という観点から書きましたが、必ずしも「間違い」と言えない場合があります。

 

限られた予算と時間で売れるパターンを探り当てていくことが求められるマーケティングの現場では、必ずしも統計的に正しい結果が出るような環境を準備できないことがあるからです。

 

たとえば間違い1についても、Aパターンでまったく売れていなかった場合には、AパターンをやめてBパターンに絞ってテストしてみることはよくあります。

 

また間違い2についても、A・Cパターン、B・Dパターンの結びつきが強い場合には、複数箇所を変更してテストを行う場合もあります。
同様に間違い3に載せた統計的な有意差についても、広告予算と時間によっては、有意差がつくのを待たずにテスト結果を判断することもあります。

 

 

これらは特に、活用できる予算やツールなどが十分ではない中小企業のマーケティング現場ではよくあることです。

 

正しいテストの方法を理解するのは前提としたうえで、現場の求められているスピード感やコスト感などを加味して、時には「誤った判断をしてしまったかもしれない」という可能性を受け入れたうえで、判断していけるとよいでしょう。

人気のタグ
健康食品 化粧品 引き上げ A/Bテスト コピーライティング 折込チラシ DM オファー ワンスター 定期購入 アウトバウンド インバウンド 定期コース 同梱物 海外進出 インフォマーシャル 広告媒体 ロイヤル顧客 新聞広告 ステップメール お客様の声 アップセル デプスインタビュー 割引 ネイティブ広告 LTV 体験談 決済 デザイン 影響力の武器 行動経済学 クロスセル LP 離脱防止 同封広告 CPO 休眠顧客 まとめ売り CPA プレゼント データ分析 キャッチコピー コールセンター お友達紹介 CPR 台湾 シュガーマン 書評 RFM分析 記事広告 LINE Ads Platform 紙媒体 EFO 会報誌 フリーペーパー 無料サンプル F2転換 リピート率 PR KPI サブスクリプション キャスティング フォーム改善 カゴ落ち 越境EC コーズマーケティング バナー カスタマーサポート トライアルセット 解約抑止 クリック率 Instagram パーソナライズDM 同梱広告 挨拶状 カート コンバージョン率 ポイント制度 返金保証 口コミ 損失回避の法則 定期継続率 休眠掘り起こし アンケート 成分認知度 ファンデーション 回帰分析 客単価 CVR 運用型広告 中国 カタログ スマホ タイ 市場調査 物流 まとめ買い 確認画面 お休み制度 開封率 クレンジング 金券 サンクコスト 初回定期 ビジネスモデル レコメンド広告 社会的証明 手書き手紙 統計学 広告代理店 事業計画 アフィリエイト広告 レスポンス率 記事コンテンツ 記事型 CS アンケート型LP 単品リピート通販 CRM Tmall Global(天猫国際) メルマガ CPM分析 フルフィルメント Facebook広告 お礼状 ザイオンス効果 返報性の原理 神話の法則 保有効果 認知的不協和 PASONAの法則 ROAS ツァイガルニック効果 恐怖訴求 企業姿勢 送料無料 一貫性の原理 ゲル 完了画面 顧客ランク 若見え 顔出し 反応率 インバウンドアップセル ゲーミフィケーション NPS コンテンツマーケティング 動画広告 海外展開 MA 顧客ロイヤルティ マーケティング ユニットエコノミクス YD Yahoo!ディスプレイ広告 YDN KOL 単品通販 芸能人 広告起用 CVアップ 通販広告 費用 新規獲得 解約防止 CAC 解約率 MRR ARPU 媒体 無料モニター メイクアップ 圧着ハガキ プロスペクト理論 アンカリング効果 顔写真 離脱抑止 薬機法 ブランド 神田昌典 現状維持バイアス フォローコール サンクスレター 通販経営 フレーミング効果 コンビニ後払い 脳科学 カリギュラ効果 希少性 アンカリング カタログ通販 リスク・リバーサル プラシーボ効果 有意差 トライアルアセット 通販業界 ASP お客様イベント リスティング広告 プロダクトライフサイクル キャンペーン 下取り 損失回避 QRコード 媒体化 番組パターン ラジオ広告
全てのタグをみる閉じる
メールマガジン登録はこちら

単品リピート通販のKPI入門編

CPA・CPO・LTVなど、通販事業の現場でよく使われるKPIに加え、初心者が最初に知りたい「単品リピート通...
単品リピート通販のKPI入門編
無料ダウンロードはこちら
お問い合わせ
広告・CRMなど、各分野の専門家が
お答えします
フォームからのお問い合わせ
お問い合わせフォームはこちら
お電話でのお問い合わせ
TEL: 03-6680-7513 (受付時間:平日 9:30-18:30)