D2C、サブスクリプションなど
マーケティング関連の役立つ情報をお届けします。

なぜ間違ったA/Bテストを信じてしまうのか?統計学から見た「誤差」の正体

広告のレスポンスやLPのコンバージョン率を上げるために行われる、A/Bテスト。実は統計的に正しくないテスト結果にもとづいて、売上アップに貢献しない「改善」が行われがちであることをご存知ですか?マーケティングの現場で起こりがちなケースをもとに、「誤差」や「有意差」などについて、統計学の知識がない方にも分かりやすく解説します。

正規分布

A/Bテストの結果、本当に正しい!?EC企業で起こった“事件”

 

広告のCPA改善やランディングページ(LP)のコンバージョン率(CVR)アップのために欠かせない、A/Bテスト。

 

このA/Bテストで数字が良かったクリエイティブを採用したら、費用対効果が悪化してしまった・・
そんな現象が起こってしまう可能性があることを、ご存知ですか?

 

 

あるECサイトを運営する企業では、A/Bテストを継続的に実施してWEBサイトの CVRを改善してきました。
直近のデザイン改善でも「CVRが、9.5%から9.6%にアップ!」という結果が出て、社内の関係部署は祝福ムードに包まれていました。
(出典:「統計学が最強の学問である」西内啓)

 

 

ABテスト

 

 

このテスト結果について相談を受けた統計学者(著者)が、「誤差でもこれくらいの差が生じるのか?」「それとも、本当に改善したと言えるのか?」を確かめることに。
「カイ二乗検定」という手法で解析してみたところ、「実際には何の差もない状況でも、データの誤差によってこの程度の差が生じる確率は、44.7%である」という結果が示されました。

 

これは簡単に言うと「約半分の確率で、以前と変化しない」ということ。
つまり、A/Bテストによって「コンバージョンが改善した!」と判断されて採用されたデザインが、「売上アップに貢献するか?」はまったく未知数という衝撃的な結果が示されたのです。

 

 

レスポンスが“逆転”してしまった・・化粧品チラシでの体験

 

このようにA/Bテストで「改善した!」と出た結果が、実は信頼できない数字だったという体験は、弊社でも実際にありました。
(参考:「そのA/Bテストの結果、信頼できる?統計が苦手な人向け、有意差の検定法」)

 

化粧品のチラシでキャッチコピーを変えて、2パターンのチラシを作成したのですが、1回目はAパターンの勝利。
ですがレスポンスの差が110%と大きくはつかなかったため、念のため別の媒体でも同じく2パターンを出稿したところ、2つ目の媒体では「Bパターンが、数件の差で多い」と結果が逆転。

 

さらに3つ目の媒体では、10件近くの差がついて、BパターンのレスポンスがAパターンを上回りました。
このように、3つの媒体でそれぞれバラバラの結果が出てしまったのです。

 

 

なぜ、このようにA/Bテストで全く異なる数字が測定されてしまうのでしょうか?

 

それは、「誤差」によって、実際のテスト結果は変動してしまうからです。

 

 

テスト結果を狂わせる、「誤差」の正体とは?

 

誤差とは「実際に得られた値が、本来の値からどれだけずれているかを表す量」のこと。

 

データを測定したサンプル数が少ないと、偶然によって結果がブレて逆転してしまうことがあります。
「1人の顧客が反応したか?しなかったか?」「たまたま途中で心変わりした」といった些細なできごとが、テスト結果に影響を与えてしまうのです。

 

 

サンプルの少なさゆえのデータのバラツキによって、多くの回数で行った時の平均値、つまり広告やLPの持つ“本来の力”からテスト結果がずれてしまうこと

 

A/Bテストにおける「誤差」の正体です。

 

たとえば、LPのA/Bテストで、次のような結果が出たとしましょう。

 

Aパターンはコンバージョン率(CVR)が2%、Bパターンは3%。
この結果にもとづいて、「Aパターンの方が売れる」と結論づけられるのでしょうか?

 

テスト1

ABテスト

 

 

答えはNo.です。

 

Aパターンのコンバージョン(CV)が20件という数値は、誤差の観点を入れて考えると、ブレがあるなかで偶然に出てきた数値です。
同じくBパターンもブレがあるなかで出てきた数値ですが、お互いにブレのなかでも「はっきりとした差がある」言えるほどの数字ではないのです。

 

 

ユーザーの購買行動が、「正規分布」にしたがうなら

 

続いて、次の数字ならどうでしょうか?

 

AパターンはCVRが2%、Bパターンは3%とここまでは先ほどの数字と同じです。

 

ただし、アクセス数が10倍に増えて、10,000に。
CV件数もそれぞれ、200件と300件になっています。

 

テスト1

ABテスト

 

 

結論から言うと、このテスト結果は十分に信頼できると判断できます

 

なぜ、このように判断できるのでしょう?

 

WEBサイトのコンバージョン、つまりユーザーが「買うか?」「買わないか?」といった現象は、一般的に「正規分布」にもとづくと考えられています。

 

正規分布とは、下図のように「左右対称で滑らかな曲線の山で表されるデータのバラつき方」のことです。
(出典:「統計学が最強の学問である[実践編]—データ分析のための思想と方法 」西内啓)

 

正規分布

 

 

「コインを投げたときに表が出る回数」や「日本人の身長」、あるいは「センター試験の成績」といった数多くの現象について、数字の散らばり方が正規分布にしたがうことが分かっています。

 

 

アクセス数を増やしたら、AとBパターンの差は「有意差」に

 

この正規分布にしたがう場合、限られたアクセス数のもとに出た「CVR2%」や「3%」という平均値から、「本来の正しいCVR、すなわちアクセス数が無限に近いほど多かったときに出るCVRがどの範囲にあるか?」を推定できます。

 

テスト1では、AパターンとBパターンで本来のCVRが取りうる範囲(「信頼区間」と呼びます)が重なってしまいます。

 

したがって、テスト結果は統計的には誤差の範囲と推定されます。

 

テスト1

ABテスト1

 

 

逆にテスト2では、AパターンとBパターンは信頼区間が重なりません。
したがって、テスト結果は統計的に十分に正しいと推測されます。

 

テスト2

ABテスト2

 

 

このことを統計的に「有意」である、「有意差」が付いていると言います。
(参考:「A/Bテストの結果をどのように解釈するか?」)

 

このように比較的に多いアクセス数のもと、AパターンとBパターンの結果に十分な差がついていると、統計学の観点からも「誤差の範囲」ではなく、「信頼できる結果」と言える可能性が高くなるのです。

 

では、このようにAパターンとBパターンが有意差がついているか?は具体的にどうやって求めればよいでしょうか?
「仮説検定」などを活用して有意差を判定する方法については、統計学を学んだことのない“文系”の方にも分かりやすいように、また記事を書く予定です。

人気のタグ
健康食品 化粧品 引き上げ A/Bテスト コピーライティング 折込チラシ DM オファー ワンスター 定期購入 アウトバウンド インバウンド 定期コース 同梱物 海外進出 インフォマーシャル 広告媒体 ロイヤル顧客 新聞広告 ステップメール お客様の声 アップセル デプスインタビュー 割引 ネイティブ広告 LTV 体験談 決済 デザイン 影響力の武器 行動経済学 クロスセル LP 離脱防止 同封広告 CPO 休眠顧客 まとめ売り CPA プレゼント データ分析 キャッチコピー コールセンター お友達紹介 CPR 台湾 シュガーマン 書評 RFM分析 記事広告 LINE Ads Platform 紙媒体 EFO 会報誌 フリーペーパー 無料サンプル F2転換 リピート率 PR KPI サブスクリプション キャスティング フォーム改善 カゴ落ち 越境EC コーズマーケティング バナー カスタマーサポート トライアルセット 解約抑止 クリック率 Instagram パーソナライズDM 同梱広告 挨拶状 カート コンバージョン率 ポイント制度 返金保証 口コミ 損失回避の法則 定期継続率 休眠掘り起こし アンケート 成分認知度 ファンデーション 回帰分析 客単価 CVR 運用型広告 中国 カタログ スマホ タイ 市場調査 物流 まとめ買い 確認画面 お休み制度 開封率 クレンジング 金券 サンクコスト 初回定期 ビジネスモデル レコメンド広告 社会的証明 手書き手紙 統計学 広告代理店 事業計画 アフィリエイト広告 レスポンス率 記事コンテンツ 記事型 CS アンケート型LP 単品リピート通販 CRM Tmall Global(天猫国際) メルマガ CPM分析 フルフィルメント Facebook広告 お礼状 ザイオンス効果 返報性の原理 神話の法則 保有効果 認知的不協和 PASONAの法則 ROAS ツァイガルニック効果 恐怖訴求 企業姿勢 送料無料 一貫性の原理 ゲル 完了画面 顧客ランク 若見え 顔出し 反応率 インバウンドアップセル ゲーミフィケーション NPS コンテンツマーケティング 動画広告 海外展開 MA 顧客ロイヤルティ マーケティング ユニットエコノミクス YD Yahoo!ディスプレイ広告 YDN KOL 単品通販 芸能人 広告起用 CVアップ 通販広告 費用 新規獲得 解約防止 CAC 解約率 MRR ARPU 媒体 無料モニター メイクアップ 圧着ハガキ プロスペクト理論 アンカリング効果 顔写真 離脱抑止 薬機法 ブランド 神田昌典 現状維持バイアス フォローコール サンクスレター 通販経営 フレーミング効果 コンビニ後払い 脳科学 カリギュラ効果 希少性 アンカリング カタログ通販 リスク・リバーサル プラシーボ効果 有意差 トライアルアセット 通販業界 ASP お客様イベント リスティング広告 プロダクトライフサイクル キャンペーン 下取り 損失回避 QRコード 媒体化 番組パターン ラジオ広告
全てのタグをみる閉じる
メールマガジン登録はこちら

単品リピート通販のKPI入門編

CPA・CPO・LTVなど、通販事業の現場でよく使われるKPIに加え、初心者が最初に知りたい「単品リピート通...
単品リピート通販のKPI入門編
無料ダウンロードはこちら
お問い合わせ
広告・CRMなど、各分野の専門家が
お答えします
フォームからのお問い合わせ
お問い合わせフォームはこちら
お電話でのお問い合わせ
TEL: 03-6680-7513 (受付時間:平日 9:30-18:30)