D2C、サブスクリプションなど
マーケティング関連の役立つ情報をお届けします。

A/Bテストの期間、結果が出る(有意差が付く)までに必要なのは?

A/Bテストを始める時に気になるのが、「テスト結果が出るまでに、どれだけの期間がかかるか?」このテスト期間を判断するのが実は難しい理由と、その場合の代替案を、簡単な統計学の観点から具体的なケースを交えて解説します。

ABテスト

ストップする時期は、どうやって判断すればよい?

 

A/Bテストを始める時に、関係者からよくいただくご質問が「どれくらいの期間で、結果が出ますか?」です。

 

A/Bテストでも、チラシやメールといった一括で配信するタイプであれば、期間はコントロールできず、逆にあまり気にする必要はないでしょう。

 

一方、LP(ランディングページ)や広告などオンラインのテストでは、よく論点になるのが「いつテストをストップするか?」です。
良い結果についてはテスト版を全面的に適用して、逆に結果が悪ければ元に戻す必要があるからです。

 

ところが統計学の観点からは、期間については一概には判断できません。

 

「1ヶ月間をみれば結果が出る」「最低2週間は必要」といったことは言えないのです。
逆に言えば、3日間で統計的に有意なテスト結果が出ることもあれば、1ヶ月以上かかっても十分な差がつかないケースもあります。

 

なぜ、テスト開始前には必要な期間が分からないのでしょうか?

 

 

テスト結果を見誤らせる、「誤差」の正体

 

実は、「A/Bテストの結果が、統計的に信頼できるか?」を左右するのは、「サンプル数」と「各パターンの結果の差」の2つです。
(参考:「A/Bテストの結果をどのように解釈するか?」)

 

前提として、「A/Bテストの結果が出た」とは、どのような状態なのでしょうか?

 

A/Bテストを始めたばかりの頃は、最終的な結果とは逆の数字が出ていることがあります。これはアクセスしたユーザーの数、つまりサンプル数が少ないために「誤差」に左右されてしまいやすいからです。

 

「誤差」とは、「実際に得られた値が、本来の値からどれだけずれているかを表す量」のこと。
サンプル数が少ないと「1人の顧客が反応したか?しなかったか?」「たまたま途中で心変わりした」といった些細なできごとが、テスト結果に影響を与えてしまうのです。
(参考:「なぜ間違ったA/Bテストを信じてしまうのか?統計学から見た「誤差」の正体」)

 

仮にWEBサイトのA/Bテストで次のような結果が出ていたとしましょう。

 

実はこの結果、統計学の観点から計算をすると誤差の影響が大きいと予想される、つまり統計的には「テスト結果が出た」とは言えないのです。

 

テスト1

テスト1

 

 

統計的にも信頼できるか?は、有意差で判断

 

では、どうなれば統計的に正しい結果が出たと言えるでしょう。

 

次のテスト2では、AパターンはCVRが2%でBパターンは3%と、ここまでは先ほどの数字と同じです。

 

ただし、アクセス数が10,000にと10倍に増加。
CV件数もそれぞれ、200件と300件に増えています。

 

テスト2

テスト2

 

この場合、「テスト結果は出た」と判断できます。
その理由はリンク先の記事にてご覧になれますが、サンプル数(アクセス数)が増えると、その分誤差の影響する度合いが低くなって、統計的にも十分に信頼できるデータと判断できるのです。

 

このように統計的に信頼できる結果が出ていることを、「有意」である、「有意差」が付いていると言います。

 

 

有意差がつくかは、「サンプル数」と「結果の差」で決まる

 

同じように、今度はテスト1からCV件数を変化させてみましょう。
アクセス数はそれぞれ同じですが、BパターンのCV件数が50件に増加、それにともなってCVRも5.0%になっています。

 

テスト3

テスト3

 

 

この場合も、有意差がついていると言えます。
なぜなら、CV件数の差がテスト1と比べて大きく異なっているため、1,000件のアクセス数しかなくても、十分に差がついていると判断できるからです。

 

お気付きのことと思いますが、これまで説明したケースでは、「差がつくまでにどれだけの期間がかかったか?」は考慮されていません。

 

したがって、テスト2の結果がたとえ3日間で出た数値だとしても、あるいはここまで差がつくのには1ヶ月間がかかったとしても、統計的には特に違いがありません
つまり、有意差がつくかは、「サンプル数」と「結果の差」で決まるのです。

 

 

実務のうえで押さえておきたい、3つの方法

 

とはいっても、テスト期間が目安でも予測できないと、実務のうえでは困ったことも出てくるでしょう。そんな時には、どうすれば良いでしょう?

 

 

過去データにもとづいてシミュレーション

 

まずはテストの実施前に、アクセス数とCV件数の差に沿って、シミュレーションをしてみましょう。

 

アクセスについては、一定の期間で「だいたいこれくらい集まる」と予測できるはずです。
またテストの経験を積むようになると、「このテストなら、良くても悪くても差はこれくらいの範囲」などと目処が立つこともあるでしょう。

 

それぞれについて、アバウトな数値や過去のテストでかかった期間から、「いつ頃までにテスト結果が出るか?」を予想してみるとよいでしょう。
有意差の判定には、たとえばこちらのような信頼度の判定ツールがWEB上で無料で公開されているので、活用してみてもよいかもしれません。

 

 

途中でストップする基準を設ける

 

またせっかくテストをしても、仮説どおりに改善ができていないと、コンバージョンに差がつかないこともあります。
時間だけがいたずらに経っても有意差はつかずに、有効なテスト結果が出ていません。

 

テスト期間が長くなればなるほど、その間に外部環境も変わってしまい、データの質も信頼できなくなってしまう場合もあるでしょう。

 

それでは困るので、自分たちなりに基準を設けるとよいでしょう。
たとえば、「2ヶ月間が経っても有意差が付かない場合は、ほとんど差がないと判断して、テストをストップする」などの基準を設けてもよいでしょう。

 

 

信頼度の低いデータで見切り発車

 

これまで説明した有意差は、「信頼度95%」という一般的な指標に沿っています。
つまり「95%以上の確率で正しい」、逆に言えば「5%以下の確率で間違っている」という基準です。

 

この「95%」は、テストの方針や企業の考え方によって、別の数字でも構いません。
たとえば「90%の水準での有意差」という場合は、「90%以上の可能性で正しい」という意味です。

 

「95%」と比べると正確性には劣りますが、その分テストの結果が早く出るのがメリットです。
「スピード」と「正確性」どちらを重視するか?で、用いる基準を取捨選択していけば良いのです

 

 

これらの3つの考え方には、統計学の世界のように「正解」がある訳ではありません。

 

求める改善スピードや正確性にしたがって、自分たちなりに判断していきましょう。
つまり、「決め」が大事です。

 

A/Bテストに適切な期間の目安を立てられ、成果の改善につながる結果が出るように、そしてこの記事が役立つように祈っております。

人気のタグ
健康食品 化粧品 引き上げ A/Bテスト コピーライティング 折込チラシ DM オファー ワンスター 定期購入 アウトバウンド インバウンド 定期コース 同梱物 海外進出 インフォマーシャル 広告媒体 ロイヤル顧客 新聞広告 ステップメール お客様の声 アップセル デプスインタビュー 割引 ネイティブ広告 LTV 体験談 決済 デザイン 影響力の武器 行動経済学 クロスセル LP 離脱防止 同封広告 CPO 休眠顧客 まとめ売り CPA プレゼント データ分析 キャッチコピー コールセンター お友達紹介 CPR 台湾 シュガーマン 書評 RFM分析 記事広告 LINE Ads Platform 紙媒体 EFO 会報誌 フリーペーパー 無料サンプル F2転換 リピート率 PR KPI サブスクリプション キャスティング フォーム改善 カゴ落ち 越境EC コーズマーケティング バナー カスタマーサポート トライアルセット 解約抑止 クリック率 Instagram パーソナライズDM 同梱広告 挨拶状 カート コンバージョン率 ポイント制度 返金保証 口コミ 損失回避の法則 定期継続率 休眠掘り起こし アンケート 成分認知度 ファンデーション 回帰分析 客単価 CVR 運用型広告 中国 カタログ スマホ タイ 市場調査 物流 まとめ買い 確認画面 お休み制度 開封率 クレンジング 金券 サンクコスト 初回定期 ビジネスモデル レコメンド広告 社会的証明 手書き手紙 統計学 広告代理店 事業計画 アフィリエイト広告 レスポンス率 記事コンテンツ 記事型 CS アンケート型LP 単品リピート通販 CRM Tmall Global(天猫国際) メルマガ CPM分析 フルフィルメント Facebook広告 お礼状 ザイオンス効果 返報性の原理 神話の法則 保有効果 認知的不協和 PASONAの法則 ROAS ツァイガルニック効果 恐怖訴求 企業姿勢 送料無料 一貫性の原理 ゲル 完了画面 顧客ランク 若見え 顔出し 反応率 インバウンドアップセル ゲーミフィケーション NPS コンテンツマーケティング 動画広告 海外展開 MA 顧客ロイヤルティ マーケティング ユニットエコノミクス YD Yahoo!ディスプレイ広告 YDN KOL 単品通販 芸能人 広告起用 CVアップ 通販広告 費用 新規獲得 解約防止 CAC 解約率 MRR ARPU 媒体 無料モニター メイクアップ 圧着ハガキ プロスペクト理論 アンカリング効果 顔写真 離脱抑止 薬機法 ブランド 神田昌典 現状維持バイアス フォローコール サンクスレター 通販経営 フレーミング効果 コンビニ後払い 脳科学 カリギュラ効果 希少性 アンカリング カタログ通販 リスク・リバーサル プラシーボ効果 有意差 トライアルアセット 通販業界 ASP お客様イベント リスティング広告 プロダクトライフサイクル キャンペーン 下取り 損失回避 QRコード 媒体化 番組パターン ラジオ広告
全てのタグをみる閉じる
メールマガジン登録はこちら

単品リピート通販のKPI入門編

CPA・CPO・LTVなど、通販事業の現場でよく使われるKPIに加え、初心者が最初に知りたい「単品リピート通...
単品リピート通販のKPI入門編
無料ダウンロードはこちら
お問い合わせ
広告・CRMなど、各分野の専門家が
お答えします
フォームからのお問い合わせ
お問い合わせフォームはこちら
お電話でのお問い合わせ
TEL: 03-6680-7513 (受付時間:平日 9:30-18:30)