D2C、サブスクリプションなど
マーケティング関連の役立つ情報をお届けします。

そのA/Bテストの結果、信頼できる?統計が苦手な人向け、有意差の検定法

広告の費用対効果を高めていくために不可欠なA/Bテストですが、やはり誤差も生じます。ではサンプルがいくつあれば、有意差のある統計データがとれるのでしょうか?同じA/Bテストで結果が逆になってしまった事例と、統計が苦手な人でも分かる、有意差の検定法をお伝えします。

「折込では、5万部はテストしないと・・」はホント?

 

件名のとおり、今回のテーマは広告のA/Bテストです。

 

広告の費用対効果を高めていくために、欠かせないのがA/Bテストですね。

 

ヘッドコピーを2種類つくったりメインの写真だけ差し替えてみたり・・・

 

いろいろ試してみるのはよいのですが、気になるのが、

 

「どれくらいの母数・サンプル数があれば、テスト結果が信頼できるデータになるか?」だと思います。

 

「折込チラシなら、最低5万部ずつはテストしないとダメですよ」
「いやいや、1万部でも見えてきます!」
「レスポンスが100件あれば、信頼できるサンプルになります」

 

いろいろな説が言われますが、はたして統計学的な根拠はあるのか…?

 

 

そんなことを考えていたときに、少し心配になった事例を聞いてしまったので、共有させていただきます。

 

 

化粧品チラシのテスト、レスポンスが逆転!?

 

ある化粧品のチラシを、同梱媒体でテストしたときの事例です。

 

訴求ポイントによって、キャッチコピーを2種類作成。

 

コピーだけ差し替えて、2.5万部ずつA/Bテストを行ったところ、

 

反応率は0.1%近くと全体的にレスポンスは好調ななかまずは、Aバターンが勝利!

 

 

ただし、AとBの差が110%弱と少なかったため、念のため、他に2つの媒体でも試してみたところ・・・

 

今度は「Bパターンが、数件の差で多い」と結果が逆転。

 

さらにもう1つの媒体では、10件近くの差がついて、BパターンのレスポンスがAパターンを上回ると、バラバラの結果となってしまったのです。

 

 

統計的“誤差”が起こる理由は?

 

どうしてこんな逆転現象が起こるか?というと、その犯人は、よく耳にする統計的「誤差」です。

 

 

たとえば、
レスポンスがA:30件、B:35件
というケースを想定しましょう。

 

「A:30件」というのは、統計学の観点から見るとある種、ブレがあるなかで偶然に出てきた数値なので、20~40件くらいまでなら、結果として出る可能性があると考えられます。(信頼度95%で「区間推定」) (参考記事

 

一方、「B:35件」も同じことが言えるので、取りうる範囲は、24~46件程度です。

 

ということは・・・ 両者の範囲は重なります。

 

 

もしテストの誤差で、せっかく作った広告原稿がボツになったら

 

なので、Aが本来の“実力”より低く出てしまって、なおかつ、仮にBが何らかの偶然によって実力以上の数値が出てしまったときは、
(例:本来のパワーは、Aが36件でBが32件のとき)

 

 

“実力”とは逆の結果が出てしまうことも十分にありうる、つまり、「A/Bパターンに違いがあるとは言い切れない」のです。

 

(と他人事のように書いていますが、実は私も、「これと同じくらいの差で、結果が良かったパターンを使い続けたことがあった!」と気づきました・・・)

 

せっかく作った広告原稿が、もしテストの誤差によってボツになってしまったとしたら、もったいないですよね。

 

 

では、レスポンスの差が統計的に“有意”である、つまり偶然の差ではないと検証するためには、どうすればよいのでしょうか?

 

 

数学が苦手な人にもわかる、ある検定法

 

その答えは、統計学の世界では十分に確立されていて、「カイ検定」といった高等数学を使った手法があります。

 

が・・・高校を卒業して以来、方程式とはほとんどお別れしてしまった私としては、「そんな複雑な記号を出されても、ムリ!」と拒否反応が浮かびつつ、

 

「せっかくのテストが、実は誤差の産物だった」なんてことだったら・・・と心配にも。

 

そこで、お正月に暇だったので、Googleで検索していろいろ調べてみたところ・・・
やっぱり同じようなことを考えている人がいたんですね!

 

しかも、数学な苦手な私たちにも、わかりやすい方法で検証しているブログを見つけました!

 

「ABテストと統計数字」

 

 

テスト結果の信頼性をはかる“公式”

 

まず、A/Bのレスポンスの合計数をNとおきます。

 

N=A+B

 

今回は、Aが32件でBが19件とおくと、N=51件ですね。

 

次に、A-Bの2分の1をDとおきます。

 

D=(A-B)/2

 

32-19は13で、2で割ると6.5です。

 

さて、前置きはここまでです。

 

もしDの2乗がNより大きかったとしたら、このテスト結果は統計的に有意だということです。

 

6.5の2乗は42.25なので、42.25<51とこのテスト結果は、信頼できないことになります。

 

 

大事なのは、配布の「母数」?レスポンスの「件数」?

 

では逆に・・・
このレスが、先ほどのA:35件、B:19件だったとすると、

 

N=54<D2(Dの2乗)=64

 

となり、統計的に有意な結果となるのです。

 

 

つまり、この統計の考え方によると、部数や配信数などの「母数」は関係ないとのこと。

 

逆に、関係のあるのは、レスポンスの件数だけ。

 

それを使って、中学数学の計算で統計的な有意性を見極められるなら、嬉しいですね。

 

 

 

ちなみにこちらの検定方法、かなりシンプルですが、数学的な妥当性もあるとのこと。

 

詳細はこちらのブログ(英語)をご覧ください。

 

私は「理系」は苦手で、きちんと理解できないのですが、腕に自信がある方はぜひ!そして教えてください!

人気のタグ
健康食品 化粧品 引き上げ A/Bテスト コピーライティング 折込チラシ DM オファー ワンスター 定期購入 アウトバウンド インバウンド 定期コース 同梱物 海外進出 インフォマーシャル 広告媒体 ロイヤル顧客 新聞広告 ステップメール お客様の声 アップセル デプスインタビュー 割引 ネイティブ広告 LTV 体験談 決済 デザイン 影響力の武器 行動経済学 クロスセル LP 離脱防止 同封広告 CPO 休眠顧客 まとめ売り CPA プレゼント データ分析 キャッチコピー コールセンター お友達紹介 CPR 台湾 シュガーマン 書評 RFM分析 記事広告 LINE Ads Platform 紙媒体 EFO 会報誌 フリーペーパー 無料サンプル F2転換 リピート率 PR KPI サブスクリプション キャスティング フォーム改善 カゴ落ち 越境EC コーズマーケティング バナー カスタマーサポート トライアルセット 解約抑止 クリック率 Instagram パーソナライズDM 同梱広告 挨拶状 カート コンバージョン率 ポイント制度 返金保証 口コミ 損失回避の法則 定期継続率 休眠掘り起こし アンケート 成分認知度 ファンデーション 回帰分析 客単価 CVR 運用型広告 中国 カタログ スマホ タイ 市場調査 物流 まとめ買い 確認画面 お休み制度 開封率 クレンジング 金券 サンクコスト 初回定期 ビジネスモデル レコメンド広告 社会的証明 手書き手紙 統計学 広告代理店 事業計画 アフィリエイト広告 レスポンス率 記事コンテンツ 記事型 CS アンケート型LP CRM メルマガ CPM分析 フルフィルメント Facebook広告 お礼状 ザイオンス効果 返報性の原理 神話の法則 保有効果 認知的不協和 PASONAの法則 ROAS ツァイガルニック効果 恐怖訴求 企業姿勢 送料無料 一貫性の原理 ゲル 完了画面 顧客ランク 若見え 顔出し 反応率 インバウンドアップセル ゲーミフィケーション NPS コンテンツマーケティング 動画広告 海外展開 MA 顧客ロイヤルティ 単品リピート通販 Tmall Global(天猫国際) 媒体 無料モニター メイクアップ 圧着ハガキ プロスペクト理論 アンカリング効果 顔写真 離脱抑止 薬機法 ブランド 神田昌典 現状維持バイアス フォローコール サンクスレター 通販経営 フレーミング効果 コンビニ後払い 脳科学 カリギュラ効果 希少性 アンカリング カタログ通販 リスク・リバーサル プラシーボ効果 有意差 トライアルアセット 通販業界 ASP お客様イベント リスティング広告 プロダクトライフサイクル キャンペーン 下取り 損失回避 QRコード 媒体化 番組パターン ラジオ広告 マーケティング ユニットエコノミクス YD Yahoo!ディスプレイ広告 YDN KOL 単品通販 芸能人 広告起用 CVアップ 通販広告 費用 新規獲得 解約防止 CAC 解約率 MRR ARPU
全てのタグをみる閉じる
メールマガジン登録はこちら

単品リピート通販のKPI入門編

CPA・CPO・LTVなど、通販事業の現場でよく使われるKPIに加え、初心者が最初に知りたい「単品リピート通...
単品リピート通販のKPI入門編
無料ダウンロードはこちら
お問い合わせ
広告・CRMなど、各分野の専門家が
お答えします
フォームからのお問い合わせ
お問い合わせフォームはこちら
お電話でのお問い合わせ
TEL: 03-6680-7513 (受付時間:平日 9:30-18:30)