A/Bテストとは？初心者向けの方法と、広告やLPの改善事例

A/B（エービー）テストの方法は？WEBマーケティングの現場から

WEBマーケティングで実践されることの多い、A/Bテスト。
どのような方法で行えばよいでしょうか？
 

はじめに、担当者が直面する身近な例をもとに、現場でのやり方を解説しましょう。
あなたがECサイトで、有機野菜を販売しているとします。

商品のメリットを訴求するうえで、

・安全性：契約農家から直送して、放射能など安全検査済み
・手軽さ：調理しやすい野菜を選んでお試しセットに、特別レシピ付き

のどちらをメインにするか？2つの案で迷っています。

そのとき勘と経験で「えいや」と決めてしまわずに、2つの仮説を同時に試すのがA/Bテストです。

具体的な方法ですが、Aパターン（安全性訴求）とBパターン（手軽さ訴求）で2つのページを用意します。

そのうえで、アクセスするユーザーがAパターンとBパターン、ランダム（無作為）に表示されるように設定するのです。

たとえば山田さんがアクセスしたときはAパターンが表示、鈴木さんはBパターン、田中さんはAパターン、佐藤さんはBパターン、大西さんはAパターン・・・

とアクセスする人によって、A/Bそれぞれのパターンがランダムに表示されるようにします。

そのうえでコンバージョン率、すなわち「AとBどちらの方が、買ってもらえる確率が高いか？」を比べる、というやり方です。

テストの意味は、仮説検証で“売れる確率”をアップすること

 
続いて、A/Bテストの結果をもとに、テストの意味を考えていきましょう。
先ほどのテストで、以下の結果が出たとします。

Aパターンだと2%しか買ってもらえませんが、Bパターンでは3%も買ってもらえる、という結果が分かりますね。
「Bパターンの方が、売れやすい」という検証結果が、定量的に判明しました。

したがって、この後はBパターンを採用してマーケティング活動を行っていきます。

このように、2つ以上の仮説をマーケティング施策に落とし込み、同時に実行してその結果を定量的に比較検討することを、A/Bテストといいます。

なお、テストをするのは、必ずしもAパターンとBパターンの2種類ではなくても、3種類以上でも「A/Bテスト」と呼ばれることが多いようです。
「スプリットランテスト」「スプリットテスト」も、同じような意味で使われています。

このようにA/Bテストを活用すれば、会議室のなかで仮説を議論して決めたり、消費者アンケートやグループインタビューといったリサーチだけに頼ったりする必要はありません。

お客様に実験的に販売してみて、その結果で良い方を採用すればよいので、あらかじめ「売れない」リスクを抑えることができます。
つまり、A/Bテストを地道に繰り返していくことで、売れる確率（コンバージョン率）を一歩ずつでも高めていけるのです。

キャッチコピーに写真、ボタンの色・・テストはどこから始めればよい？

これまでA/Bテストの方法と意義をお話ししてきましたが、実際にどのように進めればよいのでしょうか？
広告やLP、メールにチラシやDMなど、さまざまなメディアでA/Bテストは行われてきましたが、優先順位のつけ方について考え方は共通しています。
 
 

ステップ1：インパクトの大きな「ファーストビュー」から開始

テストを始めるときに大事なのが、売上やコンバージョンにインパクトの大きな箇所からテストをすること。
ユーザーにあまり見られていない箇所をテストしても、「結果にほとんど差が付かず、テストの意味がなかった」となってしまうからです。
 

どこが見られているか？というと、「ファーストビュー」。
 

LPでは、クリックして最初に目に入る、キャッチコピー（見出し）やメインビジュアル（写真）です。
バナー広告やチラシ・DMでも、同じくキャッチコピーとメインビジュアルを複数パターン制作して、テストするのが一般的です。
 

ある健康食品会社は、「商品の効果効能をアピールした訴求が良いか？」「その成分自体をアピールした訴求が、レスポンスにつながるのか？」を確かめるために、新聞折込チラシでA/Bテストを行いました。
 

新成分訴求（左）と効果効能訴求（右）でA/Bテスト

東京23区の新聞折込チラシを各4万部ずつ2パターンでクリエイティブテストを実施したところ、新成分訴求のチラシが、効果効能訴求よりもレスポンスが約2倍になる、という結果になりました。

（参考）「3回のテストで、CPRが約1/3まで改善！健康食品チラシ事例」
 

この結果を受けて、新成分訴求のチラシをベースに、2回目・3回目とさまざまな要素をテストしています。

 
過去に行われてきたあらゆるA/Bテストの結果、キャッチコピーやメインビジュアルを変更しただけで、「コンバージョン率が1.5倍に」など大きくアップすることがあると分かっています。
A/Bテストに初めて挑戦するなら、ぜひファーストビューから始めてください。

ステップ2：続いてトライするなら、「オファー」がオススメ

その次に着手するなら、オファー（＝顧客の行動を促すために、販売側が提示する魅力的な特典）がお薦めです。
 

たとえば単品購入をデフォルトにするのか？定期購入を推すのか？
それとも「まとめ買い」でアップセルに誘導するのか？あるいは、お試し（トライアル）商品を用意して、定期購入に引き上げを狙うのか？
 

“売り方”を変えることによって、コンバージョン率はもちろんリピート率や売上が大きく異なります。
 

また同じオファーでも、見せ方を変えるだけでレスポンスは大きく変化します。
インフォマーシャル（テレビ通販）では、単純に割引をするよりも、「2個ご購入で、今ならもうひとつプレゼント」とおまけを付ける見せ方にした方が、売れやすい傾向が知られています。
 

おまけ(左)VS割引(右)

1個あたりの値段は、パターンA・Bともに、実質的には1,330円で変わりありません。
それなのに結果は（中略）、Bのオファーの方がレスポンスが高く、Aと比べて、費用対効果が135％にまで改善されたのです。

（参考：「「割引」vs「おまけ」、レスポンスが高かったのは？」）
 

このように価格や特典は、お客様が購入の決断をするときに気にかける大事な要素。
 

LPでは、カートやフォームに誘導する一歩手前の、価格の表示やボタンの周辺に気をつけるとよいでしょう。
チラシやDMなら、申込用のハガキや電話番号（フリーダイヤル）、QRコードなどの周辺に改善ポイントが見つかるかもしれません。
 
 

ステップ3：最後に、コンテンツやデザインを最適化

 
最後に、FVやオファー以外のコンテンツを整備していきましょう。
 

商品を買ってもらうためには、商品スペックのほか、お客様の声（体験談）や使用シーン、成分・原産地の表示など、購入のあと押しとなる決まった要素がいくつかあります。
（参考）「売れているLP（ランディングページ）の構成は？4つの必須要素」
 

必須要素が抜け落ちていたり、改善の余地があったりしそうなら、差し替えや追加などしてテストしてみるとよいでしょう。
たとえば、「開発の想い」「成分のこだわり」など企業姿勢を表すコンテンツを充実させて、チラシの費用対効果を大きく改善した事例もあります。
 

コンテンツの他に、デザインやレイアウトについてもテストする価値があります。
よく聞かれる「ボタンの色」や「マンガを入れる」などは、この段階でテストするとよいでしょう。
 

ファーストビューで「何を言うか？」、オファーで「どう売るか？」が定まってきたら、コンテンツやデザインのテストによって、コンバージョン率やレスポンス率を高めていきましょう。

通販・ECでは、ネットから紙媒体まで豊富なテスト事例

したがってマーケティングの現場、特に数字で可視化しやすい「通販」や「EC」の分野では、数多くのテストが実践されてきました。

どのような仮説のもとA/Bテストを行って、実際にどんな結果が出たのか？、改善事例を見ていきましょう。

LPやバナーなどWEBのテストで、CPA改善の効果

たとえばスマホ向けのランディングページ（LP）では、デザインの変更だけでコンバージョン率（CVR）が改善することがあります。

「“スライド”や“アコーディオン”は逆効果」や「お客様の声のレイアウトは見やすさを優先で」、「ボタンは“タップしたくなる”カタチに」といった具体的なテクニックが、定量的な実証結果のもとに明らかになっています。
（参考：「スマホ向けLPでCVRアップ実証済み、3つのデザインテクニック」）

ボタンをタップしやすいデザインに変更してCVRアップ

他にも、LPやバナー、ステップメールなどのテスト事例の記事は、このブログにもまとめているのでご参考になさってください。

チラシや同梱物など、紙媒体でもテストが可能

A/Bテストはオンラインだけでなく、紙媒体などオフラインでも実行可能です。
特に折込チラシでは、掲載広告とは異なり複数パターンのクリエイティブを展開できるのもあり、数多くのテストがこれまで行われてきました。

テストを行うときは、キャッチコピーや写真、お客様の声など広告をパーツごとに分解して差し替え、「AとBどちらのパターンの方がが強いのか？」を比べます。
ある健康食品通販会社で、A/Bテストを3回くり返して費用対効果を着実に改善していった事例も、テストを綿密に行いたい方にとっては参考になるでしょう。

これからA/Bテストを実践したい、初心者の方へ

最後にこれからA/Bテストを実践したい初心者の方へ、体系的に学ぶためのオススメの本と、実践に使うツールの選び方、身につけておくべき統計の考え方を簡単にお伝えします。

体系的に学ぶためにオススメの本

初心者の方にとっては、「部長、その勘はズレてます! 「A/Bテスト」最強のウェブマーケティングツールで会社の意思決定が変わる」（ダン シロカー他）が、実例も豊富で学びやすいでしょう。

Webサイトでのテストの具体的なノウハウについては、「A/Bテストの教科書」（野口 竜司）にも、よくまとまっています。
紙媒体（チラシ）のテストの方法と仮説の立て方は、「通販マーケティング 売れるチラシ入門」（木村真子）が参考になります。

実践に使うツールの選び方

Webサイトでテストを行うためには、ツールが必須です。
「Googleウェブテスト」や「Optimizely」「Kaizen Platform」など有名どころのほか、種類は無数にあります。

どのツールを選んでよいか？考えるとき、私は以下の記事を参考にしましたので、最後に紹介いたします。

「ABテストの正しい導入方法と、序盤のテストを成功させるまでの5ステップ」
「【2015年版】どっちにする？ABテストツール比較”Optimizely” vs “Kaizen Platform”」
「A/Bテストのためのおすすめツール4選」

私は個人的には、Optimizely（無料版）をもっともよく使っていますし、一部Kaizen PlatformやGoogleウェブテストも活用しています。

「有意差」や「検定」など統計の考え方

現場でテストを始めると、「このテスト結果、誤差の範囲ではないか？」「有意差が出るまで、どれくらい期間がかかるのか？」といった議論に悩まされることもあるでしょう。
そんな時、A/Bテストの結果を判断するために有用なのが、「有意差」や「信頼区間」など統計学についての基礎的な理解です。

この記事では、マーケティングの現場で起こりがちなケースをもとに、「A/Bテストが統計的に正しいか？」を判断する方法を解説。統計学の知識がない「文系」の方でも分かるように、数式なしで説明しているので、よかったらご覧になってください。

いかがでしたか？A/Bテストを重ねるなかで分かってきた知見など、またこのブログでもご紹介したいと思います。