ABテストとは？比べるものとやり方、必要な数と期間の考え方を解説

広告の文言やページの見出しを変えたら申込が増えた、と思ったのに、翌月には元に戻っていたという経験はないでしょうか。

変えた後に申込が増えても、それが変更の効果なのか、季節や広告の予算の違いによるものなのかは、そのままでは区別できません。改善を進める担当者の方は、下記のような悩みを抱えることも多いでしょう。

• ABテストという言葉は知っているが、何をどう比べればよいか分からない
• どのくらいの人数や期間で判断してよいのか、決め方が分からない
• テストをしても差が出ず、何を変えればよかったのかが残らない

ABテストは、2つの案を同じ期間、同じ条件で見せて、成果の差だけを取り出して比べる方法です。やり方そのものは単純です。ただ、比べる数と期間を決めずに始めると、たまたまの差を効果と見誤ることがあります。

本記事では、ABテストの意味とメリット、似たテストとの違い、比べるもの、やり方、必要な数と期間の考え方、失敗しやすい点を解説していますので、ぜひお役立てください。

ABテストは2つの案を同じ条件で比べて成果の良いほうを選ぶ方法

ABテストとは、今の案（A）と一部を変えた案（B）を、同じ期間に、来た人を振り分けて見せ、どちらが成果につながるかを数字で比べる方法です。

A/Bテストやスプリットテストと書かれることもありますが、どれも同じ方法を指しています。比べる成果は、申込や資料請求など、広告やサイトで目標にしている行動（コンバージョン）にするのが基本です。

この比べ方を成り立たせているのは、以下の3つの条件です。

• 2つの案を、同じ期間に同時に見せる
• 来た人を、偶然に任せて2つの案に振り分ける
• 2つの案の違いは、確かめたい1か所だけにする

先月と今月のように期間を分けて比べると、曜日や季節、広告の配信の違いが結果に混ざってしまいます。同じ期間に振り分けて見せれば、そうした違いは2つの案に同じように降りかかります。残るのは、2つの案の違いだけというわけです。

ABテストをするメリットは思い込みではなく数字で決められること

ABテストをするメリットは、どの案が良いかを、社内の好みや思い込みではなく、実際に見た人の行動で決められることです。

担当者が良いと思う案と、見た人が申し込む案は、一致しないことが多いためです。主なメリットを挙げると、次の3つになります。

• 社内で意見が分かれても、数字をもとに決められる
• 変えたことが効いたのかどうかを、ほかの要因と分けて確かめられる
• 少しずつ試して残すため、大きく作り直すより失敗の損を小さくできる

1回のテストで大きく数字が伸びることは、多くありません。それでも、効いた変更を積み重ねると、申込の割合は少しずつ上がっていきます。申込を増やす取り組み全体の中では、ABテストはCVR改善の案が本当に効くかを確かめる役割と考え、続けて回すのが向いています。

ABテストと多変量テストとスプリットURLテストは比べ方が違う

ABテストとよく並べて使われる多変量テストとスプリットURLテストは、変えるところの数と、案の作り方が違います。

どれを選ぶかは、変えたいところの数と、集まる人の数で決まります。比べ方と向いている場合を並べると、3つの違いは下記の表のようになります。

多変量テストは、組み合わせの数だけ人を分けるため、1つの組み合わせに集まる人が少なくなり、判断までに多くの人数が必要になります。集まる人が多くないうちは、ABテストで1か所ずつ確かめるのがおすすめです。

ABテストで比べるものは広告とLPとフォームとメールの4つが中心

ABテストで比べるものは、広告、LP、申込のフォーム、メールの4つが中心です。

どれも、見た人の行動が数字で残り、案を作り分けやすいためです。それぞれで比べるものの例を、以下に挙げます。

• 広告：文言、画像、動画、伝える理由
• LP：見出し、最初の画面、申込のボタン、ページの構成
• フォーム：項目の数、入力の順番、画面の分け方
• メール：件名、送る時間、本文の長さ、リンクの置き方

それぞれ詳しく解説します。

広告は文言と画像を比べる

広告で押されるかどうかを分けるのは、見出しなどの文言と、画像や動画なので、比べるのもこの2つです。

広告の文言や画像などの表現（広告クリエイティブ）は、見た人が押すかどうかを大きく左右します。広告の種類によって比べやすいものは少しずつ違い、例えば次のようになります。

広告の成果は、押された割合だけでなく、その先の申込まで見て比べましょう。押されやすい広告が、申込の少ない人ばかりを連れてくることもあるからです。

LPは見出しと最初の画面を比べる

LPのテストは、見出しや最初の画面のように、来た人のほとんどが目にするところから始めるのが近道です。

ページの下の方は途中で離れる人が多く、変えても見る人が少ないため、差が出るまでに時間がかかります。LPで比べるところの例は、下記の4つです。

• 見出し：商品の名前か、読者が得られることか
• 最初の画面：画像か、数字の実績か、利用者の声か
• 申込のボタン：置く場所、文言、数
• 構成：説明を先に置くか、申込を先に置くか

ページのどこで人が離れているかを数字で確かめ、仮説を立ててから試す進め方は、LPOとして整理されています。比べるところは、その数字で離れている人が多いところから選びましょう。

フォームは項目の数と画面の分け方を比べる

必須の項目が12個あるフォームを8個に減らすと申込はどう変わるか、というように、フォームでは項目の数や画面の分け方を比べます。

フォームは申込の直前にあるため、入力の手間を少し減らすだけでも、申込の数に表れやすいところです。A案とB案の作り分けの例は、以下の表の通りです。

フォームを入力しやすく整える取り組みは、EFOと呼ばれます。項目を減らす案には、落とし穴が1つあります。減らした項目が本当に後から聞けるものかどうかは、テストの前に社内で確かめておかないと、あとで困ります。

メールは件名と送る時間を比べる

メールなら、まず試したいのは件名と送る時間です。

件名は開かれるかどうかを、送る時間は読まれやすさを左右し、どちらも案を作り分けやすいためです。比べるものごとに見る数字は違い、次のように分かれます。

• 件名：開かれた割合を見る
• 送る時間や曜日：開かれた割合と、リンクが押された割合を見る
• 本文の長さやリンクの置き方：リンクが押された割合を見る

多くの配信の仕組みには、送る相手の一部で件名を試し、良かったほうを残りの相手に送る機能があります。新しくツールを用意しなくても、手元の仕組みだけで始められるわけです。資料を請求した人などに続けて情報を届けるメールマーケティングでは、この機能を使って件名から試してみてください。

ABテストのやり方は6つの手順で進める

ABテストは、数字を確かめ、仮説を立て、比べる数と期間を決めてから、案を作って試し、判断して記録する6つの手順で進めましょう。

飛ばされやすいのは3つ目の、見る数字と数と期間を始める前に決める手順です。ここを抜くと、途中の数字を見て都合よく判断してしまいやすくなります。6つの手順を順に並べると、以下のようになります。

1. 今の数字を確かめる
2. 仮説を立てる
3. 見る数字と、必要な数と期間を決める
4. 1か所だけを変えた案を作る
5. 同じ期間に振り分けてテストを行う
6. 判断して記録する

このうち、進め方で迷いやすい3つの手順を詳しく解説します。

仮説は理由と変えることを1文で書く

仮説は、「〇〇のせいで人が離れているので、△△を変えれば申込が増える」という形の1文で書きましょう。

理由を書かずに案だけを作ると、差が出ても出なくても、次に何を試せばよいかが分からないためです。LPの最初の画面で人が離れている場合なら、下記のように書き分けます。

理由の手がかりは、問い合わせの内容や、営業の担当者が顧客からよく聞く質問にも隠れています。社内の思いつきだけで決めず、顧客の声も集めてみてください。

見る数字は始める前に1つに決める

結果が出てから「この数字では勝っている」と探し始めるのを防ぐには、判断に使う数字を始める前に1つだけ決めておくことです。

いくつもの数字を見てから選ぶと、たまたま差が出た数字で判断してしまうためです。判断に使う数字と、あわせて確かめる数字の例を以下に並べました。

広告では、押された割合で勝っても、申込1件あたりの費用（CPA）が上がっていれば、残す案とは言えません。判断に使う数字は1つでも、見張る数字まで1つにする必要はないのです。悪くなっていないかを確かめる数字も、あわせて決めておきましょう。

結果は勝ちも負けも記録する

勝った案だけを記録に残すのは、もったいない進め方です。

負けた案の記録は、同じ案をもう一度試してしまう無駄を防ぎ、見た人が何を求めていないかを教えてくれるためです。差が出たかどうかにかかわらず、次の4つを残しておきます。

• 仮説と、変えたところ
• テストの期間と、それぞれの案に集まった数
• 判断に使った数字と、結果
• 次に試すこと

記録がたまると、「この商品を探す人には、安さより安心を伝えたほうが響く」のように、ほかの広告やページにも使える知見になります。担当者が替わっても引き継げるよう、決まった表にまとめておきましょう。

ABテストに必要な数と期間は見込む差の大きさと集まる人数で決まる

ABテストに必要な数は、今の申込の割合と、見込む差の大きさで決まり、期間はその数が集まるまでの日数で決まります。

数が少ないうちは、2つの案に差がなくても、たまたまの偏りで差があるように見えることがあるためです。必要な数と期間を決めるときは、下記の3点を押さえておきます。

• 必要な数は、見込む差が小さいほど、今の申込の割合が低いほど多くなる
• 期間は、少なくとも1週間とし、週の単位で決める
• 数も期間も、始める前に決めて、途中で変えない

それぞれ詳しく解説します。

必要な数は見込む差が小さいほど多くなる

必要な数は、見込む差が小さいほど多くなり、差を半分にすると、4倍近くの数が必要になります。

大きな差はたまたまでは起きにくい一方で、小さな差はたまたまの偏りと見分けにくいためです。必要な数を左右する要素は、以下の3つです。

判断の厳しさは、「差がないのに、たまたま差が出たと見誤る確率を5%までに抑える」のように決めるのが一般的です。とはいえ、必要な数を手で計算する必要はありません。多くのABテストのツールや、無料で使える計算のページに、今の割合と見込む差を入れると目安が分かるので、始める前に確かめておきましょう。

期間は少なくとも1週間で週の単位にする

必要な数が3日で集まっても、テストは少なくとも1週間続け、足りなければ週の単位で延ばします。

平日と週末では、来る人の数も申し込む人の割合も違うことが多く、1週間より短いと曜日の偏りが結果に混ざるためです。数が集まるまでの日数ごとに、期間の考え方の例を次の表にまとめました。

給料日の前後や大型の連休など、申込が大きく動く時期にテストが重なる場合は、その影響も頭に入れて判断することになります。

数が集まらないときは差の出やすいところから試す

集まる人が少なく必要な数に届かないときは、小さな変更ではなく、差の出やすいところから試しましょう。

見込む差を大きくできれば、必要な数は少なくて済むからです。打てる手としては、下記のような工夫があります。

• ボタンの色のような小さな変更より、見出しや構成、フォームの項目の数を試す
• 申込より手前にあり数の多い行動（申込のボタンが押された数など）を、判断に使う数字にする
• 広告の予算を一時的に増やし、テストの期間だけ集まる人を増やす

手前の行動を判断に使う場合は、それが申込につながっているかを、後から申込の数でも確かめておくと安心です。目標にする数字（KPI）をABテストの判断に使う数字とそろえておくと、少ない回数でも改善の向きを保ちやすくなります。

ABテストで失敗しやすい点は5つある

ABテストで失敗しやすいのは、案の良し悪しより、比べ方と判断の仕方に原因があることが多いです。

比べ方を誤ると、効かない案を残したり、効く案を捨てたりしてしまいます。よくある失敗は、以下の5つに分けられます。

• 途中の数字を見て止める
• 一度に何か所も変える
• テストの途中で条件を変える
• 申込の数だけを見て、その先を見ない
• 表示のルールを外れた案を試す

それぞれ詳しく解説します。

途中の数字を見て止める

途中の数字を毎日見て、差が開いた日にテストを止めると、たまたまの差を効果と見誤りやすくなります。

数が少ないうちは差が大きく揺れるため、何度も見ていれば、どこかで差が開いたように見える日が来てしまいます。途中の数字は、次のように扱うと決めておくのが安全です。

• 途中の数字は、配信や計測が正しく動いているかの確認だけに使う
• 決めた数と期間に届くまで、判断しない
• 届く前にどうしても止める場合は、結果を「判断できなかった」として記録する

途中で止めたくなったら、まずは始める前に決めた数と期間を見直すのが先です。

一度に何か所も変える

見出しと画像とボタンを同時に変えると、申込が増えても、どの変更が効いたのかが分かりません。

分からないまま残すと、次のテストで何を変えればよいかの手がかりも残りません。変え方によって分かることは、以下のように違います。

ページを大きく作り直した案を試したいなら、複数を変えたことを承知のうえで、スプリットURLテストとして比べるのが向いています。

テストの途中で条件を変える

テストの途中で広告の予算や配信先、ページのほかの部分を変えると、2つの案の比べる条件が崩れてしまいます。

変えた後に来た人と、変える前に来た人では、求めていることが違う場合があるためです。テストの間は、少なくとも下記の3つを動かさないようにします。

• 広告の予算と配信先
• 2つの案に振り分ける割合
• テストしていないところの文言や画像

どうしても変える必要が出た場合は、そこでテストを区切り、変えた後から数え直しましょう。

申込の数だけを見てその先を見ない

申込の数で勝った案が、契約や利用の開始まで含めると負けていることがあります。

例えば「今すぐ無料で」のように気軽さを強く押し出した案は、申込は増えても、その後の手続きに進まない人が増える場合があります。申込の数で勝ったかどうかは、入り口の勝ち負けにすぎません。その先を確かめる数字としては、例えば以下の3つがあります。

• 申込のうち、契約や利用の開始まで進んだ割合
• 申込の後、すぐにやめた人の割合
• 1人の顧客から長い期間で得られる利益（LTV）

申込の数で判断した後も、数か月は契約まで追って確かめておくと、残した案を見誤りません。

表示のルールを外れた案を試す

申込を増やしたいからといって、事実より良く見せる表現の案を試すのはやめましょう。

実際より良く見せる表示は、景品表示法の不当表示（優良誤認など）にあたるおそれがあり、テストの期間中や、一部の人にだけ見せた場合でも問題になります。「テストだから少しくらい」は通りません。B案を作ったら、出す前に次の3点を確かめてください。

• 数字や実績に、根拠となる資料があるか
• 「必ず」「絶対」のように言い切る言葉を使っていないか
• 金利や手数料などの条件を、見落としやすい場所に置いていないか

金融の商品では、法律や業界の決まりで表示が求められる事項もあるため、B案も元の案と同じ社内の確認を通してから出しましょう。

試す案の考え方から、広告やページ、アフィリエイトなどの集客の施策の改善までをまとめて進めたいときは、Finfluenceのマーケティング支援にご相談ください。何を比べ、どの数字で判断するかがまだ決まっていなくても大丈夫です。その整理から一緒に進めますので、お問い合わせからお気軽にご連絡ください。

ABテストに関するよくある質問

ここでは、ABテストに関するよくある質問に回答します。ABテストを始める際や、結果を判断する際の参考にしてください。