ABテストとは、ウェブサイトやアプリを改善する手段の一つです。同じ条件のもと、コンテンツやデザインが異なる2つ以上のパターンを比べ、目的に対してどちらがより良い反応（CTR、CVR）を得られるかを探るテスト手法です。顧客の反応を確かめながら客観的な仮説検証を素早く行うことができます。

この記事では、効果の上がりやすいABテストの設計方法や手順と、KARTE Blocksを活用したABテスト事例について紹介していきます。

何をABテストすると効果的か

ABテストは、仮説を検証するための手段です。
仮説には様々な粒度がありますが、より高い成果を得るためには以下の順序で確かめていくことが重要です。

1. コンセプトテスト
   施策の方向性を決める、「誰に」「何を/どのように」「いつ」のいずれかをテストする

2. ワーディングテスト
   施策コンセプトに沿って、訴求する文言のバリエーションでテストする

3. デザインテスト
   ページやバナーなど、デザインのバリエーションでテストする

例えば、訴求内容は同じで記号が「ある・ない」だけや、表記を「お得からおトクに変えるだけ」といった、細かい違いによるパターンでのABテストは、どちらのパターンもほぼ同様、もしくは僅差のパフォーマンスになることが少なくありません。
施策の方向性やパフォーマンスに大きく影響するコンセプトテストから検証を始めましょう。

どこをABテストすると効果的か

ABテストでより高い成果を得るためには、どこからテストを始めるかを決めることも大切です。流入が少なかったり、KPIが曖昧なサイトではABテストを実施しても仮説を確かめることが難しいからです。
ABテストによって大きな効果が見込める箇所についてご紹介します。

1.ゴールに近いファネルから見直す

まず着手すべきは、サイトのゴールに一番近いページの顧客体験の見直しです。サイト改善でしばしば例えられるように、穴の開いたバケツにいくら水を注いでも期待した結果にはなりません。逆に、穴を塞ぐことができたら、ゴールに近いほど劇的に効果の改善が望めます。
サンプル：

例1：買い物かごに入れた商品が決済されないのはなぜか
（事実）購入確認ページで離脱しているユーザーが多い
（仮説）決済方法がわかりにくいのでは？
（テスト）初めて購入する方に決済方法を案内するABテストを実施
（結果）テストユーザーのCVRが向上、同改善施策を本実装

例2：資料請求フォームの途中で離脱してしまうのはなぜか
（事実）PCよりもスマートフォンユーザーの離脱が3倍高かった
（仮説）スマートフォンだと入力手順がわかりにくいのではないか
（テスト）入力ステップを明示するABテストを実施
（結果）テスト結果に差がつかず、別の仮説を検証

2.流入数が多く、離脱率が高いページから見直す

Google Analyticsなどの分析ツールを用いて流入数が多く、直帰率/離脱率が高いページを洗い出しましょう。効果を見る際の指標はサイトによって様々ですが、主要なものとしては以下が挙げられます。

• 直帰率
• 離脱率
• 滞在時間
• コンバージョン率（購入数や申込件数など）

3.要素別の効果を把握する

ABテストの目的を「特定のページの改善」においた時、ページ内のどこを改善するのが効果的でしょうか？事前に、ページ内の要素単位でクリックやCVなどの効果を計測可能な状態にしておきましょう。代表的な改善箇所としては、以下の4点があげられます。

1. ファーストビュー（流入意図に沿ったFVになっているか）
2. コンテンツ（目的を満たす内容になっているか）
3. CTAは適切か（次の行動に導けているか）
4. ストレスなく読了できているか（CVを妨げる障壁はないか）

ユーザーの多くは、ページにランディングして数スクロールで離脱してしまうので、まずはファーストビューの改善から着手するのが効果的です。

参考：
ページ内の要素ごとに数値を計測するためには、Google Analyticsなどの計測ツールで事前にイベントを設定しておく必要がありますが、後述するKARTE Blocksを使えば、イベントの設定といった事前準備が不要で、ページ内の要素ごとのパフォーマンスを把握することができます。

ABテストを設計・実施する際の注意点

効果的かつ次に活きる学びのあるABテストを行うために、以下の注意点を抑えておきましょう。

1.目的・効果測定指標を決める
2.検証したい仮説を明確にする
3.パターンごとに変える場所は一箇所
4.十分なサンプルサイズを確保
5.コントロールグループを作る
6.テスト期間を決めておく

1.目的・効果測定指標を決める

より効果的なABテストを実施するためには、以下の4点を含むABテストの目的について明確にしておくことが重要です。

(1)どのような問題点・課題に対して
(2)何をどうしたいのか
(3)そのためのテスト箇所はどこか
(4) 効果測定の指標は何にするか

この4点を整理し、事前に計測可能な状態に準備しておくことで、振り返り安く、学びを得やすいテスト設計ができます。

例：
(1) LPの直帰率が高い
(2) サイト内回遊を促進して直帰率を下げたい
(3) 関連性の高い記事への導線を設置する
(4) 直帰率/ページ滞在時間/遷移率の改善

2.検証したい仮説を明確にする

そもそも一回のABテストで大幅な改善が見られることは稀で、サイト改善は細かい改善の繰り返して最適な形に近づけていく必要があります。
その際、それぞれのABテストで明確な仮説を持っておくことが大切です。仮説が明確にあることで、より良い成果につながるだけでなく、なぜ良かった / 悪かったのか検証でき「学び」を得られるため、次の改善につながる手がかりとなるからです。

一般家庭向けの防犯カメラを扱う株式会社アルコムでのABテスト実施事例をご紹介します。

課題目的
今までセット商品の訴求を行なっていたが、もっと安価で簡易なカメラを探しているユーザーが多いのではないか、という仮説があった
施策
おすすめ商品を価格帯別に3種類に変更したABテストを実施
結果
セット商品の訴求のみのパターンと比較して、おすすめ商品のクリック率が約2倍になった。
一番安い商品の人気が高いと思っていたが、高価格帯の商品に興味を持つユーザーが多かったという新たな学びが得られた。
（2021年11月 株式会社アルコム調べ）

3.複数のテストを同時に検証しない

検証する軸以外の比較条件をできる限り合わせた上で、仮説の検証は1パターンずつ試す方が確実です。

比較条件の例

• 訴求内容
• クリエイティブ
• ターゲット
• CTA
• 配信ページ
• 配信タイミング
• テスト実施期間や曜日
• デバイスなど

複数箇所のテストを一度に実施する「多変量テスト」といった手法もありますが、一度に結果が出るため素早い改善が見込める反面、パターンごとの仮説の設定や解釈の難易度が上がる上、パターンが増えるほどテストユーザーのボリュームも必要になるため、サイト改善の初心者の方や規模の小さいサイトではお勧めできません。

4.十分なサンプルサイズを確保

ABテストの対象となるサンプル数が少ない場合、お客様1人ひとりの寄与度が大きいため、母集団の傾向と誤差が大きくなる可能性があります。そのため、傾向に差異があるかを把握するために十分なサンプル数の確保が必要となります。

統計的に妥当な結果を得るために必要なサンプル数について、サンプルサイズを計算するサイトで調べることも可能です。

参考：ABテストのサンプルサイズの計算機（CASIO）

5.コントロールグループを作る

コントロールグループとは、ABテストの期間中にあえて何もしないグループのことをいいます。ABテストの結果は、AパターンとBパターンの比較ではなく、コントロールグループ（未実施）とテストグループ（A / Bパターン）の比較によって判断する必要があります。こうすることで、ABテストの内容以外でCVに貢献している施策や要素があった場合でも、テストパターン自体が持つパフォーマンスを押し上げる力を純粋に評価することができます。

6.テスト期間を決めておく

ABテストではどれだけ時間をかけても明確な違いが出ない場合もあるため、あらかじめテスト期間を決めておきましょう。平日・休日やその他の施策の実施有無によってお客様の行動は変化するため、最低でも1週間はテストを継続することをオススメします。
また、テストをすること自体を目的とせず、1週間経過してテストに有意差が出たら、すぐにテストを終了し次のテストを開始するようにしましょう。
ABテストを長期間継続しているとその差が次第に縮まっていくこともあるので（平均への回帰）、一定のサンプルサイズが確保できていて、一ヶ月以上経っても差が見られない場合は、そのテストを終了して別のテストを実施するようにしましょう。

「KARTE Blocks」でABテストを実施する

プレイドが提供する「KARTE Blocks」は、ABテストなどのサイト改善を簡単に実行できるツールです。
ページに掲載しているバナーのデザイン変更、CTAの文言変更など、ページ内の要素（ブロック）ごとにABテストを用いてアイデアが効果的かどうか検証することができます。

画像イメージなどの単一ブロックでABテストを行うことができるのはもちろん、複数ブロックをまとめてパターンA・パターンBと分けてテストをすることも可能です。

効果的なABテストを繰り返し、サイトを成長させよう

効果的なABテストを実施する際のテスト内容や、実施にあたって気をつけたいポイントについて解説してきました。
KARTE Blocksについてもっと知りたい方は、「KARTE BlocksでABテストを実施する」をご覧ください。