データ分析

効果的なABテストのやり方と正しい分析方法

ビジネスにおいて、LP(ランディングページ)やクリエイティブなどABテストを行う機会は非常に多いと思います。一見簡単そうなABテストですが、皆さんは効果的なABテストやテスト結果の正しい分析ができていますでしょうか?

そこで今回は、効果的なABテストのやり方と正しい分析方法を紹介します。

効果的なABテストのやり方

ABテストの目的を明確にする

ABテストを行う前に、まずテストを行う目的を明確にしましょう。ABテストを行う最終的な目的を明確にすることで、その目的を達成するためには、何をどうやって検証すれば良いのかが見えてきます。多くの場合、コンバージョンを向上させることが最終的な目的になると思います。

また、ABテストの小さな改善ひとつですぐに最終目標の大きな達成に繋がるとは限らないため、最終的な目標(コンバージョン)だけでなく、最終目標に間接的に寄与する値(クリックなど)も同時に分析していくことが重要です。

検証する仮説を立てる

テストの目的が決まったら、ABテストで検証する仮説を立てましょう。「こうすれば、これがこうよくなるのではないか?」という仮説を一切持たずに検証をすることは、ABテストの精度低下に繋がり、蛇足になる可能性もあります。「こういうユーザーの心理があるから、こういうパターンを試す」など常に仮説を立てた上でABテストを行いましょう。

ABテストの変更箇所は1つにする

1回のABテストで変更点を2箇所以上にしてしまうと、ABテストの結果を考察する際に、その結果になった要因を分析することが困難になります。そのため、ABテストでは1箇所ずつテストをするようにしましょう。

ABテストの結果を正しく分析する方法

実績値だけを見て結果を判断しない

例えば、下表のようにCVR(コンバージョン率)が0.5%のクリエイティブAとCVRが1.0%のクリエイティブBがあると仮定します。

クリエイティブ種類 CVR(コンバージョン率)
A 0.5%
B 1.0%

この実績値(CVR)の結果だけで、「クリエイティブBの方がAと比較してCVRが2倍なので、クリエイティブBの方が優れている。」と判断するのは危険です。

なぜなら、このABテストの結果が偶然の結果である可能性が潜んでいるからです。 ABテストでは、テスト結果が必然(今後も同じような結果になる)でなければ意味がありません。

有意差水準を設定する

そこでカイ二乗(X2)検定や二項検定、t検定などの統計的検定手法を利用して、得られたABテストの結果がどの程度統計的に有意な差であるか計算し、この有意差の値を%で表すことで、ABテストの結果判定が可能です。この有意差の値が、100%に近ければ必然である可能性が高くなります。

一般に統計学的には、有意差95%以上であれば信頼できる結果であるとみなされます。しかし、高い有意差を得るためには、テストを続行しサンプル数を増やす必要があるため、時間やコストなどを考えた上で、各々で有意差のしきい値を設定することが必要です。

また、ABテストを行っても、結果に差がつかないこともあります。従って、「○ヶ月間が経っても有意差(○○%以上)が付かない場合は、ほとんど差がないと判断して、テストを止める」などの基準を設けるとよいでしょう。

ABテストの結果を分析する方法

ABテストの結果を分析する方法としては、自ら統計的検定手法を用いて分析することも可能ですが、ABテストツールを用いて分析を行う方が容易です。こちらにおすすめのABテストツールをまとめていますので、興味のある方はご参照ください。

 

まとめ

いかがでしたか?今回は、効果的なABテストのやり方と結果正しく分析するポイントを紹介しました。

ABテストを行う際には、目的を明確にし、検証する仮説を立てることでより効果の出やすいテストを行うことが可能です。ABテストで得られた結果は、実績値だけでなく、その結果が統計的に偶然ではなく、必然かどうかを判断しましょう。また、ABテストツールを用いることでより効率的にABテストを行うことが可能です。

BaseconnectList