KARTE Blocksでは、1つの施策に複数のパターンを設定してA/Bテストを行うことができます。A/Bテストは、どのパターンが最も効果的かを短期間で検証できる、効果的なサイト改善・マーケティング手法のひとつです。

この記事では、KARTE Blocksを使用したA/Bテストの概要と、設定方法について詳しくご説明します。

なぜA/Bテストが重要なのか？

Webページ上の要素は、実際に表示してみるまでユーザーがどのように反応するかは分かりません。例えば、「このバナーを表示したらクリックされるかもしれない」という仮説を立てたとしても、その仮説が正しいかどうかを判断するには、実際のデータを元に検証する必要があります。

A/Bテストは、このような仮説を検証するための強力な手段です。A/Bテストを活用すれば、会議で何時間も議論するよりも、より迅速に、そして確実に最適なメッセージやデザインを見つけることができます。

A/Bテストの設計方法や事例については、こちらの記事もご参考にしてください。

A/Bテスト実施前の仮説立て

A/Bテストは仮説を検証するために実施されるもので、無目的に行っても有意義な学びを得ることはできません。まずはA/Bテストで「何を」検証したいのか（＝仮説）を設定しましょう。

1. カスタマージャーニーから課題仮説を洗い出す

まず、カスタマージャーニーを参考にして、以下のような観点で課題仮説を洗い出してみましょう。

どのようなユーザーがサイトに来訪し、どんな期待を持っているか
Webサイトに流入後、どのような行動をして最終ゴールに到達するか
各ステップでの課題やハードルとなる要素

参考: カスタマージャーニー

2. 改善するゴールを決める

改善したいゴールを設定し、そのゴールに向けてユーザーに取ってほしい行動を1つ選んで定めましょう。KPIを元に、ゴールに合わせた施策を絞り込むことが重要です。

3. 改善の余地がありそうなページやユーザー群を設定する

改善の余地が大きいページやユーザー群を特定します。

例）「ランディングページ」の改善
例）「リスティング広告経由で来訪したユーザー」を対象

4. 改善の余地がありそうなページ要素を選ぶ

ユーザーをゴールへ導くために、バナーやボタン、重要コンテンツなど、サイト内の要素を選んで改善の対象とします。

KARTE BlocksでA/Bテストを実施する流れ

仮説設定ができたら、早速KARTE BlocksでA/Bテストを実施しましょう。大まかな流れは以下の4ステップです。

ゴールと施策を設定し、A/Bテストを実施する
A/Bテストの経過を観察する
結果を分析する
次の施策に繋げる

1. ゴールを設定し、施策を実施する

ゴールを設定する

A/Bテストで各パターンの効果を評価するために、事前にゴールを登録します。施策ごとにゴール登録を行う必要はありませんが、複数のゴール指標を設定することで、より深い分析が可能です。

例:

中間ゴール：カート投入
最終ゴール：購入

ゴール設定はこちらから

施策を作成し、パターンを準備する

新しい施策を作成し、「パターンとブロック」の設定セクションでパターンと配信率を設定します。施策名は内容が一目でわかるように変更しましょう。

施策設定の流れはこちら

パターン設定のコツ

変更なしのパターン（元のサイトの状態）に配信率を一定程度割り振ると、比較が容易になります。パターンごとの効果やゴールの変化率や信頼度の計算は後述します。

3パターンでA/Bテストする場合の配信率の例：
・変更なしのパターン：配信率40%
・パターンA：配信率30%
・パターンB：配信率30%

配信するパターンは4つ以内に絞りましょう。多すぎると検証が長期化し、結果が分散します。

プレビュー確認後に公開する

施策設定が完了したら、最後に優先度の設定とプレビュー確認を行い、公開します。施策が公開されると、指定された条件を満たすユーザーに対して、設定した配信率でA/Bテストが開始されます。

同じページで他の施策が公開されている場合、別の施策によるブロック配信が、これから実施するA/Bテストに実施に影響が出てしまう場合もあります。
相互への影響が懸念される場合、別の施策を停止したり、実施する時期をずらすといったことも検討しましょう。

A/Bテストの経過を観察する

施策公開直後に、各パターンのユーザー行動をライブで確認しましょう。予期しない問題が発生した場合は、早期に実施を中止し、影響を最小限に抑えることができます。

施策が配信されたユーザーの行動確認はこちら

一定期間経過後、施策詳細画面で効果を定期的に確認し、傾向が見えてきたら次のステップに進みます。来訪数やパターンごとのゴール率の差にもよりますが、およそ2週間ほどで各パターンの傾向が現れてきます。

施策の効果数値の確認はこちら

A/Bテストの結果を分析する

A/Bテストを一定期間実施した後、各パターンの結果を分析します。

結果が出たと判断するタイミング

パターンごとの信頼度が高まった場合、A/Bテストの判定が完了します。
一方、変更なしのパターンが設定されていなかったり、訪問数が増えても一向に判定が終わらない（有意な差と言えない）場合もあります。
対象ページのトラフィックにもよりますが、施策公開後2週間〜 1ヶ月を一つの区切りとして、施策の評価に移りましょう。

効果数値で比較・評価

施策詳細画面で集計期間とゴールを設定し、各パターンの効果を比較・評価します。

A/Bテストの結果をさらに深掘り分析する

ブロック別の効果数値で比較・評価する

A/Bテストの目的や内容によっては、配信した特定のブロック自体の効果に着目して比較・評価したいケースがあります。（例： CTAボタンをテストし、クリックスルー率の改善をしたい）

その場合、ブロックの効果数値を確認してみましょう。

施策詳細画面で、［ブロックの効果］タブに切り替えることで、同じ集計期間とゴール（複数選択時は最初に選択したもの）で効果数値が集計・表示されます。

どのようにサイトを閲覧していたかライブ動画で確認・分析する

パターンごとにゴール率やリフトアップ率、ブロックごとのクリック率など、定量データから配信結果を確認してみると、当初の予測や仮説とは異なる結果が示されることも少なくありません。

ライブ連携機能を利用して、配信したブロックがどのように閲覧されていたか、ユーザーの行動に影響したか確認してみましょう。

期待する結果が出なかった場合の分析とアクション

A/Bテストにおいて、期待していた結果が得られなかったり、大きな差が見られないことはよくあります。しかし、これをネガティブな結果と捉えるのではなく、さらなる学びのチャンスと捉えることが重要です。パターン単位で結果を見ても効果が出ていない場合でも、特定のユーザーセグメントにおいては効果が見られることがあります。

例えば、以下のようなケースを考えてみましょう。

初回来訪ユーザーではゴール率が下がり、逆に再来訪ユーザーではゴール率が上がっている。
このようにパターン単位でリフトアップが見られなくても、セグメント単位で見ると有意な結果が得られる場合があります。

ユーザー別の効果探索

ユーザー別の効果探索機能を活用すると、特定のセグメントに対する効果を深掘りすることができます。これにより、パターン適用時にどのユーザー層に効果があったか、あるいは効果がなかったかを簡単に確認することができます。

例えば、以下の点を確認できます：

効果の良かったユーザーセグメント: どのセグメントに対して良い結果が得られたのかを特定することで、効果的なターゲット層を絞り込むことができます。
効果の悪かったユーザーセグメント: 効果が見られなかったセグメントに対して、配信方法やコンテンツの改善が必要かどうかを再評価します。

次の施策に繋げるためのポイント

A/Bテストは単なる結果を測定するだけでなく、次に向けて学びと改善を繰り返すプロセスです。
そのため、A/Bテストを通じて得られた結果を基に、次の施策をどう繋げるかが重要となります。成功した要素をさらに拡大し、改善が必要な部分にアプローチすることが求められます。

効果が高かったパターンを優先的に配信
好ましい結果が得られたパターンに対して、配信率を100%に設定し、対象ユーザーに対して常にそのパターンを配信することが推奨されます。
- セグメントに基づく配信: ユーザー別の効果探索で効果が高かったセグメントに絞って配信することで、より効果的な結果を得られる可能性があります。
再テストで更なる最適化
同じテストの目的で、異なるアプローチを用いて再度A/Bテストを実施することも選択肢です。
- 例えば、異なるブロックのデザインや異なるタイミングでの配信を試すことで、新たな発見や改善が見込まれます。
新しい仮説に基づくテストの実施
現在のテストが期待した結果を得られなかった場合、新しい仮説を立て、それに基づくテストを行うことで、次のステップに繋げることができます。
- 施策を見直し、次の課題に対して新たなアプローチを試すことが重要です。

いずれの場合でも、施策を新しく作成または複製し、元の施策はアーカイブしておくことをおすすめします。これにより、後日施策の効果を振り返る際に、過去の施策を参照しやすくなります。

参考

KARTE BlocksにおけるA/Bテストの仕様

パターンの割り振り

ユーザー毎にランダムにパターンが割り振られ、設定された配信率に従って配信されます。
一度割り振られたパターンは、そのユーザーに対して引き続き配信されます。
配信率を変更した場合、その時点から新たにユーザー毎にパターンが再割り振られます。
参考：公開中の施策を編集するときの注意点

「変更なしのパターン」に割り振られた場合の配信

ユーザーが「変更なしのパターン」に割り振られた場合、次の順序で配信内容が決定されます。

他の優先度の低い施策でそのユーザーが合致した場合、その施策のパターン割り振りが行われる。
元々のページ内容が表示され、KARTE Blocksでのブロック配信は行われません。

これにより、KARTE Blocksで配信する場合と、ページの元の内容との比較を通じて、効果的なA/Bテストを実施することができます。

KARTE Blocksを使ったA/Bテストの実施方法