KARTE Blocksでは、ページ上のブロックに対してA/Bテストを実施できます。ページ上のブロックを定量的に評価し、Webページの改善サイクルを高速に回しましょう。
この記事では、KARTE Blocksを使ったA/Bテストの概要と、実際の設定方法を説明します。
なぜA/Bテストが重要か？
Webページ上の要素は、実際に表示してみるまでユーザーからどんな反応を得られるかわかりません。「こんなバナーを表示すればクリックされるかも？」という仮説を立てることはできても、その仮説が正しいかどうか判断するには実際のデータによって検証する必要があります。
A/Bテストは、こうした仮説検証を実施するための強力な手段です。A/Bテストを使うと、会議で何時間も話し合うよりも、より素早く確実に最適なメッセージやデザインにたどり着くことができます。
A/Bテストの考え方や注意点については、次の記事もぜひ参考にしてください。
全体の流れ
KARTE BlocksにおけるA/Bテスト実施の大まかな流れは、次の通りです。
ゴールを決める
- KPIなどを踏まえてユーザーに取ってほしい行動を1つ選び、ゴールとして定めます
ゴール率に改善の余地がありそうなページを選ぶ
- ユーザーがゴールまでに経由するページから、改善の余地が大きいページを選びます
- 例) 「ランディングページ」を改善する
- ユーザーがゴールまでに経由するページから、改善の余地が大きいページを選びます
ページ上の要素から改善の余地がありそうなブロックを選ぶ
- バナーやボタンなど、ユーザーをゴールに促すための要素を選びます
表示パターンを複数作る
- 選んだ要素について、画像や文言などを変更した別パターンを作成します
- 例) 表示パターンAはポップに、表示パターンBは落ち着いた雰囲気にしてみる
- 選んだ要素について、画像や文言などを変更した別パターンを作成します
A/Bテストを一定期間実施し、効果の良いテストパターンが見つかるか試す
- 実際にA/Bテストを実施し、表示パターン毎のゴール率に違いが出るか比較します
- 例) 表示パターンAは表示パターンBに比べてゴール率が10%ほど高いことが分かる
- 実際にA/Bテストを実施し、表示パターン毎のゴール率に違いが出るか比較します
テストパターンの効果分析を行い、結果の深掘りをする・次に向けた仮説を立てる
- ユーザーセグメント別に分析したり、ライブ動画で実際にユーザーがどのように閲覧していたか確認する
- 単に効果が良かった・悪かったでとどまらず、「なぜその結果につながったのか？」「ユーザーはどのように反応していたのか？」を見てみる
A/Bテストの結果を踏まえて、効果の高いパターンを継続的に配信する / 次のテストを実施してさらに改善を進める
具体的な設定の流れ
KARTE Blocksでは、あるページを来訪したユーザーを一定割合ごとに複数パターンに割り振ることができます。それぞれのパターンには、別のブロック群を表示できます。パターン毎の効果を比較することで、どちらのパターンがよりゴールに寄与しそうかを定量的に判断することができます。
KARTE BlocksでA/Bテストを実施しページの改善サイクルを回すときの手順は、次の通りです。
事前準備
以下の設定がすでに済んでいることを前提としています。
A/Bテスト用の配信条件を設定する
A/Bテストを実施したいページで、A/Bテストを実施するための配信条件を作成します。
「配信条件を作成」ボタンから、新規作成をクリックします。
オプションの項目にある「パターン作成」で、「設定」ボタンを押すと配信パターンの追加・配信率の変更が可能です。
例えば、「サイトの元々の表示パターン」と「テスト表示パターン」をそれぞれ50%ずつ表示したい場合は、以下のような設定です。
変更なしのパターンにも配信率を一定設定しておくことをオススメします。 テスト表示パターンの効果について、変更なしのパターンに対してリフトアップ率・信頼度の計算がされ、より精緻に効果を検証できます。
また、パターンを追加すると、同時にテストできるパターンを増やすことができます。
変更なしのパターンも含め、配信率の合計が100%になるよう設定してください。
各パターンに表示するブロックを設定・配信する
特定のパターンに割り振られたユーザーに対して、複数の要素を編集することもできます。たとえばパターンAに割り当てられたユーザーに対して、パターンAに対応する複数のブロックを同時に表示できます。これによって、複数ブロックのまとまりに対してA/Bテストを実施することが可能です。各パターンに実際に表示するブロックの設定をします。
- 配信条件画面から対象の配信条件を選択し、ページから編集をクリックするとページエディタ画面に遷移します。
- 画面左上でパターンを選択して、ブロックを編集します。
- パターンの編集が終わったら必ず「保存」を押します。 その後、他のパターンを編集することも可能です。
- 全てのパターンの編集が終わってから配信したい場合、公開ステータスを「停止」状態にして保存しましょう。
パターン毎の効果を比較する
一定期間経過した後に、パターン毎の効果を確認します。
A/Bテストの結果として、複数ブロックを同時に変更しているケースなどもあり、各パターンの評価は基本的に配信条件/パターン単位で実施します。
配信パターン別のブロックごとの効果は、ブロック自体の効果を確認・評価したい場合に参照します。パターン全体の比較
- 配信条件一覧画面で、各配信条件のリストにパターンごとに効果数値が表示されています。
- 表示するゴール数値は複数選択可能です。中間ゴールと最終ゴール等、複数のゴールで効果を見比べることで新しい気づきを得ることができます。
- 例： BtoBサービスサイトの場合、お問合わせには有意差がなかったが、資料請求には効果があった、など。
「UP率」とは、未実施と比較してどのくらいゴール率が向上したのかを示す値です。ブロック別の比較
- 「ページ」画面から対象のページを選び、「ブロック」タブを開きます
- ブロック別にA/Bテストの結果が表示されます
結果を分析する・深掘りする
配信条件/パターン単位、そしてブロック単位で効果を確認できたら、少し踏み込んだ分析をしてみましょう。
ユーザーセグメント別に効果をドリルダウンする
「ユーザー別の効果探索」機能を利用すると、（書き換え時の）セグメント別に効果を再集計し、「誰に」効果が出たのか・出なかったのかを簡単に見つけることができるようになります。
- パターン単位で見ると効果が出ていなくても、特定のセグメントには効果が出ている、といったことがままあります。例えば、「初回来訪ユーザー」にはゴール率が下がり、逆に「再来訪ユーザー」はゴール率が上がっている、といった状況の場合、パターン単位では特にゴール率のリフトアップが出ていないことがあります。
- セグメントごとの結果を深掘りすることで、「結果が出なかった施策」ではなく「再来訪ユーザーには成果があった施策」と気づきを得られます。
テストパターンごとに、ユーザーがどのようにサイトを閲覧していたかライブ動画で確認・分析する
配信条件/パターンごとにゴール率やリフトアップ率、ブロックごとのクリック率など、定量データから配信結果を確認してみると、当初の予測や仮説とは異なる結果が示されることも少なくありません。
ライブ連携機能を利用して、配信したブロックがどのように閲覧されていたか、ユーザーの行動に影響したか確認してみましょう。
効果の高いパターンを継続的に配信する
明らかに効果の良いパターンが見つかったら、そのパターンの配信率を100%にすれば、簡単にテストを終了しつつ効果の良いパターンをサイトに実装することができます。
ABテストを繰り返し行うことで、ページのパフォーマンスを改善し続けることができます。
パターンの配信率を変更した場合には、その時点から再度ユーザーごとにパターンの割り当てが行われますのでご注意ください備考
ユーザーのパターン割り振り仕様
- 複数パターンを含む配信条件では、設定した比率に応じてユーザー毎にランダムでパターンが割り振られます
- 同一ユーザーには同じパターンのブロックが配信され続けます
- パターンの配信率を変更した場合には、その時点から再度ユーザーごとにパターンの割り当てが行われますのでご注意ください
- 常にユーザーを均等に割り振るわけではないため一時的に特定パターンに偏りが出ることがありますが、徐々に設定した比率に収束します
「変更なしのパターン」に割り振られた場合の配信
- ユーザーが配信条件で「未実施」に割り振られた場合、次のような順序でユーザーに表示されるブロックが決定されます
- より優先度の低い配信条件に当該ユーザーが合致する場合は、その配信条件のパターン割り振りが行われる
- 合致する全ての配信条件で「変更なしのパターン」に割り振られたユーザーには、オリジナルブロックが表示される
- これを利用して、オリジナルブロックとBlocksで配信ブロックとの間でA/Bテストを実施できます
#karte_blocks