KARTE Blocksでは、ページ上のブロックに対してABテストを実施できます。ページ上のブロックを定量的に評価し、Webページの改善サイクルを高速に回しましょう。
この記事では、KARTE Blocksを使ったABテストの概要と、実際の設定方法を説明します。
なぜABテストが重要か?
Webページ上の要素は、実際に表示してみるまでユーザーからどんな反応を得られるかわかりません。「こんなバナーを表示すればクリックされるかも?」という仮説を立てることはできても、その仮説が正しいかどうか判断するには実際のデータによって検証する必要があります。
ABテストは、こうした仮説検証を実施するための強力な手段です。ABテストを使うと、会議で何時間も話し合うよりも、より素早く確実に最適なメッセージやデザインにたどり着くことができます。
ABテストの考え方や注意点については、次の記事もぜひ参考にしてください。
全体の流れ
ABテスト実施の大まかな流れは、次の通りです。
ゴールを決める
- KPIなどを踏まえてユーザーに取ってほしい行動を1つ選び、ゴールとして定めます
ゴール率に改善の余地がありそうなページを選ぶ
- ユーザーがゴールまでに経由するページから、改善の余地が大きいページを選びます
- 例) 「ランディングページ」を改善する
- ユーザーがゴールまでに経由するページから、改善の余地が大きいページを選びます
ページ上の要素から改善の余地がありそうなブロックを選ぶ
- バナーやボタンなど、ユーザーをゴールに促すための要素を選びます
表示パターンを複数作る
- 選んだ要素について、画像や文言などを変更した別パターンを作成します
- 例) 表示パターンAはポップに、表示パターンBは落ち着いた雰囲気にしてみる
- 選んだ要素について、画像や文言などを変更した別パターンを作成します
ABテストを一定期間実施し、効果の良い表示パターンが見つかるか試す
- 実際にABテストを実施し、表示パターン毎のゴール率に違いが出るか比較します
- 例) 表示パターンAは表示パターンBに比べてゴール率が10%ほど高いことが分かる
- 実際にABテストを実施し、表示パターン毎のゴール率に違いが出るか比較します
効果の良い表示パターンの配信率を増やす
- 効果の良い表示パターンがあれば、より多く表示されるよう調整します
様々なケースに対して、上記の手順でABテストを繰り返す
- 例)
- さらに別の表示パターンを増やし比較する
- 他のページでも実施する
- 他の対象ユーザーにも実施する
- 例)
具体的な設定の流れ
KARTE Blocksでは、あるページを来訪したユーザーを一定割合ごとに複数パターンに割り振ることができます。それぞれのパターンには、別のブロック群を表示できます。パターン毎の効果を比較することで、どちらのパターンがよりゴールに寄与しそうかを定量的に判断することができます。
KARTE BlocksでABテストを実施しページの改善サイクルを回すときの手順は、次の通りです。
事前準備
以下の設定がすでに済んでいることを前提としています。
パターンを追加する
ABテストを実施するページと対象ユーザーを選び、ユーザーを割り振る「パターン」を追加します。
- 「ページ」画面から対象のページを開き、配信条件画面に遷移します
- 対象の配信条件を選択し、「編集」ボタンを押します
- 「パターンを追加」ボタンを押します
- 一定の割合を、新しく追加したパターンに割り振ります
- 「保存」ボタンを押します
配信率の合計を100%より少なく設定することで、残りは「未実施」に割り振られます。未実施を含めておくと、「両パターンとも効果が悪い場合」にそれを検知しやすくなります。
各パターンに表示するブロックを設定・配信する
各パターンに実際に表示するブロックの設定をします。
- 配信条件画面から対象の配信条件を選択し、ページから編集をクリックするとページエディタ画面に遷移します
- 先ほど追加したパターンを選択して、ブロックを編集します。
- 「保存して配信」を押します
特定のパターンに割り振られたユーザーに対して、複数の要素を編集することもできます。たとえばパターンAに割り当てられたユーザーに対して、パターンAに対応する複数のブロックを同時に表示できます。これによって、複数ブロックのまとまりに対してABテストを実施することが可能です。
パターン毎の効果を比較する
一定期間経過した後に、パターン毎の効果を確認します。
ブロック別の比較
- 「ページ」画面から対象のページを選び、「ブロック」タブを開きます
- ブロック別にABテストの結果が表示されます
パターン全体の比較
- 「ページ」画面から対象のページを選び、配信条件画面に遷移します
- 各配信条件について、パターン毎の効果が表示されます
- 表示するゴール数値は複数選択可能です。中間ゴールと最終ゴール等、複数のゴールで効果を見比べることで新しい気づきを得ることができます
- 例: BtoBサービスサイトの場合、お問合わせには有意差がなかったが、資料請求には効果があった、など。
「UP率」とは、未実施と比較してどのくらいゴール率が向上したのかを示す値です。
効果の高いパターンの配信率を増やす
明らかに効果の良いパターンが見つかったら、そのパターンの配信率を増やしてみましょう。
- 「ページ」画面から対象のページを選び、配信条件画面に遷移します
- 対象の配信条件を選択し、「編集」ボタンを押します
- 「パターン」の配信率を変更します
- 「保存」ボタンを押します
パターンの配信率を変更した場合には、その時点から再度ユーザーごとにパターンの割り当てが行われますのでご注意ください
後からユーザー行動の傾向が変わるケースもあるので、安易に配信率を100%にせず、一定割合を別パターンや未実施に割り振っておくことをおすすめします。
ABテストを繰り返し行うことで、ページのパフォーマンスを改善し続けることができます。
パターン、配信率の設定例
- サイト上の編集前のブロックと編集後のブロックとで、効果を比較したい
- 例) 未実施: 20%、パターンA: 80%
- Blocksで編集する2つのブロックで、効果を比較したい
- 例) 未実施: 0%、パターンA: 50%、パターンB: 50%
- 効果の高いパターンを全員に表示したい
- 例) 未実施: 0%、パターンA: 100%
備考
ユーザーのパターン割り振り仕様
- 複数パターンを含む配信条件では、設定した比率に応じてユーザー毎にランダムでパターンが割り振られます
- 同一ユーザーには同じパターンのブロックが配信され続けます
- パターンの配信率を変更した場合には、その時点から再度ユーザーごとにパターンの割り当てが行われますのでご注意ください
- 常にユーザーを均等に割り振るわけではないため一時的に特定パターンに偏りが出ることがありますが、徐々に設定した比率に収束します
「未実施」に割り振られた場合の配信
- ユーザーが配信条件で「未実施」に割り振られた場合、次のような順序でユーザーに表示されるブロックが決定されます
- より優先度の低い配信条件に当該ユーザーが合致する場合は、その配信条件のパターン割り振りが行われる
- 合致する全ての配信条件で「未実施」に割り振られたユーザーには、オリジナルブロックが表示される
- これを利用して、オリジナルブロックとBlocksで配信ブロックとの間でABテストを実施できます
#karte_blocks