KARTE Blocksでは、ページ上のブロックに対してABテストを実施できます。ページ上のブロックを定量的に評価し、Webページの改善サイクルを高速に回しましょう。

この記事では、KARTE Blocksを使ったABテストの概要と、実際の設定方法を説明します。

なぜABテストが重要か?

Webページ上の要素は、実際に表示してみるまでユーザーからどんな反応を得られるかわかりません。「こんなバナーを表示すればクリックされるかも?」という仮説を立てることはできても、その仮説が正しいかどうか判断するには実際のデータによって検証する必要があります。

ABテストは、こうした仮説検証を実施するための強力な手段です。ABテストを使うと、会議で何時間も話し合うよりも、より素早く確実に最適なメッセージやデザインにたどり着くことができます。

ABテストの考え方や注意点については、次の記事もぜひ参考にしてください。

全体の流れ

ABテスト実施の大まかな流れは、次の通りです。

  1. ゴールを決める

    • KPIなどを踏まえてユーザーに取ってほしい行動を1つ選び、ゴールとして定めます
  2. ゴール率に改善の余地がありそうなページを選ぶ

    • ユーザーがゴールまでに経由するページから、改善の余地が大きいページを選びます
      • 例) 「ランディングページ」を改善する
  3. ページ上の要素から改善の余地がありそうなブロックを選ぶ

    • バナーやボタンなど、ユーザーをゴールに促すための要素を選びます
  4. 表示パターンを複数作る

    • 選んだ要素について、画像や文言などを変更した別パターンを作成します
      • 例) 表示パターンAはポップに、表示パターンBは落ち着いた雰囲気にしてみる
  5. ABテストを一定期間実施し、効果の良い表示パターンが見つかるか試す

    • 実際にABテストを実施し、表示パターン毎のゴール率に違いが出るか比較します
      • 例) 表示パターンAは表示パターンBに比べてゴール率が10%ほど高いことが分かる
  6. 効果の良い表示パターンの配信率を増やす

    • 効果の良い表示パターンがあれば、より多く表示されるよう調整します
  7. 様々なケースに対して、上記の手順でABテストを繰り返す

    • 例)
      • さらに別の表示パターンを増やし比較する
      • 他のページでも実施する
      • 他の対象ユーザーにも実施する

実施手順

KARTE Blocksでは、あるページを来訪したユーザーを一定割合ごとに複数パターンに割り振ることができます。それぞれのパターンには、別のブロック群を表示できます。パターン毎の効果を比較することで、どちらのパターンがよりゴールに寄与しそうかを定量的に判断することができます。

KARTE BlocksでABテストを実施しページの改善サイクルを回すときの手順は、次の通りです。

事前準備

以下の設定がすでに済んでいることを前提としています。

  • ページの登録(詳細
  • ブロックの登録(詳細
  • 配信条件の作成とブロックの配信(詳細
  • ゴールの登録(詳細

パターンを追加する

ABテストを実施するページと対象ユーザーを選び、ユーザーを割り振る「パターン」を追加します。

  • 「ページ」画面から対象のページを選び、「配信条件」タブを開きます
  • 対象の配信条件を選択し、「編集」ボタンを押します

null

  • 「パターンを追加」ボタンを押します
  • 一定の割合を、新しく追加したパターンに割り振ります
  • 「保存」ボタンを押します

null

配信率の合計を100%より少なく設定することで、残りは「未実施」に割り振られます。未実施を含めておくと、「両パターンとも効果が悪い場合」にそれを検知しやすくなります。

各パターンに表示するブロックを設定・配信する

各パターンに実際に表示するブロックの設定をします。

  • 「ページ」画面から対象のページを選び、「ブロック」タブを開きます
  • 変更したいブロックを選び、「ブロックを変更」を押します

null

  • 対象の配信条件と、先ほど追加したパターンを選択します
  • そのパターンで表示したいブロックの内容を設定をします
  • 「保存して配信」を押します

null

あるパターンに割り振られたユーザーに対して、複数のブロックを配信することもできます。たとえばパターンAに割り当てられたユーザーに対してパターンAに対応する複数のブロックを同時に表示できます。これによって、複数ブロックのまとまりに対してABテストを実施することが可能です。

パターン毎の効果を比較する

一定期間経過した後に、パターン毎の効果を確認します。

ブロック別の比較

  • 「ページ」画面から対象のページを選び、「ブロック」タブを開きます
  • ブロック別にABテストの結果が表示されます

null

パターン全体の比較

  • 「ページ」画面から対象のページを選び、「配信条件」タブを開きます
  • 各配信条件について、パターン毎の効果が表示されます

null

「UP率」とは、未実施と比較してどのくらいゴール率が向上したのかを示す値です。
  • 配信条件をクリックすると、ゴール率の推移を見ることができます

null

効果の高いパターンの配信率を増やす

明らかに効果の良いパターンが見つかったら、そのパターンの配信率を増やしてみましょう。

  • 「ページ」画面から対象のページを選び、「配信条件」タブを開きます
  • 対象の配信条件を選択し、「編集」ボタンを押します
  • 「パターン」の配信率を変更します
  • 「保存」ボタンを押します

null

後からユーザー行動の傾向が変わるケースもあるので、安易に配信率を100%にせず、一定割合を別パターンや未実施に割り振っておくことをおすすめします。

ABテストを繰り返し行うことで、ページのパフォーマンスを改善し続けることができます。

配信率の設定例

  1. 全員に同じブロックを表示させたい
    • 例) 未実施: 0%、パターンA: 100%
  2. サイト上のオリジナルブロックと更新後のブロックで、効果を比較したい
    • 例) 未実施: 20%、パターンA: 80%
  3. Blocksで更新する2つのブロックで、効果を比較したい
    • 例) 未実施: 0%、パターンA: 50%、パターンB: 50%

備考

ユーザーのパターン割り振り仕様

  • 複数パターンを含む配信条件では、設定した比率に応じてユーザー毎にランダムでパターンが割り振られます
  • 同一ユーザーには同じパターンのブロックが配信され続けます
  • 常にユーザーを均等に割り振るわけではないため一時的に特定パターンに偏りが出ることがありますが、徐々に設定した比率に収束します

「未実施」に割り振られた場合の配信

  • ユーザーが配信条件で「未実施」に割り振られた場合、次のような順序でユーザーに表示されるブロックが決定されます
    1. より優先度の低い配信条件に当該ユーザーが合致する場合は、その配信条件のパターン割り振りが行われる
    2. 合致する全ての配信条件で「未実施」に割り振られたユーザーには、オリジナルブロックが表示される
  • これを利用して、オリジナルブロックとBlocksで配信ブロックとの間でABテストを実施できます

#karte_blocks