KARTE Blocksでは、ページ上のブロックに対してABテストを実施できます。ページ上のブロックを定量的に評価し、Webページの改善サイクルを高速に回しましょう。

この記事では、KARTE Blocksを使ったABテストの概要と、実際の設定方法を説明します。

なぜABテストが重要か？

Webページ上の要素は、実際に表示してみるまでユーザーからどんな反応を得られるかわかりません。「こんなバナーを表示すればクリックされるかも？」という仮説を立てることはできても、その仮説が正しいかどうか判断するには実際のデータによって検証する必要があります。

ABテストは、こうした仮説検証を実施するための強力な手段です。ABテストを使うと、会議で何時間も話し合うよりも、より素早く確実に最適なメッセージやデザインにたどり着くことができます。

ABテストの考え方や注意点については、次の記事もぜひ参考にしてください。

全体の流れ

ABテスト実施の大まかな流れは、次の通りです。

  1. ゴールを決める

    • KPIなどを踏まえてユーザーに取ってほしい行動を1つ選び、ゴールとして定めます

  2. ゴール率に改善の余地がありそうなページを選ぶ

    • ユーザーがゴールまでに経由するページから、改善の余地が大きいページを選びます
      • 例) 「ランディングページ」を改善する

  3. ページ上の要素から改善の余地がありそうなブロックを選ぶ

    • バナーやボタンなど、ユーザーをゴールに促すための要素を選びます

  4. 表示パターンを複数作る

    • 選んだ要素について、画像や文言などを変更した別パターンを作成します
      • 例) 表示パターンAはポップに、表示パターンBは落ち着いた雰囲気にしてみる

  5. ABテストを一定期間実施し、効果の良い表示パターンが見つかるか試す

    • 実際にABテストを実施し、表示パターン毎のゴール率に違いが出るか比較します
      • 例) 表示パターンAは表示パターンBに比べてゴール率が10%ほど高いことが分かる

  6. 効果の良い表示パターンの配信率を増やす

    • 効果の良い表示パターンがあれば、より多く表示されるよう調整します

  7. 様々なケースに対して、上記の手順でABテストを繰り返す

    • 例)
      • さらに別の表示パターンを増やし比較する
      • 他のページでも実施する
      • 他の対象ユーザーにも実施する

具体的な設定の流れ

KARTE Blocksでは、あるページを来訪したユーザーを一定割合ごとに複数パターンに割り振ることができます。それぞれのパターンには、別のブロック群を表示できます。パターン毎の効果を比較することで、どちらのパターンがよりゴールに寄与しそうかを定量的に判断することができます。

KARTE BlocksでABテストを実施しページの改善サイクルを回すときの手順は、次の通りです。

事前準備

以下の設定がすでに済んでいることを前提としています。

  • ページの登録（詳細）
  • ゴールの登録（詳細）

パターンを追加する

ABテストを実施するページと対象ユーザーを選び、ユーザーを割り振る「パターン」を追加します。

  • 「ページ」画面から対象のページを開き、配信条件画面に遷移します
  • 対象の配信条件を選択し、「編集」ボタンを押します
  • 「パターンを追加」ボタンを押します
  • 一定の割合を、新しく追加したパターンに割り振ります
  • 「保存」ボタンを押します

null

配信率の合計を100%より少なく設定することで、残りは「未実施」に割り振られます。未実施を含めておくと、「両パターンとも効果が悪い場合」にそれを検知しやすくなります。

各パターンに表示するブロックを設定・配信する

各パターンに実際に表示するブロックの設定をします。

  • 配信条件画面から対象の配信条件を選択し、ページから編集をクリックするとページエディタ画面に遷移します
  • 先ほど追加したパターンを選択して、ブロックを編集します。
  • 「保存して配信」を押します

null

特定のパターンに割り振られたユーザーに対して、複数の要素を編集することもできます。たとえばパターンAに割り当てられたユーザーに対して、パターンAに対応する複数のブロックを同時に表示できます。これによって、複数ブロックのまとまりに対してABテストを実施することが可能です。

パターン毎の効果を比較する

一定期間経過した後に、パターン毎の効果を確認します。

ブロック別の比較

  • 「ページ」画面から対象のページを選び、「ブロック」タブを開きます
  • ブロック別にABテストの結果が表示されます

null

パターン全体の比較

  • 「ページ」画面から対象のページを選び、配信条件画面に遷移します
  • 各配信条件について、パターン毎の効果が表示されます
  • 表示するゴール数値は複数選択可能です。中間ゴールと最終ゴール等、複数のゴールで効果を見比べることで新しい気づきを得ることができます
    • 例： BtoBサービスサイトの場合、お問合わせには有意差がなかったが、資料請求には効果があった、など。

null

「UP率」とは、未実施と比較してどのくらいゴール率が向上したのかを示す値です。

効果の高いパターンの配信率を増やす

明らかに効果の良いパターンが見つかったら、そのパターンの配信率を増やしてみましょう。

  • 「ページ」画面から対象のページを選び、配信条件画面に遷移します
  • 対象の配信条件を選択し、「編集」ボタンを押します
  • 「パターン」の配信率を変更します
  • 「保存」ボタンを押します

null

パターンの配信率を変更した場合には、その時点から再度ユーザーごとにパターンの割り当てが行われますのでご注意ください
後からユーザー行動の傾向が変わるケースもあるので、安易に配信率を100%にせず、一定割合を別パターンや未実施に割り振っておくことをおすすめします。

ABテストを繰り返し行うことで、ページのパフォーマンスを改善し続けることができます。

パターン、配信率の設定例

  1. サイト上の編集前のブロックと編集後のブロックとで、効果を比較したい
    • 例) 未実施: 20%、パターンA: 80%
  2. Blocksで編集する2つのブロックで、効果を比較したい
    • 例) 未実施: 0%、パターンA: 50%、パターンB: 50%
  3. 効果の高いパターンを全員に表示したい
    • 例) 未実施: 0%、パターンA: 100%

備考

ユーザーのパターン割り振り仕様

  • 複数パターンを含む配信条件では、設定した比率に応じてユーザー毎にランダムでパターンが割り振られます
  • 同一ユーザーには同じパターンのブロックが配信され続けます
    • パターンの配信率を変更した場合には、その時点から再度ユーザーごとにパターンの割り当てが行われますのでご注意ください
  • 常にユーザーを均等に割り振るわけではないため一時的に特定パターンに偏りが出ることがありますが、徐々に設定した比率に収束します

「未実施」に割り振られた場合の配信

  • ユーザーが配信条件で「未実施」に割り振られた場合、次のような順序でユーザーに表示されるブロックが決定されます
    1. より優先度の低い配信条件に当該ユーザーが合致する場合は、その配信条件のパターン割り振りが行われる
    2. 合致する全ての配信条件で「未実施」に割り振られたユーザーには、オリジナルブロックが表示される
  • これを利用して、オリジナルブロックとBlocksで配信ブロックとの間でABテストを実施できます

#karte_blocks