KARTE Blocksでは、ABテストを利用してページ上のブロックを定量的に評価し、Webページの改善サイクルを高速に回すことができます。
この記事では、KARTE Blocksを使ったABテストの概要と、実際の設定方法を説明します。

なぜABテストが重要か?

Webページ上の要素は、実際に表示してみるまでユーザーからどんな反応を得られるかわかりません。「こんなバナーを表示すればクリックされるかも?」という仮説を立てることはできても、その仮説が正しいかどうか判断するには実際のデータによって検証する必要があります。

ABテストは、こうした仮説検証を実施するための強力な手段です。ABテストを使うと、会議で何時間も話し合うよりも、より素早く確実に最適なメッセージやデザインにたどり着くことができます。

ABテストの考え方や注意点については、次の記事もぜひ参考にしてください。

全体の流れ

ABテスト実施の大まかな流れは、次の通りです。

  1. ゴールを決める

    • KPIなどを踏まえて、ユーザーに取ってほしい行動をゴールとして決めます
  2. ゴール率に改善の余地がありそうなページを選ぶ

    • ユーザーがゴールまでに経由するページから、改善の余地が大きいページを選びます
      • 例) 「ランディングページ」を改善する
  3. ページ上の要素から改善の余地がありそうなブロックを選ぶ

    • バナーやボタンなど、ユーザーをゴールに促すための要素を選びます
  4. 表示パターンを複数作る

    • 選んだ要素について、画像や文言などを変更した別パターンを作成します
      • 例) 表示パターンAはポップに、表示パターンBは落ち着いた雰囲気にしてみる
  5. 一定期間ABテストを実施し、効果の良い表示パターンが見つかるか試す

    • 実際にABテストを実施し、表示パターン毎のゴール率に違いが出るか比較します
      • 例) 表示パターンAは表示パターンBに比べてゴール率が10%ほど高いことが分かる
  6. 効果の良い表示パターンの配信率を増やす

    • 効果の良い表示パターンがあれば、より多く表示されるよう調整します
  7. 様々なケースに対して、上記の手順でABテストを繰り返し実施します

      • さらに別の表示パターンを増やし比較する
      • 他のページでも実施する
      • 他の対象ユーザーにも実施する

実施手順

KARTE Blocksでは、あるページを来訪したユーザーを一定割合ごとに割り振って、それぞれ別パターンのブロック群を表示することができます。それぞれのパターンの効果を比較することで、どちらのパターンがよりゴールに寄与しそうかを定量的に判断することができます。

KARTE BlocksでABテストを実施しページの改善サイクルを回すときの手順は、次の通りです。

事前準備

以下の設定がすでに済んでいることを前提としています。

  • ページの登録(詳細
  • ブロックエリアの設定(詳細
  • 配信条件の設定(詳細
  • ゴールの設定(詳細

パターンを追加する

ABテストを実施するページと対象ユーザーを選び、表示を切り替えるパターンを追加します。

  • 「ページ」画面から、対象のページを開きます
  • 「配信条件」タブから、対象の配信条件の編集画面を開きます
    • 「パターンを追加」ボタンから、パターンを追加します
    • 一定の割合を、新しく追加したパターンに割り振ります
    • 配信条件を「保存」します

null

配信率の合計を100%より少なく設定することで、残りは「未実施」に割り振られます。未実施を含めておくと、「両パターンとも効果が悪い場合」にそれを検知しやすくなります。
オリジナルブロックを置き換えるブロック配信で「未実施」パターンを含めておくと、オリジナルブロックとBlocksで置き換えたブロックとの間でABテストを実施できます。

各パターンに表示するブロックを設定・配信する

各パターンに実際に表示するブロックの設定をします。

  • 「ページ」画面から、対象のページを開きます
  • 「ボード」タブから、表示を切り替えたいエリアを選びます
  • 「+」アイコン(置き換えブロックを追加)をクリックし、ブロックを追加します
    • 対象の配信条件と、先ほど追加したパターンを選択します
    • その表示パターンで表示したいブロックの設定をします
  • リアルタイムプレビュー表示で問題なければ、「保存して配信」をクリックします

null

複数のエリアに対して、同一パターンでのブロック配信が可能です。たとえばパターンAに割り当てられたユーザーに対してパターンAに対応する複数のブロックを同時に表示し、要素単位ではなくページ単位でABテストを実施することができます。

パターン毎の効果を比較する

一定期間経過した後に、パターン毎の効果を確認します。

  • 「ページ」画面から、対象のページを開きます
  • 「効果」タブから、「配信条件別」の効果を開きます
    • 右上のプルダウンから、比較したい「ゴール」を選択します
    • 対象の配信条件について、どのパターンのゴール率が高いかを確認します
      • up率の仕様についてはこちらをご確認ください

null

  • ブロック単位でクリック率等を見たい場合は、「ブロック別」の効果も合わせて確認してください

効果の高いパターンの配信率を増やす

明らかに効果の良いパターンが見つかったら、そのパターンの配信率を増やしてみましょう。

  • 「ページ」画面から、対象のページを開きます
  • 「配信条件」タブから、対象の配信条件の編集画面を開きます
    • 「パターン」の配信率を変更します
    • 配信条件を「保存」します

null

後からユーザー行動の傾向が変わるケースもあるので、安易に配信率を100%にせず、一定割合を別パターンや未実施に割り振っておくことをおすすめします。

以上のABテスト実施手順を、様々な対象について繰り返し行うことで、ページのパフォーマンスを定量的に改善し続けることができます。