KARTE Blocksでは、ABテストを利用して現在の設定を定量的に評価し、Webページの改善サイクルを回すことができます。
この記事では、KARTE Blocksを使ったABテストの概要と、実際の設定方法を説明します。

KARTE Blocksを使ったABテスト

KARTE Blocksでは、あるページを来訪したユーザーを一定割合ごとに割り振って、それぞれ別パターンのブロック群を表示することができます。それぞれのパターンの効果を比較することで、どちらのパターンがよりゴールに寄与しそうかを定量的に判断することができます。

ABテストの流れ

KARTE BlocksでABテストを実施しページの改善サイクルを回すときの流れは、およそ次の通りです。

  1. ゴール率に改善の余地がありそうなページを選びます

    • ユーザーに到達して欲しいゴールに対して、重要度の高いページから着手しましょう
      • 例) 「ランディングページ」を改善する
  2. ゴール率に改善の余地がありそうな対象ユーザーを考えます

    • まずは「全ユーザー」への配信から始めるのが簡単です
    • 慣れてきたら、さらに対象ユーザーを絞り込んで複数パターンの出しわけを考えましょう
      • 例) 「初回来訪者」向けの表示を複数パターン考える
  3. ページの表示について、パターンAとパターンBを作ります

    • KARTE Blocksでは、表示パターン毎に複数のブロックを置き換えることができます
      • 例) 表示パターンAはポップに、表示パターンBは落ち着いた雰囲気にしてみる
  4. しばらく様子を見て、明らかに効果の良い表示パターンが見つかるか試します

    • 表示パターン毎のゴール率を比較します
      • 例) 表示パターンAは表示パターンBに比べてゴール率が10%ほど高いことが分かる
  5. 効果の良い表示パターンの配信率を増やします

  6. 様々なケースに対して、1〜5の手順でABテストを繰り返し実施します

      • さらに別の表示パターンを増やす
      • 他の対象ユーザーにも実施する
      • 他のページでも実施する

ABテストの実施手順

事前準備

以下の設定がすでに済んでいることを前提としています。

  • ページの登録(詳細
  • エリアの登録(詳細
  • 配信条件の作成(詳細
  • ゴールの設定(詳細

パターンを追加する

ABテストを実施するページと対象ユーザーを選び、表示を切り替えるパターンを追加します。

  • 「ページ」画面から、対象のページを開きます
  • 「配信条件」タブから、対象の配信条件の編集画面を開きます
    • 「パターンを追加」ボタンから、パターンを追加します
    • 一定の割合を、新しく追加したパターンに割り振ります
    • 配信条件を「保存」します

null

配信率の合計を100%より少なく設定することで、残りは「未実施」に割り振られます。未実施を含めておくと、「両パターンとも効果が悪い場合」にそれを検知しやすくなります。

各パターンに表示するブロックを設定する

各パターンに実際に表示するブロックの設定をします。

  • 「ページ」画面から、対象のページを開きます
  • 「ボード」タブから、表示を切り替えたいエリアを選びます
  • 「+」アイコン(置き換えブロックを追加)をクリックし、ブロックを追加します
    • 対象の配信条件と、先ほど追加したパターンを選択します
    • その表示パターンで表示したいブロックの設定をします

null

  • 複数のエリアに対して、同一パターンでのブロック配信が可能です
    • 作成した配信条件を利用して、ページ内の他エリアでも、同一パターンでの配信設定が可能です

変更内容をサイトに配信する

変更内容をプレビューし、サイトに配信します。

  • 「ボード」タブの「プレビュー」から、対象の配信条件と、先ほど追加したパターンを選択します

null

  • プレビュー表示で問題なければ、「変更内容をサイトに配信」をクリックします

パターン毎の効果を比較する

一定期間経過した後に、パターン毎の効果を確認します。

  • 「ページ」画面から、対象のページを開きます
  • 「効果」タブから、「配信条件別」の効果を開きます
    • 右上のプルダウンから、比較したい「ゴール」を選択します
    • 対象の配信条件について、どのパターンのゴール率が高いかを確認します
      • up率の仕様についてはこちらをご確認ください

null

  • ブロック単位でクリック率等を見たい場合は、「ブロック別」の効果も合わせて確認してください

効果の高いパターンの配信率を増やす

明らかに効果の良いパターンが見つかったら、そのパターンの配信率を増やしてみましょう。

  • 「ページ」画面から、対象のページを開きます
  • 「配信条件」タブから、対象の配信条件の編集画面を開きます
    • 「パターン」の配信率を変更します
    • 配信条件を「保存」します

null

後からユーザー行動の傾向が変わるケースもあるので、安易に配信率を100%にせず、一定割合を別パターンや未実施に割り振っておくことをおすすめします。

以上のABテスト実施手順を、様々な対象について繰り返し行うことで、ページのパフォーマンスを定量的に改善し続けることができます。