KARTE Blocksでは、1つの配信条件に複数の配信パターンを設定することでA/Bテストを実施できます。
A/Bテストでは一つのパターンで複数のブロックを一緒に変更する場合も多いため、基本的にA/Bテストの結果は配信条件一覧画面でパターンごとに比較します。

一方、A/Bテストの結果をブロックごとの効果で評価・判断したいケースもあり、本記事ではその方法をご紹介します。

A/Bテストの各パターンで編集しているブロックの効果で比較したい場合

ケース例

• キャンペーンバナーをテストし、ブロックを実際に表示したユーザーの購入完了率で比較したい
• CTAボタンのテキストをテストし、ボタンのクリック率で比較したい

KARTE Blocksでの設定・確認方法

各パターンで該当のブロック（上記例では、「キャンペーンバナー」や「CTAボタン」）をそれぞれ編集・配信している場合、後述のケース以外では追加の設定は不要です。
ブロックリスト画面でブロックごとのクリック率やゴール率を確認・比較して下さい。

例えば、以下のような設定をしている場合、ブロックリスト画面でオリジナルブロック、および変更ブロックの行の効果を比較します。

• 変更なしのパターン： 40%
• パターンA： 30%
• パターンB： 30%

A/Bテストを特定ユーザーに限定して実施しているケース

プロダクトの仕様上、オリジナルブロックの効果には、そのブロックが表示された場合の全てのケースがまとめて計算されて表示されます。
そのため、A/Bテストを特定ユーザーに限定して実施しているようなケースでは、オリジナルブロックのまま表示する変更パターンをあえて作成する必要があります。

1. 配信条件を編集し、変更パターン「オリジナル」を追加

「オリジナル」の変更パターンを追加し、「変更なしのパターン」の配信率を移します。
※ パターン名には任意の名前をつけられます。

2. オリジナルブロックの内容まま保存・配信

ページエディタ画面などで、「オリジナル」の変更パターンに対して、効果を確認したいブロックを選択・編集を行わずにそのまま配信します。

3.「オリジナル」パターンで配信されたブロックと効果を比較

ブロックリスト画面で「オリジナル」パターンに紐づいたブロックを確認し、サイトの元のブロックまま表示したユーザーにおけるブロック効果として見なして他の変更パターンと比較することができます。

A/Bテストの各パターンでは編集していないブロックの効果で比較したい場合

ケース例

A/Bテストの各パターンで実際に内容の変更は行わないブロックではあるものの、A/Bテストの結果を評価する上では効果を参照したい場合があります。例えば、以下のようなケースです。

• ファーストビューの画像をA/Bテストし、ページ中腹のメインコンテンツの表示ユーザー数で比較したい
• メイン画像をA/Bテストし、直下のCTAボタンのクリック率で比較したい

KARTE Blocksでの設定・確認方法

各変更パターンで、効果を確認したいブロック（上記例では、「メインコンテンツ」や「CTAボタン」）もブロックとして選択・配信します。
その際、効果を確認するだけで内容の変更を行う必要がないので、ブロック選択後、何も編集せずそのまま保存・配信だけ行います。
※ 操作イメージは上記を参考にしてください。

ブロックリスト画面で、効果を参照したいオリジナルブロックおよび変更ブロックを確認・比較してください。