ご注意ください

本手順にはアプリ側の実装が必要です。実現可否については、事前にアプリ開発担当者へご相談ください。

本記事では、効果測定が可能なかたちで、設定値配信で未実施を含むA/Bテストを実現する方法、および効果測定方法について説明します。

前提

未実施とは

「未実施」とはA/Bテストなどで使用する用語で、「コントロールグループ（Control Group）」とも呼びます。これは、特定の施策（KARTEだと接客アクションなど）を「あえて配信しない」比較対象の群を指します。

「施策を配信した群（テスト群）」と「施策を配信しなかった群（未実施群 / コントロールグループ）」の結果を比較することで、施策の効果を正確に測定できます。

通常、接客サービスでA/Bテストを実施する場合は、以下画像のように「未実施（コントロールグループ）」を設定することで、未実施を含めた接客配信・結果振り返りが可能です。

しかし、設定値配信においては、接客を配信しない比率の設定はできますが、適切にA/Bテストの結果を振り返ることができません（未実施ユーザーのゴール率などの計測がされないため）。

null
参考：設定値配信の注意事項

次の章で、効果測定が可能なかたちで、設定値配信で未実施を含むA/Bテストを実現する方法について記載しています。併せて、効果測定方法についても記載しているので、必ずご確認ください。

A/Bテストを実施したい接客ごとに初期実装が必要です。

A/Bテストを行いたい接客サービスで、「接客用」のアクションと「未実施用」のアクションを作成し、図のようにそれぞれのアクションを判別できるアクション名と任意の配信率を設定します。

接客サービス画面にある「未実施時」は利用しません。
null

それぞれのアクション編集画面より、A/Bテストに関わらず設定値配信の施策に必要な値（例：画像URL、遷移先など）に加え、追加で以下2つの変数を設定します。

補足

変数名はアプリ側の初期実装で指定したものを使用します。具体的な変数名は実装者に確認してください。なお、A/Bテストを実施したい接客が複数ある場合は、接客ごとに異なる変数名を指定する必要があります。

①アクションが配信されたかをアプリ側で判定するステータス

②配信されたアクションが「接客用」か「未実施用」かをアプリ側で判定するフラグ

具体的な設定内容は実装担当者にご確認くだい
一例
- 変数名： top_banner_flag
- 値（データ型）
  - 「接客用」のアクション：true（true/false）
  - 「未実施用」のアクション： false （true/false）

※上記画像内に設定されている “top_banner_image” は、設定値配信の施策に必要な値が、画像URLのみの場合のユースケースです。実施される施策に応じて必要な変数は変わります。

設定値配信の接客は、ポップアップなどの接客判定結果で表示される「A/Bテストの判定ラベル」の機能に対応しておりません。

そのため、以下いずれかの方法にて、A/Bテストの効果測定・振り返りを行ってください。

Datahubクエリを用いて分析を行う
- 未実施グループは接客のAction IDで判別できます
外部の有意差検定ツールなどを活用する
- 外部のツールにて、KARTEの管理画面上に表示されている、接客数・ゴール数を入力し評価することもできます（“ABテスト有意差判定ツール” などのワードで検索できます）

施策の振り返り・改善については、下記サポートサイトに記載の「推奨ネクストアクション」や「活用例」なども併せてご参照ください（参考：A/Bテストの判定ラベルについて）