未実施の接客サービスを追加してABテストを行う

接客サービス作成時に接客サービス未実施のグループを作成することで、接客サービスの効果を正しく測定することができます。また、接客サービス公開後であっても未実施のグループを追加することができます。未実施の接客サービスグループの作成方法をご紹介します。

 

未公開の接客サービスの場合


1. 接客サービス作成フローの中で「アクションを設定する」ステップにて、「効果を検証するために、未実施のグループを追加する」を選択
Screenshot6.png

2. 接客サービスありと未実施時の表示率をそれぞれ選択

__________2017-07-18_14.57.07.png

※ 表示率0%を選択した場合、その接客サービスまたは未実施グループは考慮されません。

 

公開済みの接客サービスの場合


  1. 接客詳細ページへアクセス
  2. 右上「編集」ボタンをクリックし、アクションを選択
  3. 「効果検証するために、未実施のグループを追加する」を選択
  4. 表示比率を設定
  5. 「保存して閉じる」をクリック

 

ABテスト実施の際の注意点


下記の場合、同一ユーザーに別のアクションが表示される/未実施となる場合があります。

1.途中で配信比率を変更した場合

途中で配信比率を変更すると、表示するアクション/未実施グループの振り分けがリセットされます。厳密にABテストを実施したい場合は途中での配信比率の変更は避けていただくようお願いいたします。

2.ビジターがメンバーにマージされた場合

現状の仕様では複数のビジターが1つのメンバーにマージされることを考慮し、ビジターで表示される際のアクションの振り分けとメンバー統合後に表示されるアクションの振り分けは別物として扱われます。具体的には以下のような挙動が発生する可能性があります。

ビジターの際にA案を表示→ユーザーの統合が発生し、メンバーにマージ→B案が表示

 

また、下記の場合、正確なABテストができない場合があります。

1.スクリプト等で条件に合致した場合のみ表示される接客の場合

下までスクロールされた場合のみ表示される接客サービスのように、配信後に表示/非表示をスクリプト等で制御する場合、正確なABテストができない可能性があります。実施/未実施の振り分けは配信前に行われるため、未実施グループに振り分けられたユーザー数が、実際に接客サービスが表示されるユーザー数に比べて多くなってしまい、対等な比較ができなくなります。