接客アクションに未実施案を設定してABテストをした場合や、2つのアクションを設定して効果を比較したい場合、それぞれのアクションの表示比率を指定します。
実施案50%、未実施案50%でABテストをした時に、接客を公開後、配信条件に合致したユーザーが100人いた場合未実施案と実施案それぞれに50人ずつの配信がされるよう、自動で振り分けが行われます。
ただし、必ずしも50:50の配信結果にはならないケースがあり、その理由として以下が挙げられます。
1. 配信比率を配信開始後に変更した場合
配信比率を変更した直後は、すぐには指定した新しい配信比率に応じた配信数の配分になりませんので、しばらく配信を続けてから改めて配信数の比率が指定した配信比率に沿っているかご確認ください。
2. 同一ユーザーに複数回接客が配信される可能性のある設定の場合
どのアクション(未実施案含む)が配信されるかの振り分けはユーザー単位で行われます。
例えば一度未実施案の配信対象に振り分けられた(コントロールグループに割り振られた)ユーザーが、また同接客の配信条件に合致したときには自動的に未実施案が配信される仕組みです。
A案とB案を50%ずつの配信比率にしていた時、たまたまA案の配信対象者の方が、繰り返し配信条件に合致する行動を複数セッションに渡りとっていた場合、配信数をセッション単位で見た時にB案の配信セッション数より多く配信セッション数の数値が出ることがあります。ただしこの場合の誤差は、多くの場合小さな乖離の幅のケースが多いため、乖離している幅が大きい場合は以下3にご案内する要因が原因の可能性の方が高いかもしれません。
3. アクションの表示までの秒数/スクロール率、その他表示条件がついている場合
アクション編集画面(エディタ)の「表示設定」の項目でアクションの表示までの秒数またはスクロール率の設定をしている場合、あるいは(主にScriptのカスタマイズにてwidget.showの実行に何らかの条件をつけている場合)、接客サービスの配信条件に合致していても実際の配信(アクションの表示)まではされないケースが発生します。
接客サービスの配信条件に合致した時点(つまり接客サービスの配信判断がくだった時点)で、どのアクション案が配信されるかの割り振りは決められるのですが、その後アクションに指定された表示設定等の条件を満たして実際に表示されたかまでは割り振りの判断基準に含まれていません。
あくまで配信条件に合致していれば、割り振りを行いますので、その後表示が実際にされなかったケースが案毎に偏りが出た場合に配信数の偏りも出ます。
接客サービス詳細画面のアクションタブにて、「起点イベント」を「表示準備」にして表示準備数を比較していただくと配信比率に沿った数値になっているはずですのでご確認ください。
「表示準備」とは、接客サービスの配信条件に合致し、接客の配信が待機された状態で、「接客」とはその後実際にアクションが表出した状態を指します。
表示準備数と接客数の差は、接客サービスの配信対象となったにも関わらず、表示までの秒数等のアクションの表出のために満たさなければならない条件を満たさずに表示されなかった数です。
スクロール率の表示条件を付けた上でABテストを行いたい場合は、イベントにてスクロール率を取得し、そのイベントを配信トリガーにご設定ください。
(参考:[スクリプト]指定要素までのスクロールでイベント送信テンプレート)