表示タイミングの制御におけるA/Bテストの注意事項

表示タイミングの制御は、接客サービスが配信された後のアクションの表示タイミングを制御するため、下記の事項で注意が必要です。

A/Bテストにおける注意事項

KARTEのABテストでは、実施/未実施の振り分けは接客サービスの配信時に行われます。そして、効果測定時には、実施グループでは表示、未実施グループでは配信が基準となります。

表示タイミングを変更しない場合、実施/未実施の各グループでは同じ条件で配信が行われ、実施グループでは無条件で接客サービスが表示されます。一方で、表示タイミングを変更すると、実施グループでの表示は条件を満たした場合に限られます。

その結果、実施グループで配信されたが表示されない場合があり、実施/未実施の接客数比率が設定と一致しない可能性があります。表示タイミングの制御を設定して、実施/未実施グループの配信比率を調整する場合は、実施グループのユーザーが表示条件に合致しない可能性を考慮して調整が必要です。

スクロール率の表示タイミング制御を導入すると、複数回の接客サービス表示イベントが発生しますが、接客数は表示があったセッション数のカウントとなります。

widgetの表示はアクションのScriptで調整できますが、Scriptと表示タイミングの両方で制御すると、予測できない動作が発生する可能性があります。

例えば、Scriptで特定の条件で表示するように指定されていた場合、Scriptの条件を満たさなくても表示タイミングの条件があればアクションが表示されます。

Scriptで表示制御している場合でかつ表示タイミングも制御したい場合は、Script内で独自に表示タイミングを制御する必要があります。