接客アクションでABテストを実施したケースで、一定期間経過後に配信比率を特定の接客に寄せた場合に、その前後で結果が変化することがあります。

例えば、配信比率50%ずつ、未実施群とクリエイティブでABテストしたケースにおいて、クリエイティブ配信の効果が出たため配信比率を95%に寄せると、効果がマイナスになるようなケースがありえます。

このような事象には、

  • 効果計測期間が長くなる（30日など）と、古い接客表示ほど効果が出やすく、新しい接客表示ほど効果がでにくくなる。
  • 直近で配信率を増やしたアクションは、他のクリエイティブと比べて相対的に新しい接客表示の割合が大きいため、CVRの計算上は不利になる。

という要因が存在します。つまり、たとえば効果計測期間を30日間で見ると効果がマイナスだが、セッションで見ると効果がプラスになっている、ということが発生します。

回避方法としては、調整後一定期間の経過を待ちつつ効果計測期間を短くしてみる、既存の接客を流用せず新たに接客を複製して配信する、Datahubを用いて配信比率の変更後のみの接客効果を集計する、などの方法がございます。