KARTEの接客サービスでは、配信比率を振り分けることでABテストを実施することができます。
例えば、実施案50%、未実施案50%でABテストを実施すると、50:50の比率で自動的に配信振り分けが行われます。
ただし、必ずしも比率通りの配信結果にはならないケースがあり、その理由として以下が挙げられます。

1. 配信比率を配信開始後に変更した場合

配信比率を変更した直後は、指定した新しい配信比率に応じた振り分けにはなりません。
しばらく配信を続けてから改めて配信数が指定した配信比率に沿っているかご確認ください。

2. 同一ユーザーに複数回接客が配信される可能性のある設定の場合

どのアクション（未実施案含む）が配信されるかの振り分けはユーザー単位で行われます。

A案とB案を50%ずつの配信比率に設定しており、A案の配信対象者が繰り返し配信条件に合致する行動を複数セッションに渡って取っていたとします。（このとき、一度配信対象に振り分けられたユーザーは、その後も同じアクション案が配信されます。）
配信数をセッション単位で見ると、A案の方がB案よりも多くなることがあります。

ただし、この場合の誤差は小さな乖離の幅のケースが多いため、幅が大きい場合は3が原因の可能性があります。

3. アクションの表示までの秒数/スクロール率、その他表示条件がついている場合

以下の設定をしている場合、配信条件に合致していても実際には接客が表示されないケースがあります。

  • アクション編集画面（エディタ）の「表示設定」で、表示までの秒数またはスクロール率を設定している
  • スクリプトのカスタマイズでwidget.showの実行に何らかの条件をつけており、条件によっては実行されないように設定している

どのアクション案を配信するかの割り振りは、配信条件に合致した時点（配信判断が下された時点）で決定されます。
しかし、その後の表示設定の条件（表示までの秒数など）を実際に満たしたかどうかは、割り振りの判断基準に含まれていません。
そのため、表示が実際にされなかったケースがあると、配信数の偏りが出ます。
結果として、設定した配信比率とのずれにつながりますが、配信対象の抽出は配信比率に即した形になっています。