概要

この記事では、接客アクションの接客数やゴール数などをもとに効果を判定する「接客アクションの効果判定結果」（Win/Loseなど）の判定ラベルとその活用例を解説しています。
A/Bテストの結果から各判定の理由を理解し、次の接客アクションの改善に活かす際にご活用ください。

※A/Bテストの実施方法については「配信率」設定の方法・仕様のドキュメントをご確認ください

判定結果の一覧

判定のフロー

KARTEでは、A/Bテストが行われている各接客アクションに対し、以下の判定を行っています。

• ステップ1：有意性の判定
  • 接客アクションの結果が統計的に有意であるかを判定します。有意と判定された場合、接客のゴール率から未実施のゴール率を引いた値（ゴール率の差）が0より大きいか小さいかで判定結果が変わります。
    • 0より大きい：「Win」と表示されます。
    • 0より小さい：「Lose」と表示されます
• ステップ2：サンプルサイズの確認
  • ステップ1で有意と判定されなかった場合、サンプルサイズが十分かどうかを判定します。各アクションの接客数が1,000以上であるかをもとに判定します。
    • はい（1,000以上の場合）：ステップ3へ
    • いいえ（1,000未満の場合）：「データ収集中」と表示されます。
• ステップ3：ゴール率の差の確認
  • ステップ2でサンプルサイズが十分と判定された場合、次に「ゴール率の差（接客 - 未実施）」がプラスであるかを確認します。
    • ゴール率の差がプラスの場合: ステップ4へ進みます。
    • ゴール率の差がプラスでない場合:「有意差なし」と判定されます。
• ステップ4：今後有意になる見込みの判定
  • ステップ3でゴール率の差が正であった場合、有意になる確率を計算します。
    • 有意になる確率が大きい場合：「Likely Win」と表示されます。
    • 有意になる確率が小さい場合：「有意差なし」と表示されます。

判定結果の活用例

「データ収集中」が続く場合：接客の「見落とし」を防ぐ

• 判定ケース： アパレルのECサイトにて、新しい期間限定キャンペーンページに遷移する接客を始めたが、表示場所を特定の商品詳細ページのみにしたところ、1週間経ってもほとんど接客が表示されず、「データ収集中」のまま。
• 活かし方：表示場所をトップページに、表示タイミングをファーストビューのポップアップにしたことで表示回数が上がった。

「Lose」「有意差なし」の場合：接客の内容・タイミングを見直す

• 判定ケース： 特定カテゴリの特集ページで、ユーザーが訪問してすぐに、そのカテゴリの「商品ページへ遷移を促すポップアップ」を表示。これが「閲覧の邪魔」となり、すぐに閉じられ「有意差なし」判定に。
• 活かし方：ポップアップの表示タイミングを、「ユーザーが記事の8割を読み終えた後」や「ページを最後までスクロールした後」に変更。「実際の商品を見てみませんか？」と、ユーザーの興味に寄り添うメッセージにした結果、遷移率・購入率が向上し「Win」判定に。

※KARTE アクションについてはこちらの記事をご覧ください