概要

この記事では、接客アクションの接客数やゴール数などをもとに効果を判定する「接客アクションの効果判定結果」(Win/Loseなど)の判定ラベルとその活用例を解説しています。
A/Bテストの結果から各判定の理由を理解し、次の接客アクションの改善に活かす際にご活用ください。

※A/Bテストの実施方法については「配信率」設定の方法・仕様のドキュメントをご確認ください

判定結果の一覧

判定ラベル 接客の状態 推奨ネクストアクション
データ収集中 接客の効果を判定するのに必要なサンプルサイズ(接客数・ゴール数など)に至っていません。 このまま継続してください。データが十分集まるまで配信を続け、定期的に進捗を確認しましょう。一定期間経ってもデータ収集中の場合は、表示場所への対象ユーザーの来訪数が少ない可能性があります。表示場所や配信対象を見直しましょう。
活用例はこちらをご覧ください。
Likely Win 未実施に対して接客アクションが高いゴール率になっています。 有意とは判定されていませんが、良い効果となっているので、このまましばらく公開を続けてみましょう。
Win 未実施に対して接客アクションが有意に高いゴール率になっています。 接客を継続しましょう。今後の施策立案の参考に、成功要因を分析することをお勧めします。
Lose 未実施に対して接客アクションが有意に低いゴール率になっています。 接客を停止しましょう。接客の内容やクリエイティブ、対象ユーザー、配信条件を見直して改善策を検討しましょう。
活用例はこちらをご覧ください。
有意差なし 有意な結果になりませんでした。 接客の内容や対象ユーザーを再考する必要がありそうです。
活用例はこちらをご覧ください。

判定のフロー

KARTEでは、A/Bテストが行われている各接客アクションに対し、以下の判定を行っています。

  • ステップ1:有意性の判定
    • 接客アクションの結果が統計的に有意であるかを判定します。有意と判定された場合、接客のゴール率から未実施のゴール率を引いた値(ゴール率の差)が0より大きいか小さいかで判定結果が変わります。
      • 0より大きい:「Win」と表示されます。
      • 0より小さい:「Lose」と表示されます
  • ステップ2:サンプルサイズの確認
    • ステップ1で有意と判定されなかった場合、サンプルサイズが十分かどうかを判定します。各アクションの接客数が1,000以上であるかをもとに判定します。
      • はい(1,000以上の場合):ステップ3へ
      • いいえ(1,000未満の場合):「データ収集中」と表示されます。
  • ステップ3:ゴール率の差の確認
    • ステップ2でサンプルサイズが十分と判定された場合、次に「ゴール率の差(接客 - 未実施)」がプラスであるかを確認します。
      • ゴール率の差がプラスの場合: ステップ4へ進みます。
      • ゴール率の差がプラスでない場合:「有意差なし」と判定されます。
  • ステップ4:今後有意になる見込みの判定
    • ステップ3でゴール率の差が正であった場合、有意になる確率を計算します。
      • 有意になる確率が大きい場合:「Likely Win」と表示されます。
      • 有意になる確率が小さい場合:「有意差なし」と表示されます。

判定結果の活用例

「データ収集中」が続く場合:接客の「見落とし」を防ぐ

  • 判定ケース: アパレルのECサイトにて、新しい期間限定キャンペーンページに遷移する接客を始めたが、表示場所を特定の商品詳細ページのみにしたところ、1週間経ってもほとんど接客が表示されず、「データ収集中」のまま。
  • 活かし方:表示場所をトップページに、表示タイミングをファーストビューのポップアップにしたことで表示回数が上がった。

「Lose」「有意差なし」の場合:接客の内容・タイミングを見直す

  • 判定ケース: 特定カテゴリの特集ページで、ユーザーが訪問してすぐに、そのカテゴリの「商品ページへ遷移を促すポップアップ」を表示。これが「閲覧の邪魔」となり、すぐに閉じられ「有意差なし」判定に。
  • 活かし方:ポップアップの表示タイミングを、「ユーザーが記事の8割を読み終えた後」や「ページを最後までスクロールした後」に変更。「実際の商品を見てみませんか?」と、ユーザーの興味に寄り添うメッセージにした結果、遷移率・購入率が向上し「Win」判定に。

※KARTE アクションについてはこちらの記事をご覧ください