この記事は、新しい接客サービス詳細画面（β版）に関する内容です。 現在の接客サービス詳細画面をご利用の方は以下サポートサイトからご覧ください。 A/Bテストの判定ラベルについて
β版の機能は、今後、機能の内容・仕様が大幅に変わったり、機能自体の提供を終了する可能性があります。 機能自体が終了する場合にはあらかじめアナウンス致しますが、使用される際はご注意ください。
概要
この記事では、接客アクションの接客数やゴール数などをもとに効果を判定する「接客アクションの効果判定結果」（Win/Loseなど）の判定ラベルとその活用例を解説します。
A/Bテストの結果から各判定の理由を理解し、次のアクションの改善に役立ててください。
A/Bテストの対象になる条件
接客にゴール設定がされている
アクションの配信率の合計が100%未満のものが対象 ※未実施も含む
配信率については「「配信率」設定の方法・仕様」のサポートサイトをご覧ください。
「配信対象ユーザーの自動最適化」がOFF
別途最適化ロジックが走り配信率が変動するため、効果検証はできません。
ターゲット配信ではない
2026年4月18日以降、上記条件に当てはまる接客サービスは効果検証を開始しています。 接客サービス > アクションタブではWinやLoseなどの結果が出ていても、接客サービスに設定した効果計測期間によっては、接客詳細β版の「配信状況」タブでは結果が表示されない場合があります。
判定結果のアップデート内容
2026年4月より、現行の仕様に加え、次のアクションを判断しやすくした「A/Bテスト（クローズドβ版）」を提供しています。
「データ不足」ラベルの新設
変更内容： 従来「データ収集中」と一括表示されていたステータスに、新たに「データ不足」を追加。
メリット： 「ただ待つ」のではなく、「ターゲットを広げる」といった具体的な次のアクションへ即座に繋げられるようになります。
判定ロジックの最適化
変更内容： 任意の期間設定から、「公開（または変更）後、約30日間」という固定期間での判定ロジックに変更。
メリット： 判定基準を一律化することで、データの信頼性を担保し、一貫性のある分析が可能になります。
判定ラベルの一覧とネクストアクション
| 判定ラベル | 接客の状態 | 推奨ネクストアクション |
|---|---|---|
| データ収集中 | データの収集を行っています。 | このまま継続してください。定期的に進捗を確認しましょう。 |
| データ不足 | 接客の効果を判定するのに必要なサンプルサイズ（接客数）に至っていません。（1,000以下） | 表示場所への対象ユーザーの来訪数が少ないです。表示場所や配信対象を見直しましょう。活用例はこちらをご覧ください。 |
| Likely Win | 未実施に対して接客アクションが高いゴール率になっています。 | 統計的に有意とは判定されていませんが、良い効果となっているので、このまましばらく公開を続けてみましょう。 |
| Win | 未実施に対して接客アクションが統計的に有意に高いゴール率になっています。 | 接客を継続しましょう。今後の施策立案の参考に、成功要因を分析することをお勧めします。 |
| Lose | 未実施に対して接客アクションが統計的に有意に低いゴール率になっています。 | 接客を停止しましょう。接客の内容やクリエイティブ、対象ユーザー、配信条件を見直して改善策を検討しましょう。活用例はこちらをご覧ください。 |
| 有意差なし | 統計的な差がみられませんでした。 | 接客の内容や対象ユーザーを再考する必要がありそうです。活用例はこちらをご覧ください。 |
判定ロジックの仕組み
KARTEでは、接客サービス未実施のグループを用いたA/Bテストが行われている各アクションに対し判定を行っています。
※自動収束が有効の場合は対象外です
なお、複数アクションがある場合は、各アクションごとに未実施との判定が行われます。
ステップ１：集計開始
以下のいずれかを行うと、効果計測のための集計が開始されます。
接客サービスを新規公開
特定項目の変更
配信比率
起点イベント
ゴール
テンプレートタイプを変更
停止後の再公開
「再集計」ボタンをクリック
効果検証中に特定項目以外の変更をし保存をする際に「検証を最初からやり直す」を選択するとその時点から再集計が行われます。
ステップ２：効果検証中
接客の効果を正しく判定するための、サンプルサイズの定義や判定までの流れを解説します。
効果検証のプロセス
以下の5つのフェーズ・要素で構成されます。
サンプルサイズ: 効果検証に必要なデータ量です。最低1,000件必要です。
データ収集期間: サンプルサイズが溜まるまでの期間です（基本7日以内、最大30日間）。この間、判定ラベルは
データ収集中となります。判定期間: サンプルが溜まった後、統計的な有意差を確定させるための待機期間です。効果計測期間に準じます。※効果計測期間がセッション/1日の場合は省略されます
判定終了: 検証が完了した状態です。結果に応じたラベルが付与されます。
判定ラベル: 検証結果を示すステータスです。判定ラベルの一覧をご参照ください。
サンプルサイズのルール
正確な比較を行うため、以下の条件を設けています。
比較ペアごとの充足: 「アクションA vs 未実施」「アクションB vs 未実施」のように、各ペアでそれぞれ1,000件以上のサンプルが必要です。
各ペアにおいて「アクション+未実施」が1,000件以上で検証可能です
例: アクションAが700, 未実施が400でも可
計測対象の固定: 規定のサンプルサイズに達した時点でデータ収集は締め切られます。それ以降（例：判定期間中など）に配信されたユーザーは検証結果に含まれません。
効果測定期間ごとの詳細フロー
「効果測定期間」の設定により、「いつ判定が終わるか」のフローが異なります。
1. 効果測定期間：セッション or 1日の場合
短期的なコンバージョン（クリックや即時購入など）を測定する場合のフローです。
【開始〜7日】
7日以内に全アクションがサンプルサイズ（1,000件）到達
その時点から「判定」を行い、判定結果を出して終了します。
7日時点で全アクションがサンプルサイズ（1,000件）未達
システムが「30日以内に1,000件集まるか」を自動予測します。
【7日目以降の分岐】
「30日以内に集まりそうなアクションが1つ以上ある」と予測された場合
継続：最大30日まで収集を続けます（ステータス：
データ収集中）。判定：1,000件に達してから判定が行われ、終了します。
継続後、30日以内に1,000件に満たなかった場合：ステータスは
データ不足となります。
「すでに集まったアクション + 30日以内に集まらなそうなアクションのみ」の場合
集まったアクションは判定終了し、判定ラベルが表示されます
集まらなそうなアクションは
データ不足と判定されます。A/Bテストは終了です
「30日以内に全アクションで集まらなそう」 と予測された場合
全アクションで
データ不足と判定されます。A/Bテストは終了です。
2. 効果測定期間：7日の場合
週次サイクルなどの傾向を含めて安定した成果を見たい場合のフローです。
【開始〜7日】
7日以内に全アクションがサンプルサイズ（1,000件）到達
集まった時点から判定期間に入り、7日後に判定終了します。
7日時点で全アクションがサンプルサイズ（1,000件）未達
システムが「測定開始から30日以内1,000件集まるか」を自動予測します。
【7日目以降の分岐】
「まだ集まってないが30日以内に集まると予測されたアクションが1つ以上存在する」と予測された場合
継続：最大30日まで収集を続けます（ステータス：
データ収集中）。全アクションがサンプルサイズ（1,000件）に達した時：
最後のアクションのサンプルサイズが1,000件に達した日から、さらに7日間の判定期間を経て終了します。
30日経っても一部のアクションが未達の時：
到達したアクション：測定開始から30日後から、判定期間に入り、7日後にアクションに対して判定終了します。
到達しなかったアクション：集まったアクションの判定終了と同時に判定終了します。ステータスは
データ不足となります。
「30日以内に全アクションとも集まらない」と予測された場合
終了：その時点で検証を終了し、結果は
データ不足となります。
「すでに集まったアクションか、30日以内に集まらなそうなアクションしかない」という場合
データ収集期間から判定期間に移行した上で、その7日後に判定終了します。
3. 効果測定期間：30日の場合
LTVやリピート率など、長期的な影響を測定する場合のフローです。
全アクションが7日以内にサンプルサイズ（1,000件）に達した場合
最後のアクションが1,000件に達した日から、さらに30日間の判定期間を経て終了します。
一部のアクションのみ7日以内にサンプルサイズ（1,000件）に達した場合
到達したアクション：測定開始7日後から、判定期間に入り、30日後にアクションに対して判定終了します。
到達しなかったアクション：到達したアクションの判定終了と同時に判定終了します。ステータスは
データ不足です。
7日時点でどのアクションもサンプルサイズ（1,000件）に達していない場合
この設定（効果測定期間：30日）では、最初の7日間でサンプルサイズが1,000に達しないアクションは、その時点で即座に
データ不足と判定されます（延長はありません）。ご注意ください。
ステップ3：効果検証終了 （接客公開〜最大1ヶ月間以内）
判定ラベルの確認
「配信状況」タブ に、結果に応じて以下のいずれかのラベルが表示されます。
データ不足：期間内に判定に必要なサンプルサイズが集まりませんでした。
Win：未実施に対して接客アクションが統計的に有意に高いゴール率になっています。
Likely win ：未実施に対して接客アクションが高いゴール率になっています。
Lose：未実施に対して接客アクションが統計的に有意に低いゴール率になっています。
有意差なし：統計的に有意な結果になりませんでした。
データの保存
効果検証が終わったタイミングのデータは、 「計測結果」タブ にスナップショットとして自動保存されます。
検証の結果が出るたびに、新しいスナップショットが蓄積されます
詳細は接客サービス詳細画面β：「検証結果」タブについてをご確認ください。
ステップ4：効果検証終了後の運用
判定が出た後、接客をどのように扱うかによってデータの動きが変わります。
内容を変更せずに配信を続ける場合
効果検証は終了です。配信を継続しても効果検証は行われません。
「配信状況」タブ > 配信状況 項目の接客数等はリアルタイムで更新されます。
特定項目を変更した場合
ステップ1 に戻り再度検証が開始されます。
「配信状況」タブには最新の検証内容が表示されます。
過去検証したものは「検証結果」タブにスナップショットが保存されます。
効果検証終了
「配信状況」タブには最新の検証結果が表示されます。
「計測結果」タブにスナップショットが追加されます。
接客を停止して、再度公開した場合
ステップ1 に戻り再度検証が開始されます。
以降、「特定項目を変更した場合」と同様です。
その他
効果検証中に特定の項目を変更した時
変更したタイミングから再集計が始まります （＝ステップ1 に戻る）
特定の項目とは、「ステップ１：集計開始」 > 特定項目の変更 を参照
効果検証中に特定の項目以外を変更した時
保存方法によって再集計が開始されるかが異なります
停止して保存：再公開をした際に再集計が開始します。 （＝ステップ1 に戻る）
公開中のまま保存 > 現在の検証を継続：現在している効果検証が継続されます
公開中のまま保存 > 検証を最初からやり直す：再集計が開始されます （＝ステップ1 に戻る）
1つの接客で複数アクションがある場合でも、未実施 との 1対1 の検証になります。
アクション毎にラベルが振られます。
例：アクション①・② と 未実施 を配信している場合
アクション①が未実施に勝ったら→ Win と表示
アクション②が未実施に負けたら → Lose と表示
判定結果の活用例
「データ不足」の場合：接客の「見落とし」を防ぐ
判定結果：データ不足
状況：特定の商品詳細ページのみに接客を表示したが、来訪者が少なく判定不能に。
改善策：表示場所を「トップページ」に広げ、表示タイミングを「ファーストビュー」に変更。
結果：接客数が増えたことで正しく判定が行われ、改善サイクルが回せるようになった。
「Lose」「有意差なし」の場合：接客の内容・タイミングを見直す
判定結果：有意差なし
状況：特定カテゴリの特集ページでユーザーが訪問してすぐに、そのカテゴリの「商品ページへ遷移を促すポップアップ」を表示したが「閲覧の邪魔」となり、すぐに閉じられてしまった
改善策：表示タイミングを、「ユーザーが記事の8割を読み終えた後」や「ページを最後までスクロールした後」に変更。
結果：ユーザーの興味に寄り添うメッセージにした結果、遷移率・購入率が向上し「Win」判定に。