信頼度について
信頼度は、接客の効果判定の数値がどの程度信頼できるのかを表す指標です。
この指標は施策毎の試行数とゴールイベントの発生確率の影響を受けます。試行数が少なく・ゴール確率が低いケースにおいて、十分な試行であるとみなされるまで時間がかかる傾向にあります。
配信対象となる母数が十分にある場合は問題になりませんが、そうでない場合、時間軸そのものが配信結果に影響を与えることもあるため（例えば春物の洋服についての判定を夏まで持ち越すと効果は判らなくなる）、十分な信頼度を数週間内に出すことには大きな意味があります。
詳細については下記の記事を参照して下さい。
- 『信頼度』
十分な信頼度を得るためには
信頼度は多くの場合、数千〜数万配信で十分な値に達しますが、ゴールの設定やパターン毎の配信の配分によって信頼度がなかなか上がらないケースがあります。
2つのケースについて、改善策を解説します。
低い確率の事象をゴールとしている場合
もともと発生する確率が低い事象については、高い信頼度を得るために多くのサンプルが必要になり、評価結果も安定しない傾向にあります。
購入よりもカートイン、カートインよりも施策のクリックなど、より発生確率の高い事象を評価のためのゴールと定めるようにしてください。
比較する接客同士の配信に偏りがある場合
比較する接客同士の配信比率が大きく異なる場合、配信が少ない方の配信数の影響を受けるため判定に時間が掛かります。
特に、未接客（コントロールグループ）の配信数が少ないと、各施策パターン毎の信頼度が十分に計測できないため、母数が少ないケースについては特に多く割り当てるようにして下さい。