信頼度はA/Bテストの結果について、接客サービスの配信数とゴール回数及び未実施グループとのゴール数差分を統計的に計算をした上で評価を行う基準として信頼度を記載しております。KARTEではこの信頼度を求める方法として、統計学の検定手法の1つである「二項検定」を採用しています。
配信数やゴール数が少ない段階だと1件ゴールが増えるだけでも結果がぶれやすいため、信頼度もひとつの判断軸としてご利用ください。
信頼度の確認はアクションの効果の画面で行えます。
信頼度が50%を超えた時に、その率に応じて高・中・低（マークが3つ、2つ、1つ）の表示がされます。
信頼度が高の場合は、コントロールグループとの比較によりWin!,Loseの表記も併せて表示されます。
それぞれの信頼度は以下になります。
- 高：90%~
- 中：70%~
- 低：50%~
同じゴール率であれば配信数が増加するのに伴って信頼度は上がります。ゴール率の差が小さいほど、信頼度を上げるためにはより多くの配信数が必要になります。つまり信頼度が高い場合は、接客アクションと未実施グループの間のゴール率に有意差がある可能性が高いといえます。配信数が多いにも関わらず信頼度が上がらない場合は、ゴール率に有意差がないことが考えられます。
信頼度の計測開始後ゴールを変更したら？
接客サービスの配信開始後、信頼度の計測が開始されますがその後に接客サービスのゴールの設定を変更した場合、過去に遡り新しいゴールでの計算が行われ、信頼度が新たに算出されます。
信頼度の計算式の公開は致しておりませんが、他にご質問がありましたらサポートまでお問い合わせください。