概要

KARTEでは、効果測定の一つとしてリフトアップという指標を使用しています。リフトアップはゴール回数、ゴール金額に対して計算され、接客によりどれくらいゴール回数やゴール金額が向上したかの分析に役立ちます。
このドキュメントでは、KARTEにおけるリフトアップの定義について説明します。

▲注意▲
リフトアップは未接客を含めたABテストを設定した接客サービスでしか算出できません。
効果検証ができていない接客サービスについては未接客を含めたABテストの実施をお勧めしています。
（※未接客を含める＝接客サービス作成時、アクション配信率設定にて「未実施時」の配信率を5％以上に設定すること）

KARTEにおけるリフトアップとは

KARTEでのリフトアップとは、"接客をした人" のゴールから "接客をしなかった人" のゴールを差し引いた "接客による純粋な効果"を表しています。主に接客サービス詳細画面や接客サービスレポート（リフトアップ軸）において活用されています。

なお、リフトアップは未接客を含めたABテストを設定した接客サービスでしか算出できないため、効果検証ができていない接客サービスについては未接客を含めたABテストの実施をお勧めしています。

リフトアップの計算ロジック

リフトアップとは、上記の通り接客をした場合と仮に接客をしなかった場合（ = 未接客）に想定される成果の差分を意味します。未接客を計測することで「接客をしなかったと仮定した場合の想定される成果」を算出することができます。リフトアップの計算は、具体的には下記のとおりです。

（接客したユーザーグループのゴール率・ゴール単価 - 未接客のユーザーグループのゴール率・ゴール単価） × 実施案の接客回数

接客サービス毎にこの計算を行うことで、各接客サービスで設定されたゴール（回数、金額）をどれだけ上積みしたかを算出しています。

また前述したとおり、各接客のリフトアップには他の接客の効果は含まれないため、KARTEのすべての接客がサイト全体に及ぼした効果を、各接客のリフトアップを足し合わせた数値で算出することができます。
仮に全ての接客サービスで未配信を含めたABテストをしている場合、各接客サービスのリフトアップを足し合わせた数値が、サイトに対してKARTEが貢献したリフトアップと考えることができます。

よくある質問

Q. 未接客・接客ありの振り分け方によって結果に偏りがでることはありますか？

未接客・接客ありのグループ分けは、ユーザーの属性や条件などを考慮せず完全にランダムに行っているため、リフトアップの正確さに影響をあたえることはありません。

Q.「接客をしなかったと仮定した場合の想定される成果」は常に正しい？

「接客をしなかったと仮定した場合の想定される成果」は実際には存在しない想定上の値であるため、常に正確な数字とは言い切れません。
この不確実さは配信数が増えるに従い軽減され正確な評価に近づいていくため、この正確さを管理画面上では「信頼度」として低（データが不足しています）・中（もう少しデータが必要）・高（確定）に分けて表示しています。

Q. リフトアップには他の接客サービスの効果がバイアスとして含まれるのでは？

他の接客サービスは、理論上、配信した時・配信しなかった時の両方に均等に配信されており効果も両方に反映されることから、リフトアップの計算結果には影響を与えません。従って、各接客のリフトアップには他の接客の効果は含まれないと考えられます。

Q. 各接客のリフトアップを足し合わせたら、重複して集計されるのでは？

KARTEでのリフトアップ数値は、重複を除いて計算をしています。また、KARTEでは、基本的にはかけ合せると効果が下がるケースが大半と仮定しており、時には効果を少なく見積もる場合もあります。
重複を除いた具体的な計算は、下記をご確認ください。ただし、リフトアップの合計金額には統計的優位性を確保していない分（信頼度低〜中）についても加えているため、ノイズが含まれる場合もあります。

例1: 50％を未配信とし、かけ合わせると線形状に増える接客サービスの場合

例2: 50％を未配信とし、かけ合わせると線形状に増える接客サービスの場合

例1・例2いずれも、接客サービスをA, B, C, D…と複数配信しても考え方は同じです。

Q. 広告などKARTE以外の施策の影響はあるか？

KARTEのリフトアップは、KARTE以外の施策の影響を受けずにKARTEの接客による効果のみを計算していると考えられます。

例えば、広告によって流入してきたユーザーと自然流入によるユーザーがいた場合、その両方が未接客・接客ありの両方に均等に配分されるため、流入経路による効果の良し悪しは未接客・接客ありの両方に影響を与え、リフトアップの数値の正確さには影響を与えません。