効果の分析タブとは？
接客サービスそれぞれを詳細に分析することができる機能です。
接客サービスの配信結果をセグメント単位、ページ単位で見ることで多角的にどのような効果があったかを分析し、接客サービスの改善等に活用することができます。
アクセス方法
接客サービス詳細画面の分析タブから見ることができます。
画面上の「効果の分析」ボタンを押下することで解析が始まり、完了すると結果が表示されます。
分析タブを見る前の注意
前提として、この分析タブでは未実施グループを追加している(ABテスト中の)接客サービスのみ、接客の効果を正確にみることができます（未実施時と比較することで初めて効果が計れます）。
効果計測をしたり接客コンテンツの改善をすすめる上でも、未実施グループの追加をおすすめいたします。
未実施グループを含まない（ABテストをしていない)接客サービスの場合は「接客状況の確認」に表示される配信関連のパフォーマンス値のみ正確に表示されます。
分析する
画面は大きく①前提条件を設定するヘッダーと②〜⑥5つの分析視点から構成されています。
①前提条件を設定するヘッダー
接客サービスを分析する際の前提条件を指定することができます。
- 集計期間: 分析対象となるデータの期間を指定します。
- アクション名: 分析対象となる接客サービスのアクションを指定します。特定のアクション、未接客時、全アクション(未実施以外の全てのアクションの合算)から選択できます。
- 起点イベント: 集計の起点となるイベントを指定します。接客アクションの表示準備、接客、クリックから選択できます。
- ゴール: 集計のゴールを指定します。ゴールイベントまたはゴール機能から指定できます。ゴール機能（β版）で設定したゴールおよびイベント画面でゴール有効化したイベントが選択できます。
- 効果計測期間： 接客からゴールにいたるまでの効果測定期間を指定します。セッションの他に1日、7日、30日に延長してゴール指標を見ることができます。
- 「セッション」：起点イベントとゴールイベントが同一セッション内で発生した場合に「ゴールした」とカウントする。集計単位がセッション単位なので、ゴール回数を集計する。
- 「1日、7日、30日」：起点イベント後1日(７日、30日)以内にゴールが発生していればに「ゴールした」とカウントする。集計単位がユーザー単位なので、ユニークユーザー数（ゴール人数）を集計する。
- 「1日、7日、30日」は、ゴール機能で設定したゴールを指定している場合だけ指定可能です。
※ 起点イベントで「クリック」を選択すると、「起点イベント数」は「クリック数」、「起点イベント後ゴール数」は「クリック後ゴール数」となります。
※ 起点イベントで「クリック」、効果計測期間で「1日」を選択すると、「起点イベント数」は「クリック人数」、「起点イベント後ゴール数」は「クリック後ゴール人数」となります。
②どこで効果が出ているか
対象接客サービスで効果の良いセグメント、ページをランキング形式で表示しています。
未実施グループと比較したときのリフトアップゴール率のがプラスのものを高い順に表示しています。（未実施グループがない場合はゴール率の高い順に全て表示)
分析のヒント
リフトアップ率が大きなセグメント(ページ)は接客の効果が高いセグメント(ページ)といえます。
「特にこの特徴、状態を持つ/このページにいるユーザーに響くはずだ、響かせたい」といった配信前の仮説が正しかったどうか検証するのに役立ちます。
また接客のどの要素がそのセグメント(ページ)に対する効果に貢献していたのかを考察し仮設を立てることで、次の施策組み立てをする際に、「このあたりのセグメント(ページ)を中心に狙っていきたいから、前回のあの接客の要素を真似してみよう」といったナレッジの蓄積にもつながります。
画面の項目
- 起点イベント数： 前提条件に応じて下記いずれかの値に切り替わります
- 接客数: 指定したアクションの配信数。
- クリック数: 指定したアクションのクリック数。
- 表示準備数: 指定したアクションの配信対象となった数(配信された数ではありません)。
※ 「全アクション」を指定している場合は各アクションの起点イベント数の合計になります。
- ゴール数: 指定したゴールの「起点イベント後ゴール」数。
- ゴール率: 「起点イベント後ゴール数」 / 「起点イベント数」
- リフトアップゴール率: 指定したアクションの「起点イベント後ゴール」と未接客時の「起点イベント後ゴール」を比較した際のリフトアップゴール率。
- 信頼度: リフトアップゴール率がどの程度信頼できるかの指標。指標は、なし/低/中/高の4段階。
- ランキング表には信頼度「低」以上のみ表示しますが、「セグメント情報CSV」をダウンロードすると全ての信頼度のデータが確認できます。
- 信頼度「-」 はABテストが行われていない、もしくは接客数が100件に満たず少ないため信頼度が計算できない場合に表示されます。
③どこに問題があるか
対象接客サービスで効果の出ていないセグメント、ページをランキング形式で表示しています。
リフトアップゴール率がマイナスのものを低い順に表示しています。（未実施グループがない場合はゴール率の低い順に全て表示)
分析のヒント
リフトアップ率が小さいセグメント(ページ)は接客の効果が出ていないセグメント(ページ)といえます。
セグメントを例に、なぜそのセグメントに対して効果が出ていないのか考察してみましょう。
該当のセグメントに対しては他の内容がふさわしいと思われる場合には表示するコンテンツを変えて別の接客を配信したり、該当のセグメントに対しては不要な案内だと思われる場合には配信対象から外すといった改善につなげることができます。
「該当のセグメントには実は接客が逆効果だった」という発見ができれば、そこから原因を考察し改善する機会と捉えることができます。
活用のヒント
接客サービスでマイナスの効果が出ているディメンションを自動で配信対象ユーザーから除外してくれる機能もあります。
④アクションの比較
アクション同士、特定のアクションと全アクション合計、特定のアクションと未接客時などを比較したときの差があるセグメント、ページをランキング形式で表示しています。
ヘッダーのアクション名で選んだものが(A)にデフォルトで設定されています。
分析のヒント
まずはアクション同士の比較をしてみましょう。
アクション同士のゴール率などの比較結果は同画面の「アクション」タブで確認できますが、ここではさらにセグメント（ページ）ごとに比較します。
例えばユーザー全体ではアクション(A)の方がゴール率が高い場合でも、特定のセグメントにはアクション(B)の方がゴール率が高いものがあったとすれば、該当のセグメントにはアクション(B)のコンテンツの方が有効な可能性があるという仮説が立ちます。
その仮説を元に、次の施策の組み立てをする際に該当セグメントにはコンテンツの異なる接客を配信することで、よりゴールを増やす(良い体験を作る)改良につなげることができます。
画面の項目
- (A)ゴール率: (A)で選んだアクションの起点イベント後ゴール率
- (B)ゴール率: (B)で選んだアクションの起点イベント後ゴール率
- リフトアップゴール率: (A)で選んだアクションのゴール率が(B)で選んだアクションのゴール率に対してどれだけリフトアップしているか
⑤接客状況の確認
対象接客サービスの表示準備数、接客数、クリック数など配信関連のパフォーマンスをセグメント軸、ページ軸でランキング形式で表示しています。
分析のヒント
どのページの接客ではゴールが発生し、どのページの接客ではゴールが発生していないのかみてみましょう。
ある程度接客数があるのにゴール数が低いページがあれば、そのページは該当の接客コンテンツにふさわしくないページである可能性があります。
不要な接客配信を減らすことで、届けたい情報が必要なタイミングで届く状態に近づけることができます。
配信対象にページを指定する（配信しないページを指定する）場合には、ページグループ機能を利用することをおすすめします。
似た特性をもったページをまとめておくことで、配信設定が楽になります。
画面の項目
- 表示準備数： 指定したアクションの配信対象となった数(配信された数ではありません)。
- 接客数： 指定したアクションの配信数。
- クリック数： 指定したアクションのクリック数。
※ 「全アクション」を指定している場合は各アクションの値の合計になります。
※「表示準備数」が「接客数」よりも多くなる理由については 接客準備数よりも接客数が少ないのはなぜ？ のドキュメントもご参照ください。
⑥ディメンション毎の効果
１つのディメンションに絞って、どの層に効果があったかを比較します。
分析のヒント
1つずつディメンションを選んで、ざっと眺めてみましょう。
「効果のいい」「問題のある」セグメント画面では、値の大きなセグメントに埋もれて比較が難しいですが、ここでは1つの軸について効果を比較することができます。
「流入元で言ったらどこに効果があるのか」「年代間で差異はどのくらいあるのか」がみえてきます。
全体に共通する注意事項・機能
1) 「セグメント情報CSV」「ページ情報CSV」「ディメンション情報CSV」ボタン機能
画面右上にある「セグメント情報CSV」「ページ情報CSV」「ディメンション情報CSV」ボタンより、全ての指標(全てのアクション分の接客数、クリック数、ゴール数、ゴール率、リフトアップ率、信頼度 等。本画面で確認できる指標全てです。)のデータを表示期間分ダウンロードすることができます。
ローカルで集計を行う際、他のデータと紐付けて分析する際などにお使いください。
2) 「…」内にあるCSVダウンロードボタン機能
各ランキング右上の「…」内にある「CSVダウンロード」ボタンより、各ランキングに表示しているデータをそのままダウンロードすることができます。
ランキングデータを加工して利用する際にお使いください。
3) 表示するセグメントを絞り込む機能
ランキング表を見ていて、分析において不要なセグメントが混ざっていると感じた場合には、「レポートで使用するセグメントフォルダ」設定をお使いください。
設定したセグメントだけが分析タブ(およびその他のレポート)に表示されるようになり、結果が見やすくなります。
ただし、セグメントのうちフィールドセグメントは、「レポートで使用するセグメントフォルダ」設定に関わらず、全て表示します。
参考：[ユーザーレポート]レポートで使う対象セグメントを絞り込む | レシピ / レポート / ベーシックレポート | KARTEサポートサイト
4) 各項目の単位(例：ゴール数/ゴール人数)に注意！
各項目の単位はヘッダーで指定する効果計測期間に応じて切り替わります。
「セッション」が指定されているときはセッション数 (例：ゴール数)、「1日」が指定されているときはユーザー数 (例: ゴール人数)になります。
セッション数とユーザー数を比較してしまうと、ユーザ数の方が少なく見えますので、他画面の値と比較したり、集計したりする際には単位にご注意ください。
5）未実施を設定していない場合の使い方に注意！
未実施がない場合、ランキングは「ゴール率」の順番に表示されますが、誤解をしやすいので注意が必要です。
例えば下記のような接客があるとします。
- もともとのサイトの特性（60代はサイトは見るが電話注文が多い、など）
- 20代のゴールする割合が80%、60代のゴールする割合が30%
- ある接客の結果
- セグメント20代のゴール率が75%、セグメント60代のゴール率が35%
このとき、セグメント20代の方がゴール率が高いのでランキング上位にきますが、実はリフトアップしているのはセグメント60代になります。
このことを理解していないと、本当は20代に効果がなかった接客なのに、20代に効果があったかのように誤解してしまいます。
「ゴール率でセグメント(ページ)同士を見比べる」ときには、元来そのセグメント(ページ)が持つ特徴が影響しており、「どちらにより効果があったかのか」の優劣をつけることはできない」ということにご注意ください。
Q&A
Q1：ランキングに表示されるセグメント、ページ、ディメンションはいつ時点の情報ですか？
それぞれ、接客時点のユーザーのセグメント、ディメンション、接客時点に開いていたページです。
Q2：分析結果に一部のセグメント、ページしか表示されていないようです。表示される条件はありますか？
以下の条件で絞り込まれています。
- そのセグメント・ページでの接客数が100以上であること
- 対象のセグメント、ページが多い場合、接客数の上位100件まで
- セグメントの場合、「レポートで使用するセグメントフォルダ」が設定されていれば、そのセグメントのみ。参考：[ユーザーレポート]レポートで使う対象セグメントを絞り込む | レシピ / レポート / ベーシックレポート | KARTEサポートサイト
- 未実施を設定している場合、信頼度が「低」以上であること
- 未実施を設定している場合、リフトアップ率がプラス(もしくはマイナス)であること
Q3：同様に、ダウンロードできるCSVでのセグメント・ページの絞り込み条件を教えてください。
以下の条件で絞り込まれています。
- 対象のセグメント、ページが多い場合、接客数の上位100件まで
- セグメントの場合、「レポートで使用するセグメントフォルダ」が設定されていれば、そのセグメントのみ
Q4：セグメントフォルダ名を変更した場合、ダウンロードしたCSVにフォルダ名は即時反映されますか？
レポートで使用するセグメントフォルダは１日１回の更新となっており、作成・変更したフォルダ名は翌日９時以降に反映させれます。
よって９時以前に作成されたフォルダ名であれば当日中に反映されますが、それ以降は翌日反映となります。
Q5-1：サービス詳細画面（アクションタブ)とリフトアップ率などが異なっています。どちらが正しいのでしょうか？
接客を公開した後に、ゴールイベントの新規追加や、未実施グループの配信割合の変更などを行うと、アクションタブと分析タブで異なる値が表示されます。
これは、サービス詳細画面が結果を表示するための画面なのに対して、分析タブが現在の設定を元に現状を分析するための画面になっているためです。
設定変更前の過去の結果（実績)を確認する際は、アクションタブの数値をご確認ください。
Q5-2：接客公開後に接客は編集していないのに「アクション」タブと数値が異なります
「効果の分析」タブは、画面をロードする瞬間に都度集計を行っています。
一方、「アクション」タブは定期的に集計した結果を表示しており、集計タイミングが異なります。
そのため、数値がズレる可能性があります。
Q5-3：集計期間が過去なのに「アクション」タブと数値が異なります／セッション中にディメンションの値が変わったときは、どのように扱われますか？
例えばセッション中に購入回数が4回から５回に変化したとします。
購入回数４回の時点でも接客が配信され、購入回数が５回になったあとにも接客が配信されたときは、
購入回数４回の接客数に+1、購入回数5回の接客数にも+1します。
そのため、ディメンション「購入回数」の全接客数を合計したとき、実際の接客数（アクションタブの接客数）よりも大きくなることがあります。
値は重複して計上されますが、ディメンション同士の比較がより公平に行えます。
Q6：セグメントがたくさん表示されるのでランキングが見辛いです。絞り込むことはできますか？
「レポートで使用するセグメントフォルダ」の設定を行うと、設定したセグメントだけがランキングに表示されるようになります。
または、⑥「ディメンション毎の効果」で、特定のディメンションだけに絞り込んで分析結果を確認することができます。
参考：[ユーザーレポート]レポートで使う対象セグメントを絞り込む | レシピ / レポート / ベーシックレポート | KARTEサポートサイト
Q7:「ディメンション毎の効果」でしきい値をより細かく見たい
しきい値はディメンションの設定から編集することができます。ディメンション編集画面の「範囲設定」で調整ください。設定を保存後に再度「ディメンション毎の効果」タブをご確認いただくと設定が反映されています。
Q8:ディメンションを増やしたら「ディメンション毎の効果」に表示されるようになりますか？
はい、ディメンションを新規作成すると、ディメンション毎の効果で指定可能になります。
Q9:「接客数」や「ゴール数」などの数値は、セッション数とUU数のどちらですか？
「効果計測期間」の選択に依存します。
「効果計測期間」が「セッション」の場合は、セッション単位でカウントされます。
その他の場合は、UU単位でカウントされます。
Q10:集計期間が直近30日等で当日を含む場合、分析の対象としてはどのぐらい最新のデータが含まれますか？
前日分のデータが、翌日12時以降ぐらいで反映されます。