接客サービスのアクションレベルでのA/Bテストを実施する時に、機械学習を用いたアルゴリズム(Thompson Sampling)により、効果の良い(ゴールにより寄与する)アクションに配信を寄せ、配信結果を最適化する事が出来るプラグインです。

使用方法

  1. Storeから「A/Bテストの自動収束(β版)」プラグインをインストール
  2. 配信を最適化したい接客サービスの「アクション」編集項目に「最適化」が表示されているので、"有効"に変更する
  3. 必要であれば、学習期間をデフォルトの30日から変更する。(学習期間とは、過去何日分の接客のデータを基に計算するかを決めるものです)
  4. 必要であれば、クリエイティブごとに配信最適化の対象とするか除外するかを変更

null

ご利用時の注意点

  • 必ず適切なゴールの指定をしてください
    • 設定した時点から、より「ゴールに指定したイベントが発生しやすい」アクションに自動的に配信数に偏りが発生していきます。
  • 「アクセス毎」での配信では利用できません
    • ゴールがセッション単位で計算されているためです
    • アクセス単位での配信で利用した場合、配信は収束せずさらにアクションがランダムで表示されるケースがあります
  • 接客サービス詳細ページに、現時点での配信数の表示割合が表示されます
    • なお、接客サービス詳細ページは月毎に表示をしていますが、表示割合は学習期間(下記参照、デフォルト30日間)を元に判定をしているため接客サービス詳細ページに表示されている結果と表示割合が一致しない場合があります
  • 一度WIN判定されたとしても、学習期間内で成績が落ちてくれば自動的にA/Bテストが再開されるようになります

参考

配信比率と「未接客」の最適化

  • 配信を開始した直後はすべてのアクションの配信比率が均等な状態でスタートし(アクションが2つなら50%、3つなら33%づつ)その後収束していきます。
  • 未接客とアクションで配信最適化を行うことで、「効果が悪かった場合に停止」という配信が可能になります。

ゴールイベントの設定方法

  • 接客サービス編集画面の下部、「ゴール設定」欄より接客サービスのゴールとなるイベントを設定できます。

null