公開中の施策を編集することで、以下のような変化が発生する可能性があります。

  • ブロックが配信されていたページが増える / 減る / 変わる
  • ブロックが配信されていたユーザーの対象範囲が広がる / 狭まる / 変わる
  • ページに配信されるブロックが変わる(表示されるようになる / されなくなる)
    そのため、特に複数パターンでA/Bテストを行っている場合など、設定変更前後で配信の効果数値に変化が出ることで、異なる前提での効果数値が混ざった状態で効果を判断してしまうことがあります。

1. 確実に影響がある変更

以下のような変更を行う際は、配信そのものや配信後の効果に影響があります。ご注意ください。

1-1. 配信ページのURL条件を変更する

施策の公開後に配信ページのURL条件を変更する場合、その時点からブロックが配信されるページが変わり、配信内容や配信後の効果数値に変化が出る可能性があります。

1-2. パターンの配信率を変更する

パターンに設定された配信率に基づき、ユーザーごとに施策の各パターンが1つ割り当てられ、同じパターンが継続して配信されます。
一方、公開中の施策のパターンの配信率を変更した場合、変更した配信率に基づき、すべてのユーザーに対して再度パターンの割り当てが行われます。
そのため、配信率の変更前に割り当てられていたユーザーの一部では、変更前後で配信されるパターンが異なる場合があります。

ただし、公開中の施策であっても、配信率0%のパターンを追加するだけであれば、配信パターンの割り振りはリセットされません。

1-3. ブロックの内容を変更する

ブロックの内容を変更すると、原則として、配信による効果数値に影響が出るとお考えください。
変更内容がユーザーの行動や反応に影響を与える可能性があるためです。

1-4. 対象ユーザーを変更する

配信する対象ユーザーを途中で変更(追加、除外)すると、配信による効果数値に影響が出るとお考えください。

2. 影響が出る可能性がある変更

2-1. 施策の優先度を変更する

施策の優先度は、プロジェクト全体でアクティブなすべての施策に対して一意の値が設定されます。
優先度は、同じページURLの同じ場所(要素)に対して、異なる施策で設定されたブロックがある場合、どのブロックをユーザーに表示するかを決定する情報です。
そのため、たとえば、ある施策の優先度を下げた場合、以下のような影響が発生する可能性があります。

  • 優先度を下げた施策のブロックが表示されなくなる
  • 優先度が上がった他の施策のブロックが表示されるようになる

優先度の変更は、他の施策の配信にも影響が出る可能性があるため、事前に確認するようにしましょう。
ブロックブラウザでは、優先度の変更を行う際に、ページに配信されるブロックがどのような組み合わせになるか、事前に検証・確認することができます。

参考1: 施策の優先度を変更する
参考2: ブロックブラウザ

代替手段

冒頭に記載の注意点・リスクを踏まえても、公開中の施策を変更したい場合には、以下のような代替手段をご検討ください。

代替手段1. (推奨)公開中の施策をもとに新しい施策を作成して切り替える

公開中の施策をそのまま変更するのではなく、別の施策を作って新たに運用する方法です。
この場合、設定変更前後で配信効果数値を切り分けて見ることができます。
手順

  1. 公開中の施策を複製し、公開する
    • 適宜設定内容を変更してください。
  2. 複製元の施策を停止・アーカイブする
ご注意ください

新たに施策を運用するため、パターンの割り振りは再度行われます。

代替手段2. 設定変更タイミングを記録し、効果集計期間を区切って確認する

施策の説明欄などに、施策の設定変更タイミングを記録しておき、効果を確認するときに変更タイミング前後で効果集計期間を分けて確認する方法です。
記録の手間は発生しますが、施策数をできる限り抑えたい方はこちらもご検討ください。