既存データテーブルの一部のレコードを差分更新したい場合は、次の手順を参考に更新用のジョブフローを設定してください。

差分更新の設定手順サンプル

以下のようなケースを想定し、差分更新の設定手順例を説明します。

  • 想定ケース

    • 差分データが格納されたcsvファイルがストレージに日次で設置される

    • それをジョブフローで取り込み、データテーブル内のマスタテーブルを差分更新する

1. 「マスタテーブル」と「tempテーブル」を作成

  • 最新のデータを管理するための「マスタテーブル」を作成します

  • 「マスタテーブル」とは別に、差分データを一時的に格納するための「tempテーブル」を作成します

2. 「マスタテーブル」と「tempテーブル」をJOINするデータ更新用クエリを作成

  • 以下を満たすクエリを作成します

    • 「マスタテーブル」の更新対象レコードを消し込み

    • 「tempテーブル」のレコードをUNION

  • クエリのサンプルは後述

3. ジョブフローを作成

  • 以下のジョブを含むジョブフローを作成します

    • ジョブ1: 「tempテーブル更新用」

      • ストレージ上のcsvファイルの内容を使って、「tempテーブル」を「置き換え」で更新する

    • ジョブ2: 「マスタテーブル更新用」

      • 2で作成したクエリの結果を使って、「マスタテーブル」を「置き換え」で更新する

差分更新クエリサンプル

上記の手順2で使用するクエリのサンプルです。

  • 前提

    • 商品マスタを差分更新するためのクエリサンプルです

    • ストレージ上のcsvファイルに含まれるカラムは下記です

      • item_id（主キー）

      • name

      • image

      • url

    • 更新日を後から追いやすくするために、クエリ内でupdated_atというカラムを追加しています

  • 注意点

    • 使用する場合は、テーブル名やカラム名を実際のものに書き換えてください

WITH current_master AS ( -- 既存マスタデータ
  SELECT
    item_id -- 以下、実際のカラム名を指定してください
    , ANY_VALUE(name) AS name -- 以下、万が一重複レコードが混入したケースを考慮
    , ANY_VALUE(image) AS image
    , ANY_VALUE(url) AS url
    , ANY_VALUE(updated_at) AS updated_at
  FROM `prd-karte-per-client.master_dataset.item_master` -- 実際のマスタテーブル名を指定してください
  WHERE NOT item_id IS NULL
  GROUP BY item_id
)
, new_data AS ( -- 変更対象のレコード
  SELECT
    item_id -- 以下、実際のカラム名を指定してください
    , name
    , image
    , url
    , CURRENT_TIMESTAMP() AS updated_at
  FROM `prd-karte-per-client.master_dataset.item_master_temp` -- 実際の一時テーブル名を指定してください
  WHERE NOT item_id IS NULL
)
, non_updated_master AS ( -- 変更対象ではない既存マスタデータのレコード
  SELECT
    a.item_id -- 以下、実際のカラム名を指定してください
    , a.name
    , a.image
    , a.url
    , a.updated_at
  FROM current_master AS a
  LEFT OUTER JOIN new_data AS b
  ON a.item_id = b.item_id
  WHERE b.item_id IS NULL
)

SELECT * FROM non_updated_master
UNION DISTINCT
SELECT * FROM new_data