本機能は現在β版提供のため、今後仕様が変更される場合があります。
ETLツール「trocco(トロッコ)」と双方向のデータ連携が可能です。
データ連携のパターン
以下の連携が可能です
Datahubのデータをtroccoを介して外部サービスへ転送
外部のデータをtroccoを介してDatahubへ転送
注意点
連携サービス側の設定やプランによっては、意図した通りに連携できない可能性があります
必ず、事前に連携検証を実施してください
事前に必要な設定
DatahubとtroccoのデータのやりとりはGCSを介して実施するため以下の設定が必要なります。
払い出したGoogleサービスアカウントとGCSを利用してインポートする
「KARTEが払い出したGCSバケットを利用する」を参考に、KARTEが払い出したGCSバケット(以下「払い出しGCSバケット」と記す)に対するstorage.objectAdmin権限を保持したGoogleサービスアカウントの払い出しを受けます
払い出されたGoogleサービスアカウントのkeyfileを管理画面からダウンロードします
atahub設定] - -> oogleサービスアカウント] - -> oogle払い出しサービスアカウント]
ダウンロードしたkeyfileをtrocco側で設定します
Datahub ->troccoへのデータ転送
trocco側で払い出しGCSバケットを元にKARTE Datahubの接続情報を作成してください。
全件更新の場合
Datahub側
ジョブフローを用いて払い出しGCSバケットにデータ転送します
trocco側
KARTE Datahubから外部サービスにデータ転送する設定を行い、実施してください
差分更新の場合
troccoの差分転送機能を利用します。
Datahub側
ジョブフローを用いて払い出しGCSバケットにデータ転送します
trocco側
転送設定の転送元KARTE Datahubの設定で、転送方法を差分転送にしてください。初回はパスプレフィックスの設定に従い全件転送され、2回目より差分転送が実施されます。
外部サービスにて転送されたファイルと既存テーブルを用いて差分更新を実施してください
troccoの差分転送機能についてはこちら(外部サイト)をご覧ください。
trocco -> Datahubへのデータ転送
trocco側で払い出しGCSバケットを元にKARTE Datahubの接続情報を作成してください。
全件更新する場合
trocco側
外部サービスからKARTE Datahubにデータ転送する設定を行い、実行します
Datahub側
次の方法で、払い出しGCSバケットのデータを参照できるようにします
GCS上のファイルを、既存のデータテーブルに対してジョブフローでインポートする
差分更新する場合
trocco側
KARTE Datahubへデータ転送する際に、カスタム変数を用いて日付(%Y-%m-%d)付きのファイル名を設定してください
Datahub側
ジョブフロー設定の[ファイルパス]で日付を加えたファイル名(
{{YYYY}}-{{MM}}-{{DD}}_hogehoge.csv)を設定してくださいDatahub側では転送されたファイルと既存テーブルを用いて差分更新を行います
詳しい手順は「既存データテーブルの一部のレコードを差分更新することはできますか?」をご確認ください
差分更新の際、データ転送(吐き出しと取り込み)は同一日付内に実施してください。 日付が異なる場合データ転送が行えません。