ご注意ください

ジョブフローでファイルパスを動的に指定する により詳細な利用方法が記載されています。

外部ストレージ上のプレフィックスを指定する場合、連携先サービスや連携パターンによっては、次のような動的プレフィックス指定に対応している場合があります。

対応している主な連携パターン

  • GCSバケットからのインポート/エクスポート

  • AWS S3バケットからのインポート/エクスポート

  • Azure Blobコンテナからのインポート/エクスポート

  • SFTPサーバーからのインポート/エクスポート

ジョブ実行日時を使った指定

  • ファイルパスに日時を付与したい場合、下記の記法を用いることで出力日次に変換されたプレフィックスを指定可能です

    • {{YYYY}}: 4桁の西暦

    • {{MM}}: 2桁の月

    • {{DD}}: 2桁の日

    • {{HH}}: 2桁の時

    • 日付指定の例: foo/{{YYYY}}{{MM}}/{{DD}}/baz{{HH}}.csv

  • {{YYYYMMDD}}や{{YYYY-MM-DD}}も利用可能です

  • デフォルトではJSTで変換されますが、{{YYYYMMDD, UTC}} のようにタイムゾーンを指定できます

プレフィックス指定の具体例

以下の様なプレフィックスを指定した場合、どの様な動作になるかを説明します。

  • 外部ストレージ上のファイルパスとして、 foo/bar/{{YYYY}}_{{MM}}_{{DD}}/hoge.csv を指定

  • 外部ファイルストレージに置かれているデータ

    • foo/bar/2025_01_01/hoge.csv

    • foo/bar/2025_01_01/fuga.csv

    • foo/bar/2025_01_02/hoge.csv

    • foo/bar/2025_01_02/fuga.csv

この場合、2025年1月1日のデータ連携時には処理対象のファイルは以下の様になります。

  • foo/bar/2025_01_01/hoge.csv のファイルが処理対象となる

  • 他のファイルは無視される

ファイル数上限

KARTE側では、1回のジョブ実行で取り込めるファイル数に明示的な上限は設けていません。
プレフィックスに合致する全てのファイルがインポート対象となります。
ただし、以下の点にご注意ください。

  • ジョブの実行時間上限: ジョブフローの実行時間が3時間を超えると、タイムアウトにより自動的に停止されます。ファイル数が多い場合や総データ量が大きい場合は、この上限に達する可能性があります

  • ファイルのヘッダ定義の統一: プレフィックス指定で複数ファイルをインポートする場合、全てのファイルのヘッダ（カラム構成）が一致している必要があります。ヘッダが異なるファイルが含まれていると、ジョブがエラーになります

  • 連携先別のデータインポート、およびデータエクスポート時の期待動作速度は こちら をご覧ください

ファイル数が多い場合の設計上のヒント

ファイル数や総データ量が多く、ジョブの実行時間が3時間を超える可能性がある場合は、以下の対策を検討してください。