SFTP接続可能なサーバーと双方向のデータ連携が可能です。
データ連携のパターン
以下の連携が可能です
Datahubから直接インポートする
Datahubから直接エクスポートする
SFTP経由のデータインポートおよびエクスポートについては、パフォーマンスの関係で、以下のようにファイルサイズの制限があります。
- ファイルパスによるインポート...最大10GBまで (gzipの場合は圧縮後)
- プレフィクスによるインポート...各ファイル最大1GBまで
- エクスポート...クエリ結果のデータサイズが最大1GBまで
SFTPサーバーとの連携については、KARTE側IPアドレスがある範囲内で固定されます。 詳しくは、「固定IPアドレスから外部サービスと連携する」をご覧ください。
Datahubジョブ設定
接続先
ホスト
例:
127.0.0.1またはtransfer.hogehoge.com
ポート
デフォルトは
22
ユーザ名
パスワード
秘密鍵を使用しない場合は必須
パスフレーズ
暗号化された秘密鍵を復号するために使用するパスフレーズ
OpenSSH形式の認証を行う場合は必須
秘密鍵で認証を行う場合は必須
秘密鍵
OpenSSH形式の認証を行う場合は必須
秘密鍵で認証を行う場合は必須
Ed25519 形式は現在サポートしていません
OpenSSH形式の秘密鍵の例
-----BEGIN PRIVATE KEY----- AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE ZZZZZZZZZZZZZZZZZZZZZZ== -----END PRIVATE KEY-----
インポート
[ファイルの指定方法]
ファイルパスもしくはプレフィックスを指定します詳細は ジョブフローでファイルパスを動的に指定する を参照してください
[ファイルパス] / [プレフィックス]
[ファイルの指定方法] で指定した方法に合わせた値を入力します
[区切り文字]
入力ファイルの区切り文字を以下から選択します
カンマ
タブ
パイプ
[フォーマット]
入力ファイルのフォーマットを以下から選択します
CSV
デフォルト
JSON(改行区切り)
[スキーマ]
データテーブルへインポートの「スキーマ」をご覧ください
[スキーマ指定に失敗した場合、全て文字列として取り込む]
スキーマ指定に失敗した場合、全て文字列として取り込む際はチェックを入れてください
エクスポート
[ファイルパス]
完全一致で指定します
例:
foo/bar/baz.csv
ジョブフローでファイルパスを動的に指定するに対応しています
[出力形式]
出力ファイルの出力形式を以下から選択します
CSV
デフォルト
JSON(改行区切り)
[ヘッダー行を出力する]
出力ファイルにヘッダー行を出力する場合はチェックを入れてください
[ファイル圧縮]
出力ファイルの圧縮有無を以下から選択します
圧縮なし
デフォルト
gzip
エクスポートされるファイルの形式
2022年7月現在、デフォルトでは次のような形式のファイルが出力されます。
文字コード
BOM無しUTF-8
改行コード
LF
囲み文字
無し