KARTE管理画面や外部ストレージサービス（S3、GCSなど）からファイルをインポートすることで、データテーブルを新規作成したり、データを追加/更新したりすることができます。

ファイルのフォーマット

Datahubにインポートするファイルは、以下のフォーマットに準拠した形で作成してください。

ファイル名

  • ファイル名として利用できる文字であれば、英数字記号の他に、日本語も利用可能です

文字エンコーディング

  • BOM無しUTF-8

改行コード

  • 以下に対応しています

    • LF

    • CRLF

区切り文字

  • 以下に対応しています

    • カンマ(,)

    • タブ文字

    • パイプ(|)

  • 区切り文字の前に ¥ や \ でエスケープされている場合、インポートに失敗する可能性があります。

囲み文字

  • ダブルクォート(")を囲み文字として利用できます

    • 値に区切り文字が含まれる場合などにご利用ください

    • 例: "0001"

  • ダブルクォート(")自体を出力する場合は、ダブルクォート2つでエスケープしてください

    • 例1

      • エスケープ前: "I said "yes"."

      • エスケープ後: "I said ""yes""."

    • 例2

      • エスケープ前: "{"name": "foo", "age": 42}"

      • エスケープ後: "{""name"": ""foo"", ""age"": 42}"

  • 囲み文字のあるカラムと無いカラムが混在していても問題ありません

    • 例: foo,2000,"2,000"

ヘッダ行

  • ヘッダ行は基本的に必須です

  • 各カラム名を区切り文字で区切って指定してください

  • 各カラム名には、英字（a ～ z、A ～ Z）、数字（0 ～ 9）、アンダースコア（_）を使用できます。列名の先頭は英字またはアンダースコアにする必要があります。

ファイルの内容

文字列、数値などのデータ

  • 値をそのまま出力してください

日時を表すデータ

  • インポート後のBiqQueryデータ型に対応する正規形式で出力してください

日時を表すデータの正規形式の例

データ型出力例
DATE型`2018-01-01`
DATETIME型`2018-01-01 12:34:00`
TIME型`12:34:00`
TIMESTAMP型`2018-01-01 12:34:00`

CSV形式の場合のサンプル（一例）

一例として、以下のようなデータ型のデータテーブルの作成について、CSV形式でファイルを作成する場合のCSVサンプルを示します。

  • user_id: STRING

  • birth_date: DATE

  • cv_count: INT64

  • register_flag: BOOL

user_id,birth_date,cv_count,register_flag
a0001,1990-06-28,42,TRUE
a0002,1991-02-23,0,FALSE