BigQueryをCLIでいじる
bqコマンド:BigQueryを操作するためのコマンドラインツール
Cloud Shellを使用することでローカルにSDK入れなくても使うことができる。
gsutil:Google Cloud Storageを操作するためのコマンドラインツール
Google Cloud Storageにあるファイルを、BigQueryにアップロードしたい場合、 Cloud Shell上でbqコマンドを使用してgsutilコマンドを使用し、GOogle Cloud Storage上のファイルをアップロードする。
bq mk
でBigQueryにデータセット作れる。optionはたくさんある。
bq load
でスキーマ指定してcsvデータ流し込める。
GCSのcsvを流し込みたい場合、gsutil cp
でCloud Shellのローカルにschema.jsonを持ってきて、bq load
でスキーマ定義が指定されたテーブル作成して、データも一緒に流し込める。