BigQueryをCLIでいじる

bqコマンド:BigQueryを操作するためのコマンドラインツール

Cloud Shellを使用することでローカルにSDK入れなくても使うことができる。

gsutil:Google Cloud Storageを操作するためのコマンドラインツール

Google Cloud Storageにあるファイルを、BigQueryにアップロードしたい場合、 Cloud Shell上でbqコマンドを使用してgsutilコマンドを使用し、GOogle Cloud Storage上のファイルをアップロードする。

bq mkでBigQueryにデータセット作れる。optionはたくさんある。

bq loadでスキーマ指定してcsvデータ流し込める。 GCSのcsvを流し込みたい場合、gsutil cpでCloud Shellのローカルにschema.jsonを持ってきて、bq loadでスキーマ定義が指定されたテーブル作成して、データも一緒に流し込める。