BigQueryを使う(4) : クラウドストレージからの挿入

BigQueryのFile Uploadで容量が多くてアップロードできないデータをGoogle Cloud Storageからアップロードする方法です。
http://mizunolab.sist.ac.jp/2018/07/bigquery1.html
で書きましたが、仕様が変わったので再度書きます。

(1) Google Cloud Storageでのデータ共有
最初、データが非公開になっているので、右側のボタンから「権限の編集」をクリック

「項目を追加」し、ユーザ、allUsers、読み取りを追加する

そうすれば公開になります。

これからアドレスをコピーして利用します。

BigQueryを使う(3) BigQueryへ格納

前回JavaからBigQueryにアクセスし、テーブル情報を集計しました。当初その結果はMySQLに格納しましたが、集計情報もデータ数が多くMySQLから取り出すことが大変だったので、BigQueryにStreaming Insertを使って格納しました。

(1) テーブル作成関数
データ格納用のテーブルを作成しました。


(2) データ格納関数


全体
https://github.com/smzn/BigQuery
シンプル
https://github.com/smzn/BigQuery_Insert

Streamingはデータが入るまである程度時間がかかるので、データが格納されていなくても間違いではないので注意。