2022.02.22 2022.12.13

Google Storage上のgzファイルを連結して１つにする方法（gsutil compose）

ycsg113XYZ

記事内に商品プロモーションを含む場合があります

gsutil composeでまとめる

bq extractなどによりGoogle Storage上に出力する際、以下のように複数のテーブルに分かれる場合があります。

gs://mybucket/myfile_00000001.csv.gz

gs://mybucket/myfile_00000002.csv.gz

gs://mybucket/myfile_00000003.csv.gz

Linuxのローカルディスクを使用する事なく、このファイルを１つにするコマンドがあります。linuxのディスク上に存在する場合はcatを使って連結できますが、同様にgs上のファイルを１つに出来ます。

以下はmyfile_*.csv.gzたちをまとめてmyfile_matome.csv.gzに１ファイルにします。

gsutil compose gs://mybucket/myfile_*.csv.gz gs://mybucket/myfile_matome

ただし、まとめられるファイル数に制限があります。

このコマンドでまとめられるファイル数は、３２個までです。

ABOUT ME