
【IT】【備忘録】ヘッダー付きCSVを安全に分割する方法
〜実務で使える bash スクリプトを段階的に解説〜
皆さま、こんにちは
今回は、CSVファイルの分割でのスクリプトの備忘録を記載します。
はじめに
CSVファイルを扱う仕事をしていると、
こんな依頼が来ることがあります。
「このCSV、行数が多いので分割してください」
「1000行ずつでお願いします」
「でも ヘッダー(1行目)は各ファイルに残してください」
「手作業ではなく、スクリプトで再現できる形で」
一見すると単純そうですが、
実際にやってみると 落とし穴がいくつかあります。
この記事では、
Linux(GNU coreutils)
macOS(BSD)
どちらの環境でも動くことを前提に、
CSVを ヘッダー付きで安全に分割する方法を
段階を追って説明します。
この記事でやること(ゴール)
入力
`aaaa.csv`
1行目がヘッダー
2行目以降がデータ
出力
`aaaa_01.csv`
`aaaa_02.csv`
`aaaa_03.csv`
…
条件
データ行を 1000行ずつ
各ファイルの 先頭にヘッダーを付ける
入力ファイル名は 引数で指定
Linux / macOS 両対応
失敗時は、止まる
ステップ0:よくある「危ない分割」
まず、ありがちな例です。
split -l 1000 aaaa.csv確かに1000行ずつ分割されますが、実務では問題があります。
ヘッダーは最初のファイルにしか入らない
ファイル名が `xaa` `xab` のようになり分かりにくい
入力ミスや途中失敗があっても処理が進む
**「CSVとして正しく」「人に渡せる形」**にはなりません。
ステップ1:ヘッダーとデータを分けて考える
CSVの1行目は 定義情報(ヘッダー) です。
2行目以降は データ。
まずはここを分けます。
ヘッダー(1行目)
head -n 1 aaaa.csvデータ部(2行目以降)
tail -n +2 aaaa.csvこの考え方が、この記事全体の基本になります。
ステップ2:データ部だけを分割する
次に、データ部だけを10行ずつ分割します。
ここで 重要な注意点 があります。
Linux と macOS の違い
Linux:GNU split
→ `--additional-suffix` が使えるmacOS:BSD split
→ 使えない
そのため、両対応にするには
拡張子は後で付ける方法を取ります。
両対応の安全な分割方法
tail -n +2 aaaa.csv | split -l 1000 -d -a 2 - tmp_オプションの意味:
`-l 1000`:1000行ずつ
`-d`:数字の連番(00, 01, 02…)
`-a 2`:2桁
`-`:標準入力を使う
`tmp_`:一時ファイルの接頭辞
この時点で生成されるのは:
`tmp_00`
`tmp_01`
`tmp_02`
※ まだヘッダーも拡張子も付いていません
ステップ3:分割ファイルにヘッダーを付ける
次に、ヘッダーを各ファイルの先頭に付けます。
ヘッダーを変数に入れる
header="$(head -n 1 aaaa.csv)"ヘッダー+データを結合する
i=1
for f in tmp_*; do
printf -v n "%02d" "$i"
{
printf '%s\n' "$header"
cat "$f"
} > "aaaa_${n}.csv"
((i++))
doneこれで、
`aaaa_01.csv`
`aaaa_02.csv`
のような、分かりやすいファイルができます。
ステップ4:一時ファイルを後片付けする
一時ファイルは残さない方が安全です。
rm -f "$f"ループ内で消すことで、
作業ディレクトリが散らかりません。
ステップ5:入力ファイルを引数で指定できるようにする
毎回 `aaaa.csv` を書き換えるのは面倒なので、
引数で指定できるようにします。
さらに、
引数が無い
ファイルが存在しない
拡張子が無い
といったケースもチェックします。
完成形:Linux / macOS 両対応スクリプト
split_csv.sh
#!/usr/bin/env bash
set -euo pipefail
## 変数(データ行を何行ごとに分割するか)
split_line=5
# 引数チェック
if [ "$#" -ne 1 ]; then
echo "使い方: $0 input_file" >&2
exit 1
fi
in="$1"
if [ ! -f "$in" ]; then
echo "エラー: ファイルが存在しません: $in" >&2
exit 1
fi
# split_line が正の整数かチェック(任意だが安全)
if ! [[ "$split_line" =~ ^[1-9][0-9]*$ ]]; then
echo "エラー: split_line は正の整数にしてください: $split_line" >&2
exit 1
fi
# ベース名と拡張子を分離
base="${in%.*}"
ext="${in##*.}"
if [ "$base" = "$ext" ]; then
echo "エラー: 拡張子のないファイルは対象外です" >&2
exit 1
fi
# ヘッダー取得
header="$(head -n 1 "$in")"
# 一時ファイルprefix(衝突防止でPIDを入れる)
tmp_prefix="tmp_${$}_"
# データ部を分割(GNU / BSD 両対応)
tail -n +2 "$in" | split -l "$split_line" -d -a 2 - "$tmp_prefix"
# tmp が無い(=ヘッダーしかない)場合のため
shopt -s nullglob
# ヘッダーを付けて正式ファイル名で出力
i=1
for f in "${tmp_prefix}"*; do
printf -v n "%02d" "$i"
{
printf '%s\n' "$header"
cat "$f"
} > "${base}_${n}.${ext}"
rm -f "$f"
((i++))
done
# ヘッダーだけでデータが無い場合、何も出力されないのでメッセージ(任意)
if [ "$i" -eq 1 ]; then
echo "注意: データ行がありません(ヘッダーのみ): $in" >&2
fi
実行例
./split_csv.sh aaaa.csv`set -euo pipefail` を入れている理由
この一行は 安全運用のための保険です。
set -euo pipefail`set -e`
途中でコマンドが失敗したら、
その場でスクリプトを止める
→ 壊れた入力で壊れた出力を作らない
`set -u`
未定義の変数を使ったらエラー
→ 変数ミスによる暴走防止
`set -o pipefail`
パイプの途中で失敗しても失敗扱い
→
tail | splitのような処理で、
「途中失敗を見逃さない」ために重要
注意:この方法が使えないCSV
この方法は、
1行 = 1レコード
が前提です。
セル内に改行を含むCSV(住所・自由記述など)
の場合、行ベース分割では壊れます。
その場合は Python の csv モジュールなどで
レコード単位に分割する必要があります。
まとめ
CSVの分割は、
「split 一発」で終わらせることもできます。
でも、
ヘッダーを守る
人に渡せる形式にする
Linux / macOS 両対応にする
失敗時は、止まる
では
また!