メインコンテンツへスキップ
見出し画像

【IT】【備忘録】ヘッダー付きCSVを安全に分割する方法

    〜実務で使える bash スクリプトを段階的に解説〜


    皆さま、こんにちは

    今回は、CSVファイルの分割でのスクリプトの備忘録を記載します。



    はじめに

    CSVファイルを扱う仕事をしていると、
    こんな依頼が来ることがあります。

    • 「このCSV、行数が多いので分割してください」

    • 「1000行ずつでお願いします」

    • 「でも ヘッダー(1行目)は各ファイルに残してください」

    • 「手作業ではなく、スクリプトで再現できる形で」

    一見すると単純そうですが、
    実際にやってみると 落とし穴がいくつかあります。

    この記事では、

    • Linux(GNU coreutils)

    • macOS(BSD)

    どちらの環境でも動くことを前提に、
    CSVを ヘッダー付きで安全に分割する方法を
    段階を追って説明します。


    この記事でやること(ゴール)

    入力

    • `aaaa.csv`

    • 1行目がヘッダー

    • 2行目以降がデータ

    出力

    • `aaaa_01.csv`

    • `aaaa_02.csv`

    • `aaaa_03.csv`

    • …

    条件

    • データ行を 1000行ずつ

    • 各ファイルの 先頭にヘッダーを付ける

    • 入力ファイル名は 引数で指定

    • Linux / macOS 両対応

    • 失敗時は、止まる


    ステップ0:よくある「危ない分割」

    まず、ありがちな例です。

    split -l 1000 aaaa.csv

    確かに1000行ずつ分割されますが、実務では問題があります。

    • ヘッダーは最初のファイルにしか入らない

    • ファイル名が `xaa` `xab` のようになり分かりにくい

    • 入力ミスや途中失敗があっても処理が進む

    **「CSVとして正しく」「人に渡せる形」**にはなりません。


    ステップ1:ヘッダーとデータを分けて考える

    CSVの1行目は 定義情報(ヘッダー) です。
    2行目以降は データ。

    まずはここを分けます。

    ヘッダー(1行目)

    head -n 1 aaaa.csv

    データ部(2行目以降)

    tail -n +2 aaaa.csv

    この考え方が、この記事全体の基本になります。


    ステップ2:データ部だけを分割する

    次に、データ部だけを10行ずつ分割します。

    ここで 重要な注意点 があります。

    Linux と macOS の違い

    • Linux:GNU split
      → `--additional-suffix` が使える

    • macOS:BSD split
      → 使えない

    そのため、両対応にするには
    拡張子は後で付ける方法を取ります。

    両対応の安全な分割方法

    tail -n +2 aaaa.csv | split -l 1000 -d -a 2 - tmp_

    オプションの意味:

    • `-l 1000`:1000行ずつ

    • `-d`:数字の連番(00, 01, 02…)

    • `-a 2`:2桁

    • `-`:標準入力を使う

    • `tmp_`:一時ファイルの接頭辞

    この時点で生成されるのは:

    • `tmp_00`

    • `tmp_01`

    • `tmp_02`

    ※ まだヘッダーも拡張子も付いていません


    ステップ3:分割ファイルにヘッダーを付ける

    次に、ヘッダーを各ファイルの先頭に付けます。

    ヘッダーを変数に入れる

    header="$(head -n 1 aaaa.csv)"

    ヘッダー+データを結合する

    i=1
    for f in tmp_*; do
      printf -v n "%02d" "$i"
      {
        printf '%s\n' "$header"
        cat "$f"
      } > "aaaa_${n}.csv"
      ((i++))
    done

    これで、

    • `aaaa_01.csv`

    • `aaaa_02.csv`

    のような、分かりやすいファイルができます。


    ステップ4:一時ファイルを後片付けする

    一時ファイルは残さない方が安全です。

    rm -f "$f"

    ループ内で消すことで、
    作業ディレクトリが散らかりません。


    ステップ5:入力ファイルを引数で指定できるようにする

    毎回 `aaaa.csv` を書き換えるのは面倒なので、
    引数で指定できるようにします。

    さらに、

    • 引数が無い

    • ファイルが存在しない

    • 拡張子が無い

    といったケースもチェックします。


    完成形:Linux / macOS 両対応スクリプト

    split_csv.sh

    
    #!/usr/bin/env bash
    set -euo pipefail
    
    ## 変数(データ行を何行ごとに分割するか)
    split_line=5
    
    # 引数チェック
    if [ "$#" -ne 1 ]; then
      echo "使い方: $0 input_file" >&2
      exit 1
    fi
    
    in="$1"
    
    if [ ! -f "$in" ]; then
      echo "エラー: ファイルが存在しません: $in" >&2
      exit 1
    fi
    
    # split_line が正の整数かチェック(任意だが安全)
    if ! [[ "$split_line" =~ ^[1-9][0-9]*$ ]]; then
      echo "エラー: split_line は正の整数にしてください: $split_line" >&2
      exit 1
    fi
    
    # ベース名と拡張子を分離
    base="${in%.*}"
    ext="${in##*.}"
    
    if [ "$base" = "$ext" ]; then
      echo "エラー: 拡張子のないファイルは対象外です" >&2
      exit 1
    fi
    
    # ヘッダー取得
    header="$(head -n 1 "$in")"
    
    # 一時ファイルprefix(衝突防止でPIDを入れる)
    tmp_prefix="tmp_${$}_"
    
    # データ部を分割(GNU / BSD 両対応)
    tail -n +2 "$in" | split -l "$split_line" -d -a 2 - "$tmp_prefix"
    
    # tmp が無い(=ヘッダーしかない)場合のため
    shopt -s nullglob
    
    # ヘッダーを付けて正式ファイル名で出力
    i=1
    for f in "${tmp_prefix}"*; do
      printf -v n "%02d" "$i"
      {
        printf '%s\n' "$header"
        cat "$f"
      } > "${base}_${n}.${ext}"
      rm -f "$f"
      ((i++))
    done
    
    # ヘッダーだけでデータが無い場合、何も出力されないのでメッセージ(任意)
    if [ "$i" -eq 1 ]; then
      echo "注意: データ行がありません(ヘッダーのみ): $in" >&2
    fi
    

    実行例

    ./split_csv.sh aaaa.csv

    `set -euo pipefail` を入れている理由

    この一行は 安全運用のための保険です。

    set -euo pipefail

    `set -e`

    途中でコマンドが失敗したら、
    その場でスクリプトを止める

    → 壊れた入力で壊れた出力を作らない

    `set -u`

    未定義の変数を使ったらエラー

    → 変数ミスによる暴走防止

    `set -o pipefail`

    パイプの途中で失敗しても失敗扱い

    →

    tail | split

    のような処理で、
    「途中失敗を見逃さない」ために重要


    注意:この方法が使えないCSV

    この方法は、

    1行 = 1レコード

    が前提です。

    • セル内に改行を含むCSV(住所・自由記述など)

    の場合、行ベース分割では壊れます。
    その場合は Python の csv モジュールなどで
    レコード単位に分割
    する必要があります。


    まとめ

    CSVの分割は、
    「split 一発」で終わらせることもできます。

    でも、

    • ヘッダーを守る

    • 人に渡せる形式にする

    • Linux / macOS 両対応にする

    • 失敗時は、止まる


    では
    また!


    過去の記事



     
     
    インフラエンジニアとして実務メモを、 写真作家として写真物語を、 童話作家として物語を書いています。 写真作品は、ポートフォリオサイトとしてまとめていく予定です。

    あなたへのおすすめ