メインコンテンツへスキップ
見出し画像

【IT】Rails導入から最小CRUDまで(2)〜CSV取り込みで“文字数とバイト数”の違いを可視化する

    皆さん、こんにちは
    前回に引き続き、
    Rails思い出し講座の第2回です。

    前回の記事



    🌜 UIとCSVで起きる「ズレ」をログで再現する(ゼロ幅スペース除外版)

    「画面から登録すると通るのに、CSVから入れるとエラー」
    「同じ255文字なのに、DBではオーバーになる」

    RailsやPostgreSQLでよくある“文字数制限のズレ”を、
    今回はログを使って数値で可視化していきます。

    ※この記事では、ゼロ幅スペース(U+200B)は扱いません。
    通常のエディタでは入力できないため、
    かわりに 絵文字や合成文字 を使って“bytesが増える現象”を再現します。
    (除去処理は次回の `Normalizer` に残します)


    🧭 ゴール

    • CSVを読み込み、1行ずつ「文字数(chars)」と「バイト数(bytes)」をログ出力

    • UIとCSVで起きる違いを自分の手で再現する

    • “ズレ”が起こるメカニズムを理解する


    1️⃣ Ruby 3.4以降は「csv」をGemで追加

    以下のコマンドでCSVのモジュールを追加します。

    bundle add csv
    bundle install

    2️⃣ CSV取り込み機能を作る

    Railsらしく「サービスオブジェクト」として切り出します。

    ファイルを作成

    `app/services/csv_importer.rb`

    require "csv"
    
    class CsvImporter
      # fast: true にするとバリデーションをスキップ(insert_all)
      def self.import!(io, fast: false)
        csv = CSV.new(io, headers: true, return_headers: false, encoding: "bom|utf-8")
    
        csv.each do |row|
          value = row["introduce"].to_s
    
          # 👇 診断ログ:chars / bytes を比較して出力
          Rails.logger.info(
            event:  "csv_precheck",
            name:   row["name"],
            chars:  value.length,
            bytes:  value.bytesize,
            sample: value[0, 40]
          )
    
          shop = Shop.new(
            name:      row["name"],
            introduce: value,
            enabled:   row["enabled"].to_s == "true"
          )
    
          if fast
            # バリデーションを飛ばして一括登録
            Shop.insert_all!([shop.attributes.except("id", "created_at", "updated_at")])
          else
            shop.save!
          end
        end
      end
    end

    3️⃣ RakeタスクでCLIから実行

    Rakeタスクの定義ファイルを作成します。

    `lib/tasks/csv.rake`

    namespace :csv do
      desc "Import shops from CSV (FILE=path/to.csv FAST=1 to skip validations)"
      task import: :environment do
        path = ENV["FILE"] or abort "FILE=path/to.csv を指定してください"
        fast = ENV["FAST"] == "1"
        File.open(path, "r:bom|utf-8") { |io| CsvImporter.import!(io, fast: fast) }
      end
    end

    🔧 補足
    今回は例として `lib/tasks/csv.rake` を手動で作成しましたが、
    以下のコマンドを使うと、タスクファイルを自動生成できます(推奨):
    「bin/rails g task csv」
    生成後は内容を上記コードに書き換えて使ってください。


    4️⃣ サンプルCSVを用意する(絵文字・合成文字で再現)

    プロジェクト直下に `shops.csv` を作成:

    name,introduce,enabled
    喫茶ミル,全角のテキストをたくさん入れてテストします。,true
    照明堂,🍣🍣🍣 テスト,false
    合成堂,がぎ゙ぐ゙げ゙ご゙ の正規化テスト,true

    補足:

    • 🍣:絵文字 → 1文字=4バイト

    • 「が」:合成文字 → 表記は1文字でも内部的には2文字

    このように、見た目が同じでも内部バイト数が違うデータを使うことで
    “ズレ”を安全に再現できます。


    5️⃣ 実行してログを観察

    まずログを追尾

    tail -F log/development.log | grep -E "csv_precheck|bytes|chars"

    そのあとにインポート実行

    bin/spring stop
    RAILS_ENV=development bin/rails csv:import FILE=./shops.csv

    ログ出力例

    I, [2025-10-20T15:05:00.123456 #12345 ]  INFO -- : 
      {:event=>"csv_precheck", :name=>"喫茶ミル", :chars=>19, :bytes=>57}
    I, [2025-10-20T15:05:00.123789 #12345 ]  INFO -- : 
      {:event=>"csv_precheck", :name=>"照明堂", :chars=>6, :bytes=>22}
    I, [2025-10-20T15:05:00.124001 #12345 ]  INFO -- : 
      {:event=>"csv_precheck", :name=>"合成堂", :chars=>13, :bytes=>16}

    chars は“見た目の文字数”、bytes は“実際にDBに格納される容量”。
    日本語(UTF-8)は1文字=3バイト、
    絵文字は4バイト、合成文字は複数コードで1文字扱いになります。


    6️⃣ “ズレ”が生まれる3つの原因

    画像

    ※ゼロ幅スペース(U+200B)は、通常のエディタでは入力できないため今回は除外。
    ただし次回(第3回)のNormalizerでは、除去対象として組み込みます。


    7️⃣ しっぽを掴む:Railsログの活用法

    Railsのログは「何が、どの値で」動いたかを掴む強力な武器。
    確認時の基本コマンドは以下:

    # ログを追尾
    tail -F log/development.log
    
    # 条件付きで見る(grep)
    tail -F log/development.log | grep -E "csv_precheck|bytes|chars"
    
    # 過去分を一括確認
    grep -nE "csv_precheck" log/development.log

    `-F` はログローテーション対応。
    `rg` を使う場合は `rg --line-buffered` を忘れずに。


    8️⃣ “ズレ”の見分け方まとめ

    画像

    9️⃣ 次回予告

    次回は――
    「ズレを直す:正規化+bytes検証+DB制約の三段構え」。

    • UIもCSVも同じクリーニング処理(`Normalizer`)で統一

    • bytes単位のバリデーションでDBに揃える

    • PostgreSQLのCHECK制約で最終防衛線を張る


    💡まとめ

    • `bundle add csv` が必要

    • Excel由来CSVは `encoding: "bom|utf-8"` で安定

    • 絵文字・合成文字でもbytes > charsになる

    • ゼロ幅スペースは通常エディタでは扱わないが、除去処理には入れておく


     では
    また


    過去の記事


     
     
    インフラエンジニアとして実務メモを、 写真作家として写真物語を、 童話作家として物語を書いています。 写真作品は、ポートフォリオサイトとしてまとめていく予定です。

    あなたへのおすすめ