メインコンテンツへスキップ
見出し画像

日本語の文字コード――JIS・シフトJIS・EUCとUnicodeを整理する

    文字コードには、文字の一覧や番号を決める話と、それをバイト列として保存する話があります。 名前を丸暗記する前に、どちらの話なのかを整理します。

    文字集合・符号化文字集合・符号化方式

    文字集合の意味: 扱う文字の集まりです。 符号化文字集合の意味: 文字に番号などの符号を対応付けたものです。 符号化方式の意味: それらを、処理や交換に用いるバイト列などへ表すための決まりです。 ざっくり言うと: 「何を扱うか」「何番か」「どう並べて保存するか」を分けます。 用途: テキストの保存・送受信・変換に必要です。 問題での見方: 同じ文字集合を利用しても、バイト列の表し方が同じとは限りません。

    JIS:日本語の文字の対応を定める規格

    JIS X 0208などは、日本語の漢字・仮名などを扱う符号化文字集合の規格です。 ざっくり言うと: 日本語の文字を整理し、区点などの位置と対応付ける規格です。 「JISコード」という言葉は文脈によって使い方が広く、交換時の符号化を含めて指す場合もあります。 問題での見方: JISの文字集合の話と、シフトJISなどのバイト列の話を混同しないことです。

    シフトJISとEUC-JP

    シフトJISの意味: 日本語の文字を1バイトや2バイトの符号で扱う符号化方式です。 ざっくり言うと: 英数字などと日本語を、決められたバイトの範囲で表し分けます。 Windowsで使われるCP932などには拡張があるため、シフトJISと完全に同一と決め付けないようにします。

    EUC-JPの意味: EUCの考え方に基づく日本語の符号化方式です。 ざっくり言うと: 日本語を表すための、シフトJISとは異なるバイトの並べ方です。 1・2・3バイトの並びを使う場合があり、「すべて2バイト」ではありません。

    用途: 既存の文書・システムの文字情報を読み書きしたり、別の方式へ変換したりする際に出てきます。 問題での見方: 符号化方式が違えば、同じ文字でもバイト列が変わります。どちらが新しいかだけで正誤を判断しません。

    Unicode・UCSとUTF

    Unicodeと、ISO/IEC 10646のUCSは、世界の文字を扱うための体系で、文字の符号位置を整合させて発展しています。 ざっくり言うと: 言語ごとに別々だった文字の扱いを、共通の枠組みで扱うためのものです。 その符号位置をバイト列などで表す方式として、UTF-8・UTF-16・UTF-32があります。

    UTF-8はスカラー値当たり1〜4バイトです。 UTF-16は16ビットの単位を1個または2個使い、UTF-32は32ビットを使います。 画面上で一文字に見えても、複数の符号位置の組合せである場合があります。 問題での見方: 「Unicodeだから一文字2バイト」とは考えず、方式と数える単位を確認します。

    文字化けと変換時の注意

    同じバイト列を違う文字コードで解釈すると、意図しない文字になる場合があります。 また、変換先に対応する文字がなければ、別の記号へ置き換わるなど、元の文字を失う場合もあります。 設定名を変えるだけの「読取り方の変更」と、実際のバイト列を作り直す「変換」は別です。

    確認問題【オリジナル】

    文字データの説明として適切なものはどれでしょうか。

    • ア:Unicodeで扱う文字は、どのUTFでも必ず2バイトになる。

    • イ:同じ文字でも、符号化方式によって保存するバイト列が異なることがある。

    • ウ:文字コードの設定名を変えれば、ファイルのバイト列も必ず変換される。

    • エ:EUC-JPではすべての文字が必ず2バイトになる。

    正解と理由

    正解はイです。 文字と、保存時のバイト列を区別します。 アはUTFごとの表現や可変長を無視しています。ウは解釈の変更と変換の混同です。エは1バイトなどの表現を無視しています。

    参考資料

    Unicode Consortium『Character Encoding Model』 https://www.unicode.org/reports/tr17/tr17-3.3.html IANA『Character Sets』 https://www.iana.org/assignments/character-sets

    問題・解説はオリジナルです。公開過去問の出題頻度は未集計です。

    前の記事:文字コードとUTF-8――「文字数」と「バイト数」は別のもの

    次の記事:画像と音声のデータ量――何を掛ければ容量になる?

    学習ノートの目次に戻る

    この記事が参加している募集

     
     
    ITの知識ゼロから、基本情報技術者試験の勉強を始めました📚 わからなかった言葉や問題を、自分の言葉でまとめる備忘録です。 基礎からコツコツ学んで、いつかは応用情報にも挑戦したいです! 一緒に学んでいただけたらうれしいです🌱

    あなたへのおすすめ