
日本語の文字コード――JIS・シフトJIS・EUCとUnicodeを整理する
文字コードには、文字の一覧や番号を決める話と、それをバイト列として保存する話があります。 名前を丸暗記する前に、どちらの話なのかを整理します。
文字集合・符号化文字集合・符号化方式
文字集合の意味: 扱う文字の集まりです。 符号化文字集合の意味: 文字に番号などの符号を対応付けたものです。 符号化方式の意味: それらを、処理や交換に用いるバイト列などへ表すための決まりです。 ざっくり言うと: 「何を扱うか」「何番か」「どう並べて保存するか」を分けます。 用途: テキストの保存・送受信・変換に必要です。 問題での見方: 同じ文字集合を利用しても、バイト列の表し方が同じとは限りません。
JIS:日本語の文字の対応を定める規格
JIS X 0208などは、日本語の漢字・仮名などを扱う符号化文字集合の規格です。 ざっくり言うと: 日本語の文字を整理し、区点などの位置と対応付ける規格です。 「JISコード」という言葉は文脈によって使い方が広く、交換時の符号化を含めて指す場合もあります。 問題での見方: JISの文字集合の話と、シフトJISなどのバイト列の話を混同しないことです。
シフトJISとEUC-JP
シフトJISの意味: 日本語の文字を1バイトや2バイトの符号で扱う符号化方式です。 ざっくり言うと: 英数字などと日本語を、決められたバイトの範囲で表し分けます。 Windowsで使われるCP932などには拡張があるため、シフトJISと完全に同一と決め付けないようにします。
EUC-JPの意味: EUCの考え方に基づく日本語の符号化方式です。 ざっくり言うと: 日本語を表すための、シフトJISとは異なるバイトの並べ方です。 1・2・3バイトの並びを使う場合があり、「すべて2バイト」ではありません。
用途: 既存の文書・システムの文字情報を読み書きしたり、別の方式へ変換したりする際に出てきます。 問題での見方: 符号化方式が違えば、同じ文字でもバイト列が変わります。どちらが新しいかだけで正誤を判断しません。
Unicode・UCSとUTF
Unicodeと、ISO/IEC 10646のUCSは、世界の文字を扱うための体系で、文字の符号位置を整合させて発展しています。 ざっくり言うと: 言語ごとに別々だった文字の扱いを、共通の枠組みで扱うためのものです。 その符号位置をバイト列などで表す方式として、UTF-8・UTF-16・UTF-32があります。
UTF-8はスカラー値当たり1〜4バイトです。 UTF-16は16ビットの単位を1個または2個使い、UTF-32は32ビットを使います。 画面上で一文字に見えても、複数の符号位置の組合せである場合があります。 問題での見方: 「Unicodeだから一文字2バイト」とは考えず、方式と数える単位を確認します。
文字化けと変換時の注意
同じバイト列を違う文字コードで解釈すると、意図しない文字になる場合があります。 また、変換先に対応する文字がなければ、別の記号へ置き換わるなど、元の文字を失う場合もあります。 設定名を変えるだけの「読取り方の変更」と、実際のバイト列を作り直す「変換」は別です。
確認問題【オリジナル】
文字データの説明として適切なものはどれでしょうか。
ア:Unicodeで扱う文字は、どのUTFでも必ず2バイトになる。
イ:同じ文字でも、符号化方式によって保存するバイト列が異なることがある。
ウ:文字コードの設定名を変えれば、ファイルのバイト列も必ず変換される。
エ:EUC-JPではすべての文字が必ず2バイトになる。
正解と理由
正解はイです。 文字と、保存時のバイト列を区別します。 アはUTFごとの表現や可変長を無視しています。ウは解釈の変更と変換の混同です。エは1バイトなどの表現を無視しています。
参考資料
IPA「基本情報技術者試験 シラバス Ver.9.2」文字の表現。 https://www.ipa.go.jp/shiken/syllabus/omgdg50000005kpe-att/syllabus_fe_ver9_2.pdf
Unicode Consortium「FAQ - UTF-8, UTF-16, UTF-32 & BOM」 https://www.unicode.org/faq/utf_bom.html
Unicode Consortium『Character Encoding Model』 https://www.unicode.org/reports/tr17/tr17-3.3.html IANA『Character Sets』 https://www.iana.org/assignments/character-sets
問題・解説はオリジナルです。公開過去問の出題頻度は未集計です。