
文字コードとUTF-8――「文字数」と「バイト数」は別のもの
見た目では同じ1文字でも、保存するときのバイト数が同じとは限りません。 文章の容量を考えるには、文字と数値の対応、そして保存方法を分けて考える必要があります。
文字コード:文字を数値として扱うための決まり
正確な意味: 文字と符号との対応など、文字情報をコンピュータで扱うための体系や、その符号を指す言葉です。 文脈によって、文字の集合・対応付け・符号化方式まで含めて呼ぶことがあります。
ざっくり言うと: 「この数字の並びを、この文字として読む」という共通の約束です。
何に使う?: テキストファイルの保存、メールやWebでの文字のやり取りなどに使います。
問題を解くときは: 同じバイト列でも、違う決まりで読み取ると違う結果になる場合がある、と捉えます。 文字化けには、保存側と読む側で文字コードの解釈が合わないことなどが関係します。
ASCII:英数字などの基本的な対応
正確な意味: 英字・数字・記号・制御文字などを7ビットの符号で表す文字コードです。
ざっくり言うと: 英数字などに番号を割り当てた基本的な表です。
何に使う?: 多くの文字処理の土台になっています。 ASCIIの範囲では、数字や英字の並び方に規則性があります。
問題を解くときは: ASCIIは128通りを扱えること、日本語全体を表す体系ではないことを押さえます。 7ビットの符号でも、ファイルでは1バイトの領域に格納して扱うことがあります。
UnicodeとUTF-8:番号とバイトへの変換を分ける
Unicodeの意味: 多様な文字を統一して扱うための標準です。 文字に対応するコードポイントなどを定めます。
UTF-8の意味: Unicodeの符号化方式の一つです。 Unicodeの各スカラー値を1〜4バイトの並びで表します。
ざっくり言うと: Unicodeが文字を整理する共通の体系、UTF-8がそれをバイト列にする方法の一つです。
何に使う?: 複数の言語の文字を、ファイルやWebなどでやり取りするために使います。
問題を解くときは: UTF-8を「すべての文字が同じバイト数」と覚えないこと。 ASCII範囲のAは1バイト、あは3バイトです。 なお、画面上で一つに見える文字が、複数のコードポイントで構成される場合もあります。 「見える1文字=常に1コードポイント」とも限りません。
容量の計算では、問題の条件を使う
「1文字を2バイトで表す」という指定があれば、文字数×2で計算します。 一方、「UTF-8で保存」と指定され、文字の種類もわかる場合は、それぞれのバイト数を足します。
ざっくりした考え方: 文字の個数を数える問題と、保存に必要な容量を求める問題は別です。 改行やBOM、ファイルの付加情報を含めるかどうかも、問題文を確認します。
確認問題【オリジナル】
文字列「Aあ」をUTF-8で保存します。 この問題ではAを1バイト、あを3バイトとし、BOM・改行・その他の付加情報は含めません。 必要なデータ量はどれでしょうか。
ア:2バイト
イ:3バイト
ウ:4バイト
エ:6バイト
正解と考え方
正解はウ:4バイトです。 Aの1バイトと、あの3バイトを足して4バイトです。
アは2文字をそのまま2バイトとしています。 イはあだけの容量で、Aが抜けています。 エは両方を3バイトとして計算しており、問題の条件と合いません。
次に読む記事
次は画像と音声です。画素数やサンプリング周波数から、データ量を考えます。
参考資料と問題について
IPA「基本情報技術者試験 シラバス Ver.9.2」文字の表現。 https://www.ipa.go.jp/shiken/syllabus/omgdg50000005kpe-att/syllabus_fe_ver9_2.pdf
Unicode Consortium「FAQ - UTF-8, UTF-16, UTF-32 & BOM」 https://www.unicode.org/faq/utf_bom.html
確認問題と解説はオリジナルです。公開過去問の出題頻度は未集計です。
前の記事:BCD・パック10進数・ゾーン10進数――数字を一桁ずつ保存する