メインコンテンツへスキップ
見出し画像

文字コードとUTF-8――「文字数」と「バイト数」は別のもの

    見た目では同じ1文字でも、保存するときのバイト数が同じとは限りません。 文章の容量を考えるには、文字と数値の対応、そして保存方法を分けて考える必要があります。

    文字コード:文字を数値として扱うための決まり

    正確な意味: 文字と符号との対応など、文字情報をコンピュータで扱うための体系や、その符号を指す言葉です。 文脈によって、文字の集合・対応付け・符号化方式まで含めて呼ぶことがあります。

    ざっくり言うと: 「この数字の並びを、この文字として読む」という共通の約束です。

    何に使う?: テキストファイルの保存、メールやWebでの文字のやり取りなどに使います。

    問題を解くときは: 同じバイト列でも、違う決まりで読み取ると違う結果になる場合がある、と捉えます。 文字化けには、保存側と読む側で文字コードの解釈が合わないことなどが関係します。

    ASCII:英数字などの基本的な対応

    正確な意味: 英字・数字・記号・制御文字などを7ビットの符号で表す文字コードです。

    ざっくり言うと: 英数字などに番号を割り当てた基本的な表です。

    何に使う?: 多くの文字処理の土台になっています。 ASCIIの範囲では、数字や英字の並び方に規則性があります。

    問題を解くときは: ASCIIは128通りを扱えること、日本語全体を表す体系ではないことを押さえます。 7ビットの符号でも、ファイルでは1バイトの領域に格納して扱うことがあります。

    UnicodeとUTF-8:番号とバイトへの変換を分ける

    Unicodeの意味: 多様な文字を統一して扱うための標準です。 文字に対応するコードポイントなどを定めます。

    UTF-8の意味: Unicodeの符号化方式の一つです。 Unicodeの各スカラー値を1〜4バイトの並びで表します。

    ざっくり言うと: Unicodeが文字を整理する共通の体系、UTF-8がそれをバイト列にする方法の一つです。

    何に使う?: 複数の言語の文字を、ファイルやWebなどでやり取りするために使います。

    問題を解くときは: UTF-8を「すべての文字が同じバイト数」と覚えないこと。 ASCII範囲のAは1バイト、あは3バイトです。 なお、画面上で一つに見える文字が、複数のコードポイントで構成される場合もあります。 「見える1文字=常に1コードポイント」とも限りません。

    容量の計算では、問題の条件を使う

    「1文字を2バイトで表す」という指定があれば、文字数×2で計算します。 一方、「UTF-8で保存」と指定され、文字の種類もわかる場合は、それぞれのバイト数を足します。

    ざっくりした考え方: 文字の個数を数える問題と、保存に必要な容量を求める問題は別です。 改行やBOM、ファイルの付加情報を含めるかどうかも、問題文を確認します。

    確認問題【オリジナル】

    文字列「Aあ」をUTF-8で保存します。 この問題ではAを1バイト、あを3バイトとし、BOM・改行・その他の付加情報は含めません。 必要なデータ量はどれでしょうか。

    • ア:2バイト

    • イ:3バイト

    • ウ:4バイト

    • エ:6バイト

    正解と考え方

    正解はウ:4バイトです。 Aの1バイトと、あの3バイトを足して4バイトです。

    アは2文字をそのまま2バイトとしています。 イはあだけの容量で、Aが抜けています。 エは両方を3バイトとして計算しており、問題の条件と合いません。

    次に読む記事

    次は画像と音声です。画素数やサンプリング周波数から、データ量を考えます。

    参考資料と問題について

    確認問題と解説はオリジナルです。公開過去問の出題頻度は未集計です。

    前の記事:BCD・パック10進数・ゾーン10進数――数字を一桁ずつ保存する

    次の記事:日本語の文字コード――JIS・シフトJIS・EUCとUnicodeを整理する

    学習ノートの目次に戻る

    この記事が参加している募集

     
     
    ITの知識ゼロから、基本情報技術者試験の勉強を始めました📚 わからなかった言葉や問題を、自分の言葉でまとめる備忘録です。 基礎からコツコツ学んで、いつかは応用情報にも挑戦したいです! 一緒に学んでいただけたらうれしいです🌱

    あなたへのおすすめ