
第19回|プロンプトとLM・LLMをやさしく解説!
こんにちは!🌱
生成AIパスポートの合格を目指して、学習内容を自分なりに整理しています。
できるだけ正確な情報をまとめるよう心がけていますが、もし内容に誤りや分かりにくい点がありましたら、コメントなどで教えていただけるとうれしいです!
今回は、第6章「プロンプトとLM・LLM」について解説します。
生成AIを使うときに欠かせないのが、AIへの指示や質問である「プロンプト」です。
また、ChatGPTなどの文章を生成するAIの仕組みを理解するうえでは、LMやLLMという言葉も重要になります。
今回は、プロンプトの基本から、LLMの特徴、プレトレーニングとファインチューニング、TemperatureとTop-pまで見ていきましょう!
1. プロンプトとは?
プロンプト(Prompt)とは、AIに指示や質問を行う際に入力する文章のことです。
例えば、ChatGPTに次のような文章を入力したとします。
「生成AIについて初心者向けに説明してください」
「次の文章を100文字以内で要約してください」
「Pythonで簡単な計算プログラムを作成してください」
これらはすべてプロンプトです。
プロンプトの内容によって、AIが生成する回答は変わります。
そのため、AIから望ましい回答を得るには、目的や条件を分かりやすく伝えることが大切です。
2. LMとは?
LM(Language Model:言語モデル)とは、人間が使う言葉のパターンや規則性を学習し、文章の続きを予測したり、自然な文章を生成したりするモデルです。
例えば、
「今日は天気が……」
という文章の続きを考えるとき、LMは学習した言葉のパターンをもとに、続きとして適切な単語を予測します。
このように、言葉のつながりや文脈を扱うことがLMの基本的な役割です。
3. LLMとは?
LLM(Large Language Model:大規模言語モデル)とは、大規模なデータセットを使って学習した言語モデルのことです。
大量のテキストデータから言葉の関係や文脈を学習することで、高い精度で自然言語を処理できます。
LLMは、自然言語処理(NLP)のさまざまなタスクに利用されています。
LLMの主な活用例

LLMは、単に文章を作るだけでなく、文章の理解や分類、翻訳など、幅広い用途に活用されています。

4. プレトレーニングとファインチューニング
LLMの学習では、代表的なものとして「プレトレーニング」と「ファインチューニング」があります。
プレトレーニング(事前学習)
プレトレーニングとは、大量のデータを使って、モデルに言語のパターンや文脈などを学習させることです。
さまざまな文章を学習することで、言葉のつながりや文章の構造などを身につけます。
ファインチューニング(微調整)
ファインチューニングとは、プレトレーニング済みのモデルに追加のデータを使って学習させ、特定の目的に適したモデルへ調整することです。
例えば、医療や法律など、特定の分野に関するデータを追加で学習させることで、その分野に適した応答を目指せます。
2つの違い

イメージとしては、プレトレーニングで幅広い基礎知識を身につけ、ファインチューニングで特定の分野や用途に合わせて調整する、という関係です。
5. TemperatureとTop-p
LLMが文章を生成するときには、次に出力する単語やトークンの選び方を調整するパラメータがあります。
代表的なものがTemperature(温度)とTop-pです。
Temperature(温度)
Temperatureは、文章生成時のランダム性を調整するパラメータです。
低い値:確率の高い候補が選ばれやすくなり、比較的一貫した回答になりやすい
高い値:確率の低い候補も選ばれやすくなり、多様で予測しにくい回答になりやすい
例えば、説明文や事実を確認するような回答では、低めのTemperatureが適している場合があります。
一方、アイデア出しや創作では、高めのTemperatureによって多様な表現が得られる場合があります。
Top-p(トップピー)
Top-pは、次に出力するトークンの候補を、確率の累積値に基づいて絞り込む方法です。
例えば、Top-pを0.9に設定した場合、確率の高い候補から順に合計確率が90%に達するまでの候補を選択対象にします。
その候補の中から、次のトークンが選ばれます。
つまり、Top-pは次に選ぶ単語の候補をどこまで広げるかを調整するパラメータです。
TemperatureとTop-pの違い

どちらも文章生成の多様性に関係しますが、調整する仕組みが異なります。
なお、実際の設定方法や利用できる範囲は、AIサービスによって異なります。

6. 確認問題
Q1. プロンプトとは何を指すでしょうか?
A. AIが学習したデータ
B. AIに指示や質問を行う際の入力文
C. AIの内部構造
D. AIが生成した回答
答え:B
Q2. LLMの説明として正しいものはどれでしょうか?
A. 少量のデータだけで学習する言語モデル
B. 画像だけを処理するモデル
C. 大規模なデータセットで学習した言語モデル
D. コンピュータのハードウェアを制御するモデル
答え:C
Q3. プレトレーニングの説明として正しいものはどれでしょうか?
A. 学習済みモデルを削除すること
B. 大量のデータを使って言語のパターンなどを学習すること
C. AIの回答を人間が毎回修正すること
D. モデルの出力を画像に変換すること
答え:B
Q4. ファインチューニングの説明として正しいものはどれでしょうか?
A. 学習済みモデルを特定の目的に合わせて追加学習すること
B. AIへの入力文を削除すること
C. 学習データをすべてランダムに変更すること
D. AIの回答を必ず短くすること
答え:A
Q5. Temperatureを高く設定した場合、一般的にどのような傾向があるでしょうか?
A. 回答のランダム性が低くなる
B. 必ず正確な回答になる
C. 多様で予測しにくい回答になりやすい
D. 文章を生成できなくなる
答え:C
Q6. Top-pの説明として正しいものはどれでしょうか?
A. AIが学習するデータ量を決める
B. 累積確率に基づいてトークンの候補を絞り込む
C. AIが回答する文字数を決める
D. AIの学習速度を調整する
答え:B
まとめ
今回は、プロンプトとLM・LLMについて学びました。
プロンプト:AIに指示や質問を行う際の入力文
LM:言語のパターンを学習する言語モデル
LLM:大規模なデータセットで学習した言語モデル
プレトレーニング:大量のデータを使った事前学習
ファインチューニング:特定の目的に合わせた追加学習
Temperature:文章生成時のランダム性を調整する
Top-p:累積確率に基づいて候補を絞り込む
特に、プレトレーニングとファインチューニング、TemperatureとTop-pの違いは整理して覚えておきましょう!
次回も一緒に学んでいきましょう!
※この記事は、生成AIパスポートの合格を目指して学習した内容を、自分なりに整理したものです。公式教材・公式解説ではありません。