メインコンテンツへスキップ
見出し画像

第19回|プロンプトとLM・LLMをやさしく解説!

    こんにちは!🌱

    生成AIパスポートの合格を目指して、学習内容を自分なりに整理しています。

    できるだけ正確な情報をまとめるよう心がけていますが、もし内容に誤りや分かりにくい点がありましたら、コメントなどで教えていただけるとうれしいです!

    今回は、第6章「プロンプトとLM・LLM」について解説します。

    生成AIを使うときに欠かせないのが、AIへの指示や質問である「プロンプト」です。

    また、ChatGPTなどの文章を生成するAIの仕組みを理解するうえでは、LMやLLMという言葉も重要になります。

    今回は、プロンプトの基本から、LLMの特徴、プレトレーニングとファインチューニング、TemperatureとTop-pまで見ていきましょう!


    1. プロンプトとは?

    プロンプト(Prompt)とは、AIに指示や質問を行う際に入力する文章のことです。

    例えば、ChatGPTに次のような文章を入力したとします。

    • 「生成AIについて初心者向けに説明してください」

    • 「次の文章を100文字以内で要約してください」

    • 「Pythonで簡単な計算プログラムを作成してください」

    これらはすべてプロンプトです。

    プロンプトの内容によって、AIが生成する回答は変わります。

    そのため、AIから望ましい回答を得るには、目的や条件を分かりやすく伝えることが大切です。


    2. LMとは?

    LM(Language Model:言語モデル)とは、人間が使う言葉のパターンや規則性を学習し、文章の続きを予測したり、自然な文章を生成したりするモデルです。

    例えば、

    「今日は天気が……」

    という文章の続きを考えるとき、LMは学習した言葉のパターンをもとに、続きとして適切な単語を予測します。

    このように、言葉のつながりや文脈を扱うことがLMの基本的な役割です。


    3. LLMとは?

    LLM(Large Language Model:大規模言語モデル)とは、大規模なデータセットを使って学習した言語モデルのことです。

    大量のテキストデータから言葉の関係や文脈を学習することで、高い精度で自然言語を処理できます。

    LLMは、自然言語処理(NLP)のさまざまなタスクに利用されています。

    LLMの主な活用例

    画像

    LLMは、単に文章を作るだけでなく、文章の理解や分類、翻訳など、幅広い用途に活用されています。

    画像

    4. プレトレーニングとファインチューニング

    LLMの学習では、代表的なものとして「プレトレーニング」と「ファインチューニング」があります。

    プレトレーニング(事前学習)

    プレトレーニングとは、大量のデータを使って、モデルに言語のパターンや文脈などを学習させることです。

    さまざまな文章を学習することで、言葉のつながりや文章の構造などを身につけます。

    ファインチューニング(微調整)

    ファインチューニングとは、プレトレーニング済みのモデルに追加のデータを使って学習させ、特定の目的に適したモデルへ調整することです。

    例えば、医療や法律など、特定の分野に関するデータを追加で学習させることで、その分野に適した応答を目指せます。

    2つの違い

    画像

    イメージとしては、プレトレーニングで幅広い基礎知識を身につけ、ファインチューニングで特定の分野や用途に合わせて調整する、という関係です。


    5. TemperatureとTop-p

    LLMが文章を生成するときには、次に出力する単語やトークンの選び方を調整するパラメータがあります。

    代表的なものがTemperature(温度)とTop-pです。

    Temperature(温度)

    Temperatureは、文章生成時のランダム性を調整するパラメータです。

    • 低い値:確率の高い候補が選ばれやすくなり、比較的一貫した回答になりやすい

    • 高い値:確率の低い候補も選ばれやすくなり、多様で予測しにくい回答になりやすい

    例えば、説明文や事実を確認するような回答では、低めのTemperatureが適している場合があります。

    一方、アイデア出しや創作では、高めのTemperatureによって多様な表現が得られる場合があります。

    Top-p(トップピー)

    Top-pは、次に出力するトークンの候補を、確率の累積値に基づいて絞り込む方法です。

    例えば、Top-pを0.9に設定した場合、確率の高い候補から順に合計確率が90%に達するまでの候補を選択対象にします。

    その候補の中から、次のトークンが選ばれます。

    つまり、Top-pは次に選ぶ単語の候補をどこまで広げるかを調整するパラメータです。

    TemperatureとTop-pの違い

    画像

    どちらも文章生成の多様性に関係しますが、調整する仕組みが異なります。

    なお、実際の設定方法や利用できる範囲は、AIサービスによって異なります。

    画像

    6. 確認問題

    Q1. プロンプトとは何を指すでしょうか?

    A. AIが学習したデータ
    B. AIに指示や質問を行う際の入力文
    C. AIの内部構造
    D. AIが生成した回答

    答え:B

    Q2. LLMの説明として正しいものはどれでしょうか?

    A. 少量のデータだけで学習する言語モデル
    B. 画像だけを処理するモデル
    C. 大規模なデータセットで学習した言語モデル
    D. コンピュータのハードウェアを制御するモデル

    答え:C

    Q3. プレトレーニングの説明として正しいものはどれでしょうか?

    A. 学習済みモデルを削除すること
    B. 大量のデータを使って言語のパターンなどを学習すること
    C. AIの回答を人間が毎回修正すること
    D. モデルの出力を画像に変換すること

    答え:B

    Q4. ファインチューニングの説明として正しいものはどれでしょうか?

    A. 学習済みモデルを特定の目的に合わせて追加学習すること
    B. AIへの入力文を削除すること
    C. 学習データをすべてランダムに変更すること
    D. AIの回答を必ず短くすること

    答え:A

    Q5. Temperatureを高く設定した場合、一般的にどのような傾向があるでしょうか?

    A. 回答のランダム性が低くなる
    B. 必ず正確な回答になる
    C. 多様で予測しにくい回答になりやすい
    D. 文章を生成できなくなる

    答え:C

    Q6. Top-pの説明として正しいものはどれでしょうか?

    A. AIが学習するデータ量を決める
    B. 累積確率に基づいてトークンの候補を絞り込む
    C. AIが回答する文字数を決める
    D. AIの学習速度を調整する

    答え:B


    まとめ

    今回は、プロンプトとLM・LLMについて学びました。

    • プロンプト:AIに指示や質問を行う際の入力文

    • LM:言語のパターンを学習する言語モデル

    • LLM:大規模なデータセットで学習した言語モデル

    • プレトレーニング:大量のデータを使った事前学習

    • ファインチューニング:特定の目的に合わせた追加学習

    • Temperature:文章生成時のランダム性を調整する

    • Top-p:累積確率に基づいて候補を絞り込む

    特に、プレトレーニングとファインチューニング、TemperatureとTop-pの違いは整理して覚えておきましょう!

    次回も一緒に学んでいきましょう!


    ※この記事は、生成AIパスポートの合格を目指して学習した内容を、自分なりに整理したものです。公式教材・公式解説ではありません。

     
     

    藍白

     
     
    「昨日の自分より少し成長する」を目標に、日々の学びを記録しています📖 通信制大学でITを学びながら、資格勉強やプログラミング、データサイエンスに挑戦中。 成功も失敗も、そのまま残していく記録帳です。 誰かの「やってみよう」のきっかけになれたら嬉しいです🍀

    あなたへのおすすめ