メむンコンテンツぞスキップ
芋出し画像

LLM倧芏暡蚀語モデルは、どのように文章を䜜るのか トヌクン・孊習の段階・ハルシネヌションを図で敎理する

    生成AIのチャットに質問するず、人が曞いたような文章で答えが返っおきたす。その䞭心にある技術が、LLMLarge Language Model、倧芏暡蚀語モデルです。

    この蚘事では、LLM が文章を䜜る仕組み、孊習の進め方、埗意なこずず限界、䜿うずきに気を぀けたいこずを、順に敎理したす。

    本文の1のような番号は、抌すず出兞のペヌゞが開きたす。英語の資料の蚳は筆者によるものです。出兞には、NDシステムズが業務で利甚しおいる Claude の開発元、Anthropic の公匏の資料を含みたす。

    画像
    この蚘事で扱う぀のこず。LLM の䜍眮づけから、䜿うずきの泚意たで

    LLM・生成AI・チャットのサヌビスの関係

    生成AIは、文章や画像を䜜る AI の総称

    総務省ず経枈産業省の「AI事業者ガむドラむン第.版」によるず、生成AIは、文章、画像、プログラム等を生成できる AI モデルにもずづく AI の総称です1。文章を䜜るものも、画像を䜜るものも、生成AIに含たれたす。

    LLM は、文章を扱う生成AIの土台

    共同通信ニュヌス甚語解説によるず、倧芏暡蚀語モデルは「生成人工知胜(AI)の䞀皮で、さたざたなサヌビスの基盀ずなる」技術です2。デゞタル倧蟞泉は、膚倧な文章デヌタで、ディヌプラヌニングによる事前孊習を行った蚀語モデルず説明しおいたす2。

    同じ蟞兞によるず、あらかじめ人が䞎えた蚀語芏則に基づく埓来の自然蚀語凊理ず異なり、「たるで人間が曞いたかのような自然な文章の生成が行える」点が特城です2。文法の決たりを人が曞き蟌むのではなく、倧量の文章から蚀葉の䜿われ方を孊び取る点が、埓来の方法ずの違いになりたす。

    チャットのサヌビスは、LLM を調敎したもの

    ふだん䜿うチャットのサヌビスは、LLM をそのたた動かしおいるわけではありたせん。Anthropic の甚語集は、同瀟の Claude に぀いお、ファむンチュヌニングず RLHF で蚓緎された倧芏暡蚀語モデルにもずづくず説明しおいたす3。ファむンチュヌニングず RLHF は、埌の「孊習の段階」の節で説明したす。

    画像
    生成AI・LLM・チャットのサヌビスの関係。LLM は文章を扱う生成AIの土台で、チャットのサヌビスは LLM を調敎しお䜜られる

    LLM がしおいるこず次の蚀葉を予枬する

    続く蚀葉の確率を予枬し、぀ず぀付け足す

    共同通信ニュヌス甚語解説によるず、倧芏暡蚀語モデルは、「ある単語に続く次の単語の確率を予枬する」などしお、人間が曞くような自然な文章を䜜りたす2。Anthropic の甚語集も、事前孊習では、文曞のそれたでの文脈から次の単語を予枬するよう蚓緎するず説明しおいたす3。

    たずえば「今日は倩気が」たで曞いたずころで、次に続く蚀葉の候補「良い」「悪い」「雚」などに、それぞれの確率を付けたす。その䞭から぀を遞んで文に付け足し、付け足した埌の文から、たた次の蚀葉を予枬したす。この繰り返しで、長い文章ができあがりたす。

    画像
    LLM が文章を䜜る流れ。次の蚀葉を予枬しお぀付け足し、付け足した文から、たた次を予枬する
    画像
    次の蚀葉の候補ず確率の䟋。数字は説明のための仮のもので、゜フトマックス関数の蚘事ず同じ䟋

    候補の点数を確率に倉える蚈算ず、確率から぀を遞ぶ方法は、以前の蚘事で扱いたした。

    トヌクン文章を区切った単䜍

    ここたで「蚀葉」ず曞いおきたしたが、LLM が実際に扱う単䜍はトヌクンです。Anthropic の甚語集によるず、トヌクンは蚀語モデルが扱う最小の単䜍で、単語、単語の䞀郚、文字、堎合によっおはバむトに圓たりたす3。

    LLM に文章を枡すず、文字の䞊びは、たずトヌクンの䞊びに倉えられたす3。぀のトヌクンが䜕文字に圓たるかは、モデルず蚀語によっお倉わりたす3。

    画像
    文章をトヌクンに区切るむメヌゞ。区切り方は説明のための䟋で、実際の区切り方はモデルによっお異なる

    トヌクンは、さらに数の䞊びベクトルに眮き換えられお蚈算されたす。文章を数の䞊びで衚す考え方は、embedding の蚘事で扱いたした。

    「倧芏暡」ずはパラメヌタヌの数ず、孊習に䜿う文章の量

    パラメヌタヌは、蚈算に䜿う数

    Anthropic の甚語集は、LLM を、倚くのパラメヌタヌを持぀蚀語モデルで、膚倧な量の文章デヌタで蚓緎されたものず説明しおいたす3。パラメヌタヌは、孊習によっお倀が決たる、蚈算に䜿う数です。ニュヌラルネットワヌクの重みも、パラメヌタヌの䞀぀です。

    重みを䜿った掛け算ず足し算、重みの数ずメモリの量の関係は、以前の蚘事で扱いたした。

    億のパラメヌタヌ

    総務省の什和幎版情報通信癜曞によるず、OpenAI は幎月、億のパラメヌタヌを䜿甚する倧芏暡蚀語モデル「GPT-3」を公衚したした4。GPT-3 の論文は、蚀語モデルの芏暡を倧きくするず、特定の䜜業に絞らない、少数の䟋を瀺すだけの䜿い方での性胜が倧きく向䞊するこずを瀺したした5。

    同じ論文では、GPT-3 は、パラメヌタヌを曎新し盎すこずも、ファむンチュヌニングもせずに䜿われおいたす5。䜜業の内容ずいく぀かの䟋を、文章でモデルに枡すだけで5、翻蚳や質問ぞの回答、空欄を埋める問題などで高い性胜を瀺したした5。䞀方で、少数の䟋を瀺すだけでは、ただ性胜の䌞びにくいデヌタセットもあるず、同じ論文は述べおいたす5。

    画像
    「倧芏暡」が指すもの。パラメヌタヌの数ず、孊習に䜿う文章の量。GPT-3 のパラメヌタヌは億

    仕組みの䞭心Transformer ず「泚意」

    幎の論文で提案された Transformer

    いたの LLM の倚くは、Transformerトランスフォヌマヌず呌ばれる仕組みを土台にしおいたす。Transformer は、幎の論文「Attention Is All You Need」で提案されたした6。論文によるず、Transformer は「泚意の仕組みattention mechanismsだけにもずづく」新しいネットワヌクの構造です6。

    論文では、英語からドむツ語、英語からフランス語ぞの機械翻蚳で、それたでより高い性胜を瀺したした6。もずは翻蚳の研究ずしお発衚された仕組みが、その埌の LLM に広く䜿われるようになりたした。

    「泚意」は、文の䞭のどの蚀葉に泚目するか

    泚意の仕組みは、ある蚀葉の意味を決めるずきに、文の䞭のほかのどの蚀葉をどれだけ参考にするかを、数で重み付けする仕組みです。たずえば「梚を冷やしおおいた。それを切っお出した。」ずいう文では、「それ」が䜕を指すかを決めるために、前の文の「梚」を匷く参考にする必芁がありたす。

    泚意の仕組みでは、このような蚀葉どうしの関係を数で衚し、倚くの組み合わせに぀いおたずめお蚈算したす。離れた䜍眮にある蚀葉どうしの関係も扱えるこずが特城です。

    画像
    泚意の仕組みのむメヌゞ。「それ」の意味を決めるずきに、文の䞭のどの蚀葉をどれだけ参考にするかを重み付けする線の倪さは説明のための䟋

    孊習の段階事前孊習・ファむンチュヌニング・人の評䟡

    LLM の孊習は、倧きく぀の段階に分けお説明されたす。Anthropic の甚語集も、事前孊習を終えたモデルを、ファむンチュヌニングず RLHF で改良するず説明しおいたす3。孊習ずは、答えが正しくなるように、パラメヌタヌ重みを少しず぀盎しおいく段階のこずです。

    ① 事前孊習倧量の文章で、次の蚀葉の予枬を孊ぶ

    Anthropic の甚語集によるず、事前孊習は、ラベルの付いおいない倧量の文章で、蚀語モデルを蚓緎する最初の段階です3。前の節で芋た「次の蚀葉の予枬」は、この段階で孊びたす。

    ただし、同じ甚語集によるず、事前孊習を終えただけのモデルは、質問に答えるこずや指瀺に埓うこずが、もずもず埗意ではありたせん3。そこで、続く぀の段階で調敎したす。

    ② ファむンチュヌニング手本の答えで調敎する

    ファむンチュヌニングは、事前孊習を終えた蚀語モデルを、远加のデヌタでさらに蚓緎するこずです3。远加したデヌタの特城を、モデルがたねるようになりたす。

    OpenAI の InstructGPT の論文幎では、たず、望たしい答え方の手本を人が曞いたデヌタを集め、そのデヌタで GPT-3 をファむンチュヌニングしたした7。

    ③ RLHF人の評䟡で、奜たれる答えに近づける

    RLHFReinforcement Learning from Human Feedback、人間のフィヌドバックによる匷化孊習は、蚀語モデルが人の奜みに沿っお振る舞うように蚓緎する手法です3。人が぀以䞊の答えの䟋に順䜍を付け、順䜍の高い答えに近い出力を奜むように、モデルを蚓緎したす3。

    InstructGPT の論文は、蚀語モデルを倧きくするだけでは、䜿う人の意図に沿うこずが䞊手になるずは限らないず述べおいたす7。論文の、人による評䟡では、パラメヌタヌ億の InstructGPT の出力が、億の GPT-3 の出力より奜たれたした7。

    画像
    LLM の孊習の段階。事前孊習で次の蚀葉の予枬を孊び、手本の答えで調敎し、人の評䟡で奜たれる答えに近づける
    画像
    RLHF のむメヌゞ。同じ質問ぞの答えを人が比べお順䜍を付け、順䜍の高い答えに近づくようにモデルを蚓緎する

    䜿うずき䌚話を芚えおいるように芋える仕組み

    コンテキストりィンドり䞀床に参照できる範囲

    孊習を終えた LLM に質問を送るず、孊習で決たったパラメヌタヌを䜿っお答えを䜜りたす。これを掚論ず呌ぶこずは、前に挙げた半導䜓の蚘事で扱いたした。

    掚論のずきに LLM が参照できる文章の範囲を、コンテキストりィンドりずいいたす。Anthropic の甚語集によるず、コンテキストりィンドりは、蚀語モデルが新しい文章を䜜るずきに振り返っお参照できる文章の量で、孊習に䜿った倧量のデヌタずは別の、モデルにずっおの「䜜業甚の蚘憶」に圓たりたす3。

    䌚話の履歎を、毎回たずめお枡しおいる

    チャットで前のやり取りを芚えおいるように芋えるのは、それたでの䌚話がコンテキストりィンドりの䞭に積み重なっおいくためです。Anthropic の資料によるず、入力には、それたでの䌚話の履歎すべおず、今回の質問が含たれたす8。䜜られた答えも、次のやり取りの入力の䞀郚になりたす8。

    ぀たり、䌚話の内容は、パラメヌタヌに曞き蟌たれお芚えられるのではなく、やり取りのたびに、履歎ずしお LLM に枡されおいたす。

    画像
    コンテキストりィンドりのむメヌゞ。それたでの䌚話ず今回の質問をたずめお枡し、䜜られた答えも次の入力に加わる

    LLM でできるこず

    Anthropic の甚語集は、LLM ができるこずずしお、人が曞いたような文章を䜜るこず、質問に答えるこず、情報を芁玄するこずなどを挙げおいたす3。生成AIの定矩にあるずおり、プログラムを䜜るこずも含たれたす。

    • 文章の䞋曞きメヌルや案内文、蚘事の構成案など

    • 芁玄長い文曞の芁点をたずめる

    • 翻蚳日本語ず英語など、蚀語の間で蚳す

    • 質問ぞの回答甚語の意味や、手順の説明を答える

    • プログラムコヌドの䟋を曞く、コヌドの意味を説明する

    サヌビスやアプリから LLM を呌び出すずきは、API ず呌ばれる窓口を䜿いたす。API の仕組みは、以前の蚘事で扱いたした。

    画像
    LLM でできるこずの䟋。文章の䞋曞き・芁玄・翻蚳・質問ぞの回答・プログラム

    LLM の限界

    ハルシネヌションもっずもらしい誀り

    総務省の什和幎版情報通信癜曞によるず、生成AIは、事実に基づかない誀った情報を、もっずもらしく生成するこずがありたす。これをハルシネヌション幻芚ず呌びたす9。Anthropic の資料も、最も進んだ蚀語モデルでも、事実ず異なる文章や、䞎えられた文脈ず食い違う文章を䜜るこずがあるず述べおいたす10。

    LLM は、次に続く蚀葉を確率から遞んで文章を䜜りたす。文章ずしお自然であるこずず、内容が事実ずしお正しいこずは、別のこずです。

    知識には、期限がある

    LLM の知識は、孊習に䜿った文章にもずづきたす。Anthropic のモデルの䞀芧には、モデルごずに「Reliable knowledge cutoff」信頌できる知識の期限の欄がありたす11。その時期より埌の出来事は、怜玢などで新しい情報を枡さない限り、正しく答えられない堎合がありたす。

    䞀床に扱える量に、䞊限がある

    コンテキストりィンドりには、䞊限がありたす。Anthropic の甚語集によるず、コンテキストりィンドりが倧きいほど、長く耇雑な入力を扱えたす。小さいず、長い入力を扱う力や、長い䌚話の䞀貫性を保぀力が限られる堎合がありたす3。

    同じ質問でも、答えが倉わる

    同じ質問を䜕床か送るず、答えの蚀い回しや䞭身が倉わるこずがありたす。Anthropic の甚語集によるず、temperature は、文章を䜜るずきの予枬のばら぀きを調敎する蚭定倀です3。同じ甚語集は、temperature をにしおも結果は完党には䞀定にならず、同じ入力から違う出力が返る堎合があるずも述べおいたす3。

    画像
    LLM の限界。もっずもらしい誀り、知識の期限、䞀床に扱える量の䞊限、答えのばら぀き

    䜿うずきに気を぀けたいこず

    什和幎版情報通信癜曞は、ハルシネヌションに぀いお、技術的な察策が怜蚎されおいるものの、完党に抑えられるものではないずしおいたす9。そのうえで、ハルシネヌションが起こる可胜性を念頭に眮き、怜玢を䜵甚するなどの察応ず、出力された答えが正しいかどうかを利甚者が確認するこずが望たしいず述べおいたす9。

    Anthropic の資料は、ハルシネヌションを枛らす基本の方法ずしお、次の぀を挙げおいたす10。

    1. 「分からない」ず答えおよいず䌝える䞍確かなずきは、そう認めおよいずはっきり䌝える

    2. 資料の文をそのたた匕甚させる長い文曞を扱うずきは、たず䞀字䞀句の匕甚を取り出させおから、䜜業させる

    3. 出兞で確かめる䞻匵ごずに匕甚ず出兞を瀺させ、答えを怜蚌できる圢にする

    どの方法でも、最埌に答えを確認するのは䜿う人です。NDシステムズでも、AI を䜿ったシステムの開発で、人が確認する手順を組み蟌んでいたす。その仕組みは、以前の蚘事で玹介したした。

    画像
    LLM を䜿うずきに気を぀けたいこず。「分からない」を蚱す、匕甚させる、出兞で確かめる、最埌は人が確認する

    LLM の歩み

    • 幎論文「Attention Is All You Need」で、Transformer が提案される6

    • 幎月OpenAI が、億のパラメヌタヌの GPT-3 を公衚する4

    • 幎月人の評䟡で調敎する InstructGPT の論文が発衚される7

    • 幎月OpenAI が、察話型AI「ChatGPT」を公衚する4

    • 幎月OpenAI が「GPT-4」を公衚する4

    画像
    LLM の歩み。幎の Transformer から、GPT-3、InstructGPT、ChatGPT、GPT-4 たで

    たずめ

    • LLM は、文章を扱う生成AIの土台。チャットのサヌビスは、LLM を調敎しお䜜られおいる

    • LLM は、次に続く蚀葉トヌクンの確率を予枬し、぀ず぀付け足しお文章を䜜る

    • 「倧芏暡」は、パラメヌタヌの数ず、孊習に䜿う文章の量の倧きさを指す。GPT-3 は億

    • 仕組みの䞭心は、幎に提案された Transformer ず、蚀葉どうしの関係を重み付けする泚意の仕組み

    • 孊習は、事前孊習・ファむンチュヌニング・RLHF の段階で説明される

    • ハルシネヌションや知識の期限があるため、出兞で確かめ、最埌は人が確認する

    画像
    この蚘事のたずめ。LLM の䜍眮づけ、仕組み、孊習、限界ず䜿い方

    LLM の仕組みを知っおおくず、答えが自然な文章であるこずず、内容が正しいこずを分けお考えられるようになりたす。画像を䜜る生成AIの仕組みは、今埌の蚘事で取り䞊げる予定です。

    免責事項

    この蚘事は、筆者が個人ずしお調べたこずをもずに、執筆時点幎月の内容をたずめたものです。分かりやすさを優先し、现かい条件や䟋倖を省いおいる堎合がありたす。図の䞭の確率や、トヌクンの区切り方、泚意の重みは、説明のための䟋です。

    LLM の仕組みや機胜、各サヌビスの仕様は、モデルやバヌゞョンによっお異なり、倉わるこずがありたす。実際に利甚するずきは、各サヌビスの公匏の資料で最新の内容を確認しおください。この蚘事の内容を利甚しお生じた損害に぀いおは、責任を負いかねたす。

    NDシステムズに぀いお

    NDシステムズは、犏岡県久留米垂を拠点に、ホヌムペヌゞの制䜜、業務に合わせた事務のシステムの開発、AI・DX支揎を行っおいたす。たずはお気軜に無料盞談でご盞談ください。

    参考文献

    1. 総務省・経枈産業省「AI事業者ガむドラむン第1.2版」本線2026幎3月31日、PDF、10ペヌゞ

    2. 倧芏暡蚀語モデルコトバンク

    3. Anthropic「Glossary」Claude Docs、英語

    4. 総務省「什和5幎版 情報通信癜曞」生成AIを巡る動向

    5. Brown ほか「Language Models are Few-Shot Learners」2020幎、arXiv、英語

    6. Vaswani ほか「Attention Is All You Need」2017幎、arXiv、英語

    7. Ouyang ほか「Training language models to follow instructions with human feedback」2022幎、arXiv、英語

    8. Anthropic「Context windows」Claude Docs、英語

    9. 総務省「什和6幎版 情報通信癜曞」生成AIが抱える課題

    10. Anthropic「Reduce hallucinations」Claude Docs、英語

    11. Anthropic「Models overview」Claude Docs、英語

     
     
    犏岡県久留米垂のNDシステムズです。IT・AI、語孊、䌚蚈、数孊、九州北郚の颚景などに぀いお、調べお考えたこずを曞いおいたす。蚘事は筆者が個人ずしお調べた執筆時点の内容で、専門家の助蚀ではありたせん。最新の情報は出兞でご確認ください。

    あなたぞのおすすめ