
生成AI基礎① LLMのしくみと概要
はじめに
最近、LLMの土台となる仕組みについて学ぶ機会がありました。
熱が冷めないうちに、今更ですが整理も兼ねて記事にしておきます。
なぜLLMについて整理するか
仕組みを理解した上で使う方が面白いし、応用が利く
関連情報に対する解像度を上げたい
この記事の位置づけ
基礎/概要を整理するためのメモ
仕組みに興味がある人向け
用語集は別記事として公開予定
まず押さえたい用語
トークン
LLMが処理する最小単位。単語単位とは限らず、文字の塊や記号に分割されます。
モデル
入力に対して出力を返す数理的な仕組み。
LLMの文脈では入力 (テキスト) に対し、次に続くトークンの確率分布を計算します。
パラメータ
モデル内部にある膨大な数の「重み (調整ツマミ)」。学習によってこの数値が最適化されることで、モデルが賢くなります。
学習 / 推論
学習 (Training): モデルのパラメータをデータに基づいて調整する工程。
事前学習 (Pre-training): 言語の構造、一般常識、論理的思考の基礎を網羅的に身につけさせる初期工程。
微調整 (Fine-tuning): 事前学習後、特定の目的 (プログラミング, 専門領域など) に特化した学習を行い、モデルの振る舞いを最適化する工程。
推論 (Inference): 学習済みモデルを使って、実際に回答を生成する工程。
コンテキスト
モデルが次のトークンを予測するときに参照する文脈。
ユーザーの入力だけでなく、システムプロンプト、会話履歴、直前までに生成したトークン列などが含まれます。
LLMとは何か
言語モデルとは
言語モデルの本質は「次に来る確率が最も高いトークンを予測する確率モデル」。例えば「吾輩は猫で」という入力には
「ある」:85%
「はない」:10%
「のようだ」:3%
のように確率を計算します。
この中から1つを選択し、それを再び入力に戻して次のトークンを予測する……というプロセスを繰り返します。(自己回帰/Autoregressive)
常に1位を選ぶとは限らず、あえて少し確率の低いものを選ぶよう制御し、創造性をもたせる場合もあります。 (Temperature)
大規模 (Large) とは
大規模言語モデル(LLM)は、以下の規模が大きいことが特徴です。
パラメータ数 (数百億~数兆)
学習データ量 (インターネット上の膨大なテキスト)
計算資源 (数千台のGPU)
これらが一定の閾値を超えたとき、単なる予測を超えて「推論能力」や「知識の連結」といった創発的な能力が現れます。
LLMの構造: Transformer
現在のLLMの代表的なモデル構造はTransformerです。
(例えばGPTは Generative Pre-trained Transformer の略称)
Transformer: 文中の離れた位置にある言葉同士の関係性を並列で処理できる革新的な構造。
Attention: 入力の中のどの部分をどの程度重視するかを計算する。
単語同士の関係性を動的に判断する仕組み。Transformerの中核。
得意なこと
単に文章の続きを作るだけでなく、以下のような応用が可能です。
テキスト変換: 要約、翻訳、校正、コード生成
非構造化データの処理: 雑多なメモからの情報抽出、分類
創造的作業: アイディア出し、ロールプレイ
苦手なこと
事実の正確性: 確率的に誤出力をする (ハルシネーション)
最新情報の欠如: 学習データに含まれないニュースは知らない
厳密な計算: 確率的な予測のため、厳密な計算や複雑な論理展開が苦手 (なお最近のモデルはThinkingにより改善傾向)
これらを補うには、外部知識との連携や人間の確認を行います。
外部知識との連携
LLM単体では知識や正確性に限界があるため、実際のシステムでは以下のような仕組みを組み合わせて使います。
検索拡張生成 (RAG: Retrieval-Augmented Generation)
モデルの外部にある情報源(PDFやWebページなど)を検索し、結果をコンテキストとしてLLMに渡す仕組みです。
メリット: ハルシネーションを抑制し、根拠に基づいた回答ができます。
具体例: 対話型AIの検索機能、ファイル参照機能など
Tool Use
LLMが自ら「ツールを呼び出す」「Pythonを実行する」「APIで予定を登録する」といった外部ツールを操作する仕組みです。
Agent: LLMが「目標」を受け取り、自ら計画を立ててツールを使い分けながらタスクを完遂する形態です。
おわりに
LLMをはじめ生成AIは「何に使うか」「どう使うか」が重要であると認識していますが、個人的には漫然と使うよりは仕組みを理解した上で使いたいのでこの記事を書きました。同じような方の参考になれば幸いです。
次回は用語集を公開予定です。