
LLMを拡張する技術とは
生成AIの基盤である大規模言語モデル(LLM)は、TransformerやGPTの理論を土台にしながらも、近年は推論強化、外部知識の利用、ツール連携、長期記憶など多様な拡張技術を取り込んで進化しています。この記事では、そうしたLLMを実用化するための主要技術を俯瞰・整理します。
この記事では、主に以下のような技術を紹介していきます。
応答品質を高める:RLHF、RLAIF
推論力を強化する:Chain-of-Thought、RL for Reasoning
モデルアーキテクチャの進化:Mixture of Experts、Long-Term Memory
モデル拡張とパイプライン:RAG、LangChain、LlamaIndex、VectorDB
外部知識とツール利用:外部関数呼び出し、API統合
効率化とモデルサービング:Quantization、LoRA、PEFT、Ollama
まずはLLMそのものの基本構造と進化を整理し、その上でどんな技術が拡張を支えているのかを順番に見ていきます。
基盤となるLLMの構造と進化
Transformerアーキテクチャ
LLMの基盤は、2017年に登場したTransformerです。最大の特徴は自己アテンション機構(Self-Attention)により、入力内の単語同士の関係を柔軟に捉えられる点です。この仕組みによって、長文でも文脈を保ちつつ、高速な並列処理が可能になりました。
関連記事:
‣ トランスフォーマーを理解する
‣ トランスフォーマーの論文を読む
‣ 言語AIの進化史
特にデコーダだけを使った自己回帰型の言語モデリングは「次の単語を予測する」タスクに特化し、GPT系モデルの土台となってから急速に発展しました。
OpenAIのGPTモデルの台頭
Transformerアーキテクチャを基盤に、OpenAIはGPT(Generative Pre-trained Transformer)シリーズを開発してきました。
GPT-1(2018):大規模な事前学習+微調整(ファインチューニング)
GPT-2(2019):さらに大規模化。事前学習だけで「ゼロショット」能力
GPT-3(2020):最大1750億のパラメータ数。「少数ショット」学習
GPT-2以降の研究では、「データ量・パラメータ数・計算量を増やすほど性能が予測可能に向上する」というスケーリング則が明確になりました。そのため、企業は巨額の計算資源を投入して競争を激化させます。
そこで、鍵となるGPUを製造・販売するNVIDIAは、AI開発インフラを提供する地位をさらに強化しました。大規模なモデル訓練には数千〜数万のGPUが必要となり、企業はGPUを確保する競争を繰り広げています。
超大規模な事前学習を可能にする少数の企業がLLM開発を主導し、モデルの構造や学習データを非公開にする「ブラックボックス化」が進むようになりました。たとえば、GPT-3以降は詳細な学習データやモデルパラメータが非公開化され研究の透明性は低下していきました。
こうした背景が、LLM内部の詳細を知るよりも「基盤モデルをどう使いこなし、どう拡張するか」という実用的なアプローチがより重要視されるようになりました。
関連記事:
‣ GPT-3とは
‣ GPTはなぜ文脈内学習ができるのか?
‣ NumPyを使ったGPT-2の不必要に小さな実装
‣ GPT-1を読む
‣ GPT-2を読む
‣ GPT-3を読む
オープンウェイトのモデル
商用モデルの非公開化が進む一方で、オープンな大規模言語モデルの開発も活発に行われています。特にMetaの「Llama」シリーズは、数十億〜数百億パラメータ規模の高品質モデルをオープンなライセンスで公開し、研究コミュニティや企業に大きな影響を与えました。
その影響を受けて派生的に生まれたのが「Mistral」や「DeepSeek」といったモデル群です。
Mistral:Llamaのオリジナル研究者による高性能かつ軽量化を意識した設計
DeepSeek:Llamaをベースとし、推論強化や長文対応を進める
これらのモデルは、研究者や開発者がモデル構造や重みを自由に利用・改良できるオープン性を維持しつつ、スケーリング則を活かした性能向上と軽量化を同時に進めています。
関連記事:
‣ LLaMAとは
‣ Llama 1を読む
‣ Llama 2を読む
Hugging FaceのTransformers
オープンモデルの普及を支える重要なプラットフォームがHugging Faceです。
Transformersライブラリ:統一的なインターフェースでモデルの実装を提供
トレーニング、ファインチューニング、サービングを支援するツール
モデル共有、評価、コミュニティの貢献を促進
LLMをタスクに合わせて拡張・最適化する取り組みが世界中で加速しました。
LLMの応答品質を高める技術
大規模な事前学習によってLLMは汎用的な言語生成能力を獲得しましたが、そのままでは「人間らしい応答」「有用で安全な対話」「推論の強化」といった課題が明確になりました。
アラインメント、有用性、安全性
つまり、LLMをいかに人間の意図や価値観に整合させるか(アラインメント、Alignment)が重要となりました。アラインメントは、単に正しい応答を出すだけでなく、社会的・倫理的な期待に沿った、安全で有用な出力を保証するための枠組み・アプローチを意味します。
また、LLMを実用化する際には、有用性と安全性が不可欠です。
有用性: 情報が正確で豊富、ユーザー意図に合致
安全性: 攻撃的・差別的・誤情報を含まない
これらを実現するために「学習データの多様性や質の高さ」と「フィードバックによるモデルの出力の調整」が重要になりました。
Human Feedbackによる強化学習(RLHF)
LLMの応答品質を高める技術の代表的手法がRLHF(Reinforcement Learning from Human Feedback)です。RLHFでは、事前学習を終えたモデルに対し、人間フィードバックを報酬信号として与える強化学習を行います。
人間フィードバックとは、モデルが生成した複数の応答を人間が比較・ランク付けし、「どの応答がより良いか」というサンプルデータを集める手法です。これをもとに報酬モデル(Reward Model)を訓練し、好ましい応答を高く評価するよう学習させます。
強化学習では、この報酬モデルがガイドとなり、LLMの出力を人間らしく、有用で安全な方向へ最適化します。こうした大規模なラベリング作業を効率化・スケールさせたのがScale AIなどの企業です。
これにより、より自然で人間の期待に合った有用性のある応答が生成できるようになります。また、危険性を減らし安全性を高めることも可能です。
OpenAIのInstructGPTやChatGPTはRLHFを大規模に適用した代表例です。商用LLMが実用水準に到達する上で、RLHFは不可欠な技術となりました。
ただし、RLHFは、人手によるフィードバック作業が高コストです。また、人間が持つバイアスや一貫性のある評価が難しいという課題もあります。
関連記事:
‣ Gymで強化学習
‣ ChatGPTのもとになったInstructGPT
‣ ChatGPT(人間のフィードバックによる強化学習)
AI Feedbackによる強化学習(RLAIF)
RLAIF(Reinforcement Learning from AI Feedback)では、AIがフィードバックを生成し、それを用いて報酬モデルを学習し強化学習を行う手法です。
AnthropicのClaudeシリーズでは、このRLAIF的なアプローチを活用した「Constitutional AI」(憲法AI)を採用しています。憲法AIでは、あらかじめ定めた「憲法」(ルールや倫理的ガイドライン)に基づき、AIが自ら生成した応答を評価・修正します。そして、そのプロセスで得られる教師ありデータを使って「選好モデル」(Preference Model)を学習します。
この「選好モデル」は、RLHFにおける「報酬モデル」と同様に、生成された応答がどれだけ望ましいかを評価する基準として使われます。
推論力を高める技術
LLMは、事前学習によって幅広い知識や文脈理解を獲得しましたが、複雑な推論を必要とするタスクでは課題がありました。たとえば、算数の文章題、論理パズル、段階的な説明を要する質問などでは、単純に次の単語を予測するだけの出力では十分ではありません。
こうした課題を解決するために登場したのが、思考過程そのものを生成し、推論力を高める技術です。
思考の連鎖による推論
思考の連鎖による推論(Chain-of-Thought Reasoning、CoT Reasoning)は、モデルに「思考のステップを文章で明示的に生成させる」手法です。
人間が問題を解くときに行うような「途中の計算」「理由づけ」を言語化し、モデル自身がステップバイステップで推論を展開します。出力された推論過程が文脈に含まれることで、正答率を大幅に向上しました。
もともとは、「思考の連鎖を言語化させる」ためのプロンプト・エンジニアリングとして考案されました。現在は事前学習やファインチューニングによって、以前より自然に思考の連鎖を出力できるようになりました。しかし、タスクによっては依然として明示的なプロンプト設計が有効な場合もしばしばあります。
多くのLLMでこの技術が採用され、ユーザーが思考過程を含む応答を得られるようになっています。
関連記事:
‣ 思考の連鎖プロンプティング(Chain of Thought Prompting)とは
推論のための強化学習
思考の連鎖による推論は、人間が作成した思考過程を含む解答例を使ったファインチューニングや、推論過程全体を評価する強化学習によって向上されます。
このとき、RLHFなどの強化学習手法を使ってモデルの推論能力を最適化します。生成される思考過程(文章の質や一貫性)が評価(報酬)の対象となり、より分かりやすく正確な推論を出力できるよう調整されています。
現在の多くの言語モデルで採用される一般的な手法になっています。
モデルアーキテクチャの進化
Transformerを基盤にしたシンプルなデコーダー型構造からスタートしたLLMですが、さまざまなアーキテクチャ上の工夫や拡張が進んでいます。
専門家の混合(MoE)
「Mixture of Experts」(MoE)、つまり専門家の混合というアイデア自体は以前からありましたが、LLMの文脈ではGoogleによる2021年のSwitch Transformerなどで特に有名になりました。
これは、モデル全体ではなく一部のパラメータだけを動的に活用する仕組みです。
もともとTransformerでは、マルチヘッド・アテンション(Multi-head Attention、MHA)の部分で、入力トークン間の依存関係を複数の観点から柔軟に捉えられるようになっていました。しかしその後の処理では、各トークンの位置ごとに同じフィードフォワード・ネットワーク(Feed-Forward Network、FFN)を通す処理設計になっていました。
MoEはこのFFNを複数の「専門家」に拡張し、入力に応じて最適なものを動的に選んで使う仕組みです。
「動的に選択する」とは、その入力に必要なExpertだけを有効化し、他はマスク(無視)することで、計算を節約しつつ多様性を持たせる、ということです。
1回の推論で全パラメータを使わないので、計算コストを抑えつつ巨大なモデルを構築できます。これによって、効率的にモデル全体の表現力を高め、より多様で高性能な応答を生成することが可能になりました。
ただし、最近のLLMが内部的にMoEを採用しているかは非公開のことが多いです。
長期記憶と状態管理
もう一つの進化の方向は、長期的な文脈を保持し、対話や作業の「状態」を管理する機能です。
従来のLLMは固定長のコンテキスト内でのみ会話を保持しており、記憶容量に限界がありました。そこで、長期記憶(Long-Term Memory)を実装することで、ユーザーとの履歴や重要な情報を保持しつながら、より一貫性のある応答が可能になりました。最新のLLMでは一般的に採用されています。
また、異なる会話スレッド間でも情報や文脈を共有できるようになり、新しいスレッドを始めるたびに説明を一から繰り返す必要も減っています。
実装の詳細は公開されていないものの、「外部ストレージを活用した履歴の検索・再読み込み」「ユーザー情報を要約して記憶するメモリスロット」「より長いコンテキストへの対応」「複数スレッド間での情報共有」などが組み合わさっていると考えられます。
仕組みとしては、後で紹介するLlamaIndexなどを使ったRAG(Retrieval-Augmented Generation)のアプローチと非常によく似ており、外部に保存した情報を必要に応じて呼び出し、モデルへの入力に組み込むことで、長期的な記憶や文脈を再現します。
この辺りの仕組みは日々進化しており、まだ研究途上であり、完璧な「永続記憶」を実装しているわけではないようです。
Model Context Protocol(MCP)
Model Context Protocol(MCP)は、LLMをより高度なエージェントとして活用するために、外部の情報や状態(コンテキスト)を標準化された方法で管理・連携するためのプロトコル設計です。
MCPは、2024年11月にAnthropic社(Claudeの開発元)が発表したオープンなプロトコルで、将来的な業界標準を目指しています。Claudeだけでなく、あらゆるLLMで利用可能ですが、実際の普及は限定的と思われます。
REST APIのような役割を果たし、従来は個別にカスタム実装が必要だった外部連携を、標準化されたプロトコルで簡素化します。
MCPによって、LLMエージェントが外部のデータソース(履歴、ユーザープロファイル、会話履歴、外部ツール、タスク進行状況など)やツールに統一的にアクセスできるようになることを目指しています。
これにより、長期記憶、状態管理、フロー制御、タスク分解といったエージェント的な機能を実現する基盤となり、今後のAIエージェント開発の中核技術になる可能性を秘めています。
ただし、MCPはまだ初期段階の規格であり、すべてのLLMに実装されているわけではありません。
外部知識とツール活用
LLMは巨大なパラメータを持ち、膨大な知識を事前学習していますが、それだけでは、最新情報や計算結果などを取り込むことができません。
このため、外部知識の検索やツールの呼び出しを可能にする拡張が進んでいます。
Retrieval-Augmented Generation(RAG)
RAGは「検索拡張生成」や「取得拡張生成」と訳される技術全般を指す一般的な用語であり、特定のライブラリや製品名ではありません。
その概念は、2020年にMetaが発表した論文「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」によって広まりました。知識を必要とする自然言語処理(NLP)タスクのために、外部データソースから関連情報を検索し、モデルの応答生成に組み込むというものです。
RAGのパイプライン(流れ作業)を構築する代表的なオープンソースのライブラリとして、LlamaIndexやLangChainなどがあります。
LlamaIndex
LlamaIndexは、文書処理とインデックス管理を抽象化し、さまざまなLLMに対応するライブラリです。Mistral、Llama、GPT-3/4、Claude、Geminiなど幅広いモデルと組み合わせて利用できます。
もともとこのライブラリは「GPT Index」という名称で開発・公開されており、その後「LlamaIndex」に名前が変更されました。それでも、MetaのLlamaモデル専用になったわけではなく、現在もOpenAIのGPTシリーズや他のLLMと組み合わせて利用できます。
テキストのインデックス化:まず、保存されているファイルなどのテキストデータを埋め込みベクトルに変換します。たとえば、HuggingFaceの埋め込みモデルを使い、意味的な類似度を計算可能なベクトル表現に変換します。
変換されたベクトル表現をベクトルデータベースに格納して、高速な検索を可能にします。以下のようなコードを使ってテキストをベクトルデータベース化します。
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
DATA_DIR = "...データのあるフォルダ..."
# フォルダにある文書(テキストファイル)を読み込む
documents = SimpleDirectoryReader(DATA_DIR).load_data()
# HuggingFaceのモデルを使って埋め込みに変換
embed_model = HuggingFaceEmbedding(model_name="all-MiniLM-L6-v2")
# 文書と埋め込みをベクトルデータベースに格納
index = VectorStoreIndex.from_documents(documents, embed_model=embed_model)LLMとの連携:作成したインデックス(index)に対して、LLMを組み合わせて検索(クエリ)エンジンを作成します。
query_engine = index.as_query_engine(llm=llm)この llm には、OpenAI、Google、AnthropicなどのAPI経由で使うLLM、またはOllamaのようにローカルにダウンロードして実行するLLMオブジェクトを指定できます。
Ollamaは、モデルをローカルにダウンロードし、自分のマシン上でサーバーとして動かすためのツールです。
検索時には、ユーザーのクエリ(テキスト)を同じ埋め込み空間に変換し、意味的に近いテキストを取得します。
response = ask_engine.query(user_question)LlamaIndexは以下のステップを自動で実行します。
ユーザーの質問を埋め込みに変換
ベクトルデータベースから関連性の高い上位 k 個のテキストを検索
それらを「コンテキスト」としてユーザーの質問を含めたプロンプトにする
LLMに渡して最終的な応答を生成
こうして返される応答は、ユーザーの質問と検索された情報を組み合わせて吟味した、より正確で根拠のあるものになります。
LlamaIndexは、LLMに外部知識を統合するRAGパイプラインを簡単に構築できるライブラリです。文書検索やFAQ応答など、実用的なAIアプリケーション開発などに広く使われています。
LangChain
LangChainは、複数の異なるLLMを統合し、切り替えて利用できる柔軟なフレームワークです。
また、拡張機能として、プロンプトのテンプレート化、長期メモリや状態管理、外部ツール呼び出しなどもサポートしており、より高度な対話型エージェントの設計を簡単に行えます。
さらに、LlamaIndexと組み合わせることで、文書からの情報検索などのRAGシステムを簡単に統合することも可能です。
LangChainでは、例えばOllamaを使ってローカルにダウンロードしたMistralモデルを以下のように簡単に呼び出せます。
from langchain_ollama.llms import OllamaLLM
llm = OllamaLLM(model="mistral")この llm オブジェクトをそのままLlamaIndexに渡すことで、クエリエンジンやチャットエンジンを作成できます。
LlamaIndex側から見ると、中身がどのLLMであれ同じインターフェースを通して相互作用するため、特定のプロバイダに縛られない柔軟な設計が可能です。このため、RAGを実装する文脈では、LlamaIndexとLangChainをセットで語られることが多いです。
外部関数呼び出し / APIの統合
すでに言及したように、LLMを強力なアシスタントやエージェントとして使うためには、外部ツールやサービスと連携して実行を指示できる能力が欠かせません。
ユーザーのリクエストを解析
どのツールやAPIを呼ぶべきかをモデルが決定
実際に外部サービスを呼び出して結果を取得
取得結果を含めて自然な応答を生成
このような外部関数呼び出しやAPI統合は、LLMが生成する特別な形式のテキスト(関数呼び出し命令など)をシステムが文章が生成された後に解釈し、実際にツールやAPIを呼び出し、そのリスポンスを文章に挿入するという仕組みです。
このアイデアをLLMの事前学習に組み込むための代表的な研究のひとつがMetaの「Toolformer」(2023)です。現在は多くの商用LLMが類似の仕組みを実装しています。
関連記事:
‣ ツールフォーマー:メタの言語モデルはAPIで検索エンジン、電卓、カレンダーを使う
実装・運用を支えるインフラ
LLMは数十億〜数千億パラメータを持つため、そのままでは非常に大きな計算資源とコストが必要です。実際にアプリケーションとして使うには、推論を高速化・軽量化し、ユーザーに応答を返す「サービング」を最適化することが不可欠です。
モデルサービングとは
モデルサービングは、LLMをAPIやサービスとして呼び出すための仕組みを指します。つまり、学習済みモデルを効率的に稼働させ、最適な推論環境を提供することを目指しています。「推論サーバー」(Inference Server)とも呼ばれます。
代表的なオープンソースツールとして、以下のものがあります。
これらのツールは、本格的なサーバー運用や高負荷環境(主にLinux + NVIDIA GPU)が想定されており、ユーザー自身が用意したモデルをサーバーにロードして提供します。
一方で、OllamaはローカルPCや小規模環境での手軽なLLM実行やテストを目的としたツールです。Windows、macOS、Linuxで動作し、CPUやApple Silicon(M1/M2など)にも対応しています。また、公式モデルライブラリから簡単にモデルをダウンロードし、その場でサーバーとして動かせます。
これにより、大規模なサーバーインフラを用意せずとも、個人の開発環境で手軽にLLMを動かし、実験やアプリケーション開発を行うことが可能です。
モデルの量子化(Quantization)
モデルの量子化は、モデルの重みを低精度に変換し、GPUメモリの消費を削減し、計算コストを下げて推論を高速化する技術です。特にサービング時に有効で、同じハードウェアでより多くのリクエストを処理できるようになります。
「低精度」とは、典型的には float32 から float16、bfloat16、int8、さらに4ビットなどにすることを指します。計算精度や応答の品質は少し落ちる可能性がありますが、量子化対応の学習や混合精度などの工夫により、多くのケースで実用上十分な応答品質を保つことが可能です。
bfloat16(Brain Floating Point 16-bit) は、Googleが開発した16ビットの浮動小数点フォーマットです。float32は仮数23ビット、指数8ビットで、bfloat16は仮数7ビット、指数8ビットとなっています。
つまり、bfloat16は指数部が8ビットでfloat32と同じため、非常に大きな数や非常に小さな数の範囲は同じです。ただし仮数部が短いため、小数点以下の精度は粗くなります。ちなみに、float16は仮数10ビット、指数5ビットです。
なお、混合精度(Mixed Precision)とは、たとえば、重要な層は float16、他は int8 などと量子化の度合いのバランスをとる手法です。
また、量子化では単に重みの精度を小さくするだけでなく、複数の線形変換や活性化をまとめて一括で計算する「演算融合」(Operation Fusion)も行われます。
たとえば、「線形変換+活性化」など複数の演算を1つのカーネル(関数)にまとめて計算することで、メモリアクセスを減らし、推論をさらに高速化します。
LoRA(Low-Rank Adaptation)
LoRAの主目的は「ファインチューニングを効率化すること」です。
既存の大規模モデルに対して、少数のパラメータを追加するだけでタスク特化の微調整をすばやく行う手法です。モデル全体を再学習する必要がないため、微調整における計算資源を大幅に抑えられます。
モデルの線形層やアテンション層に「低ランク行列」(LoRAアダプタ)を追加します。元のパラメータは固定(凍結)し、この追加部分だけを学習します。
「低ランク行列」とは、元の行列よりもランク(階数)が小さい行列を指します。ここでいう「ランク」とは、その行列に含まれる独立な情報の量、すなわち一次独立な行や列の最大数のことを意味します。
大規模モデルの重み行列は非常に大きく、数千〜数万次元の行列です。LoRAでは、この「新しいタスクに合わせた微調整部分」を、低ランク行列の積で次のように近似します。
かつ
LoRAを適用した層の最終的な重みは次のようになります。
具体例として、Wが1000×1000の行列(パラメータ数100万)だとします。
- Aを1000×10
- Bを10×1000
とした場合、ABはWと同じ1000×1000サイズの行列に展開されますが、学習するパラメータはA(1000×10)とB(10×1000)の合計2万だけです。
LoRAはファインチューニングを効率化する技術であって、モデル自体を軽量化する技術ではありません。追加分のパラメータがあるため、厳密にはモデルはわずかに重くなります。ただし、LoRAアダプター自体は数MB程度なのに対し、事前学習済みのベースモデルは数GBあるため、非常に軽量に管理・配布できます。
また、推論時にはアダプターとベースモデルの両方を一緒にロードするため、メモリ要件自体は大きく変わりません。タスクごとにLoRAアダプターだけを差し替えて使えるため、実運用では大幅な効率化が可能です。
LoRAは「線形層やアテンション層の低ランク近似」という基本形だけでなく、QLoRAやAdaLoRAなど多数のバリエーションが登場しており、GPUメモリ削減をさらに進めています。
なお、LoRAのような「少数のパラメータだけを効率的に微調整する手法」を総称して「PEFT」(Parameter-Efficient Fine-Tuning)と呼びます。
まとめ:Agentic AIを見越して
2025年は「AIエージェントの年」と言われていますが、その背景には、単なるチャットボットを超えて、自律的・計画的に動けるAIを目指す潮流があります。
そのような文脈においても、LLMを実用化するためには、推論強化、外部知識の利用、ツール呼び出し、長期記憶、軽量化や効率化など、さまざまな技術要素を組み合わせる必要があることに変わりはありません。
Gemini、Claude、ChatGPT、DeepSeekなどの最新モデルも、こうした技術を組み合わせて「ただのテキスト生成」から進化しています。また、これらのモデルやサービスは日々進化しており、新しい技術や成果が次々と登場しています。
今回は触れませんでしたが、複数エージェントの協調や行動計画といった、より高度な統合設計も今後ますます重要になっていくでしょう。
(終わり)