メインコンテンツへスキップ
見出し画像

【第4回 ローカルLLM】推論エンジンと自社データを結合する:ローカルRAGの内部構造とVRAMの最適化

    こんにちは!株式会社EQUES広報部です🐎

    本連載ではこれまで、第2回で「LLMを稼働させるためのVRAM容量とハードウェア要件」を、第3回で「計算資源を効率化し、APIとして外部からモデルを呼び出すためのvLLMやOllamaといった推論エンジンの構築手法」を解説してきました。

    これにより、自社のローカル環境(あるいはセキュアなオンプレミスサーバー)内で、外部ネットワークに依存せずに高性能なAIと対話する基盤が完成しました。

    しかし、ビジネスの現場にLLMを導入する際、次に必ず直面する課題があります。

    それは、「導入したLLMは、自社の就業規則や最新の製品マニュアル、未公開のプロジェクト情報を一切知らない」という事実です。

    そこで第4回では、第2回・第3回で構築したローカル推論環境に自社の専門知識を付与するための標準アーキテクチャ「RAG(Retrieval-Augmented Generation:検索拡張生成)」の内部構造と、それに伴うシステムリソースへの影響について解説します。

    (初心者の方でもわかりやすいように画像での説明も入れていますので、ぜひご一読ください!)

    1. ファインチューニングを避ける理由とRAGの優位性

    💡ファインチューニング(Fine-tuning)とは:
    AIのモデル自体に追加のデータを学習させ、脳内の構造(パラメータ)を書き換えること。時間と高いPCスペックが必要です。

    「AIに社内データを学習させたい」と考えた際、直感的にモデル自体を再訓練する「ファインチューニング(追加学習)」を思い浮かべるかもしれません。しかし、法人における社内知識の統合において、これは多くの場合推奨されません。

    第2回で解説した通り、LLMのパラメータ(重み)は数十GBの巨大なファイルです。推論(読み込み)だけでなく、このパラメータを更新するには、推論時の何倍もの広大なVRAMと計算時間を必要とします。
    また、社内規定が改定されるたびに再学習を行うのは非現実的であり、ハルシネーションを完全に防ぐことも困難です。

    💡ハルシネーション(Hallucination)とは:
     AIが、まるで事実であるかのように堂々と「嘘」や「でたらめ」を出力してしまう現象のこと。

    これに対し、RAGはモデルの「重み」を一切書き換えることをしません。

    💡RAG(検索拡張生成 - Retrieval-Augmented Generation):
    大規模言語モデルに、外部のデータベースから検索した情報を組み合わせて回答を生成させる技術。モデル自体の再学習を行わず、最新かつ正確な情報を出力に反映させることができます。

    「外部のデータベースから関連する資料を瞬時に検索し、それをプロンプト(指示文)に結合してLLMに読ませる」というアプローチをとります。推論エンジン(vLLMやOllama)に渡す直前に「カンペ」を差し込むことで、計算コストを抑えつつ、常に最新で正確な情報に基づいた回答を生成させます。

    画像

    2. エンベディングとベクトル検索:意味の近さを高速計算する

    RAGのシステムにおいて、「ユーザーの質問」と「膨大な社内データ」を照らし合わせるために不可欠なのが「エンベディング(Embedding)モデル」と「ベクトルデータベース」です。

    💡エンベディング(Embedding)とは?
     人間の言葉(テキスト)を、AIが計算しやすいように「数字の配列(ベクトル)」に変換する技術のこと。これにより、AIは言葉の「意味の近さ」を理解できるようになります。

    従来のキーワード検索では、表記揺れや同義語を取りこぼす限界がありました。エンベディングモデルは、文章の「意味」や「文脈」を理解し、それを数百次元の「数値の配列(ベクトル)」に変換します。

    1. 社内データのベクトル化: あらかじめ、社内マニュアルや議事録をベクトル化し、専用のデータベースに保存しておきます。(ベクトルデータベース)

    2. 質問の照合: ユーザーが「育休の手続きは?」と質問すると、その質問もベクトル化され、データベース内で「数学的な距離が最も近い(=意味が最も関連している)」社内データが瞬時に抽出されます。(エンベディングモデルの使用)

    画像

    3. RAG環境におけるKVキャッシュの肥大化とvLLMの真価

    ここで、第2回と第3回の知識が重要になります。

    RAGはモデルの再学習が不要なためVRAMに優しいと思われがちですが、推論時の動作には特有の負荷がかかります。RAGは、検索して抽出した数千文字に及ぶ社内データを、ユーザーの質問と一緒に推論エンジン(API)へ送信します。つまり、入力されるプロンプト(コンテキスト長)が劇的に長くなるのです。

    画像

    第2回で解説した通り、コンテキスト長が長くなると、LLMが文脈を維持するための「KVキャッシュ」がVRAM上で肥大化します(KVキャッシュについては第二回参照)。長文の資料を複数読み込ませた結果、VRAM容量をオーバーフローし、システムがクラッシュするリスクが高まります。

    ここで真価を発揮するのが、第3回で紹介した推論エンジン「vLLM」です。
    vLLMが搭載する「PagedAttention」技術は、この肥大化しやすいKVキャッシュをページ単位で効率的に分割・管理し、VRAMの断片化による無駄を極限まで減らします。

    ローカル環境で本格的なRAGシステム(長文の社内データを読み込ませるシステム)を安定稼働させるためには、単なるハードウェアの増強だけでなく、vLLMのような高度なメモリ管理機構を持った推論エンジンとの組み合わせが不可欠なのです。

    4. まとめ:完全な閉域網で実現するセキュアDX

    「エンベディングモデル」、「ベクトルデータベース」、「推論エンジン(vLLM/Ollama)」、「LLM本体」。これらすべてのコンポーネントをローカルネットワーク内に構築することで、完全な閉域網での知識検索システム(ローカルRAG)が完成します。
    人事情報、未公開の特許データ、顧客の契約情報など、クラウドのAPIには1バイトたりとも送信できない最高機密データを、社員が自然言語で対話的に検索・要約できるようになります。このハードウェアとソフトウェアの統合的なアーキテクチャ設計こそが、データセキュリティを担保した上での真のDXの起爆剤になるでしょう。

    次回予告

    インフラ層(ハードウェアとVRAM)、ミドルウェア層(推論エンジンとAPI)、そしてアーキテクチャ層(RAGとベクトル検索)までの設計が完了しました。最後にシステムの中核に据えるべきは「どのAIモデルを選ぶか」です。
    次回は、「オープンモデルの選定基準:パラメータ規模別・日本語対応ローカルLLMの最新動向」について、これまでの要件を踏まえた最適なモデルの選び方を解説します。次回もご期待ください。

    EQUES公式HPはこちらから!


     
     
    東大松尾研発のAIスタートアップ、株式会社EQUES(エクエス)です!🚀 最先端のAI技術で社会課題を解決するため、日々奮闘しています。AIに関する解説や開発の裏側、最新ニュースの考察などをカジュアルにお届けします。 ぜひ気軽にコメント・フォローください✨よろしくお願いします!

    あなたへのおすすめ