💨

Azure×Dify×OllamaでローカルLLM RAG環境を構築する手順

に公開

はじめに

生成AIの業務活用が進む中で、「社内データを外部に出せない」「APIコストが継続的にかかる」といった課題に直面していませんか。

対象読者

  • 社内データを外部に出さずにRAG(Retrieval-Augmented Generation)環境を構築したい方
  • APIコストを削減するためローカルLLMを検証したい方
  • Dify + Ollama構成をハンズオンで試したい方

本記事では、OpenAI APIを使わずにローカル環境で動くRAGチャットボットを構築します。
Azure上のRHELサーバーにDifyをセルフホストし、OllamaとローカルLLM(phi-3)を組み合わせることで、閉域環境でも利用可能なAI基盤を作成します。

結論(この記事でできること)

  • DifyとOllamaを連携し、ローカルLLMを使ったチャットボットを構築できる
  • OpenAI APIを使わず、閉域環境で動作するRAG環境を構築できる
  • 社内データ(CSVやPDF)を取り込み、検索可能なナレッジベースを作成できる
  • Azure上のLinuxサーバー1台で、AI基盤を自己完結で構築できる
  • セキュリティ制約のある環境でも運用可能な構成を実装できる

全体構成(アーキテクチャ)

前提条件

項目 内容
クラウド Azure
OS RHEL 9
CPU 4vCPU
メモリ 16GB
ストレージ 128GB
GPU なし

Difyとは

Difyは生成AIを活用したチャットボットや業務アプリをノーコードで構築できるOSSのプラットフォームです。
OpenAIやOllamaなどのLLMと連携でき、RAGやワークフロー機能を備えています。
特に、UI上でモデル設定やプロンプト設計、ナレッジ連携まで完結できるため、コードを書かずにAIアプリを構築できる点が大きな特徴です。

Ollamaとは

Ollamaはローカル環境でLLM(大規模言語モデル)を実行できるツールです。
LlamaやPhiなどのモデルを簡単にダウンロード・起動できます。
本記事では、OllamaをLLM実行基盤として使用し、Difyからローカルモデルを呼び出します。

RAGとは

RAGは外部データを検索してから回答を生成する仕組みです。
事前に登録したドキュメント(PDFやCSVなど)を参照し、LLM単体では答えられない情報にも対応できます。
本記事では、Difyのナレッジ機能を利用して社内データを検索し回答に反映するRAGを構築します。

構築パターン比較

構築パターンと料金体系の全体像。
※ 本記事ではSaaS版ではなくセルフホステッド版+ローカルLLMを対象としています。

構築方法 難易度 主な用途 特徴 料金体系
Dify Cloud(SaaS) ★ 学習・PoC アカウント作成だけで利用可能。インフラ管理が不要 Difyの月額料金+メッセージクレジット。無料プランあり。Professionalは月額$59、Teamは月額$159などのプランがある
セルフホステッド版 ★★ 開発・検証・企業利用 自社環境にDifyを構築し、OpenAIやAzure OpenAIなど外部LLMと連携 Dify Community版は基本無料。ただし、サーバー費用と外部LLM API利用料が発生する
セルフホステッド版+ローカルLLM ★★★ 閉域環境・高機密データ利用 DifyとLLMを自社環境で動かす。外部APIにデータを送らず利用可能 Dify本体は基本無料。LLM API料金は不要だが、GPU/CPUサーバー費用、ストレージ、運用費が発生する

環境構築

本記事の検証構成

項目 内容
Dify Community Edition
LLM Phi-3
Embedding nomic-embed-text
構成 Dify + Ollama

Step 1:Dockerのインストール

本記事では、Azure上のLinux仮想マシン(RHEL 9)にDifyとOllamaを構築します。以降の手順はすべて、このサーバー上で実行します。

sudo dnf update -y
sudo dnf install -y git curl
sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo dnf install -y docker-ce docker-ce-cli containerd.io
sudo systemctl enable docker
sudo systemctl start docker

サービス確認:

sudo systemctl status docker

Step 2:Ollamaのインストール

sudo dnf install -y zstd
zstd --version
curl -fsSL https://ollama.com/install.sh | sh

サービス確認:

systemctl status ollama

curl http://127.0.0.1:11434/api/tags

Step 3:モデルのダウンロード

ollama pull phi3
ollama run phi3

curl http://127.0.0.1:11434/api/tags

実行結果:
{
"models": [
{"name": "nomic-embed-text:latest"},
{"name": "phi3:latest"}
]
}
※phi3 と nomic-embed-text が表示されれば、Ollamaへのモデル登録は完了

Step 4:外部接続設定

環境変数設定

OLLAMA_BASE_URL=http://<IPアドレス>:11434
sudo systemctl edit ollama

[追加設定]

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

疎通確認:

ss -tulpn | grep 11434

curl http://<IPアドレス>:11434/api/tags

Step 5:Difyの起動

docker compose up -d
docker ps

ブラウザアクセス

Step 1:アカウント設定

以下URLにアクセスしアカウントの設定を行います。
URL:http://<IPアドレス>/install

Step 2:Difyでアプリ作成

Difyへログイン後、左メニューの 「スタジオ」 を選択し、「最初から作成」 をクリックします。

アプリの名前を入力し、「作成する」をクリックします。

Step 3:モデルインストール

フローのLLMを選択し、「AIモデル」を展開し、「設定」をクリックします。

「ollama」を検索し、「インストール」をクリックします。

「モデルを追加」をクリックします。

Model NameおよびBase URLを入力、Model Typeに「LLM」を選択し、「追加」をクリックします。

動作確認:
変更が正常に行われたことを確認し、「システムモデル設定」をクリックします。

AIモデルに先ほど作成したモデルが指定されていることを確認し、「プレビュー」をクリックします。

質問が返ってくることを確認します。

RAG構築手順

Step 1:ナレッジ作成

RAGで利用する埋め込みモデルとして、今回は nomic-embed-text を利用します。

ollama pull nomic-embed-text
ollama list

「モデルプロバイダー」から「モデルの追加」をクリックします。

Model NameおよびBase URLを入力、Model Typeに「Text Embedding」を選択し、「追加」をクリックします。

「システムモデル設定」をクリックします。

埋め込みモデルに作成したモデルを指定して「保存」をクリックします。

「ナレッジ」を選択し、「すぐに使えるナレッジベースを作成」をクリックします。

[参考]
取り込むデータ(社員情報サンプル.csv)

ファイルをドラッグして、「次へ」をクリックします。

「保存して処理」をクリックします。

ナレッジベースが作成されたことを確認します。

Step 2:知識検索を追加

フローの「+」をクリックし、「ユーザー入力」と「LLM」の間に「知識検索」を追加します。「知識検索」を選択し、ナレッジベースの「+」をクリックします。

参照するCSVを選択し、「追加」をクリックします。

Step 3:プロンプト設定

フローのLLMを選択し、SYSTEM内にメッセージを入力します。

[指示内容]

あなたは社内情報検索アシスタントです。
以下の検索結果を参考に回答してください。

**検索結果:**
{{#context#}}

検索結果に情報が無い場合は
「ナレッジベースに情報が見つかりませんでした」
と回答してください

コンテキスト欄を選択し「result」を選択します。

動作確認:
「プレビュー」をクリックして、想定された回答が返ってくることを確認します。

トラブルシューティング

Ollamaに接続できない

  • ポート11434が開いているか確認
  • OLLAMA_HOSTが設定されているか

モデルが表示されない

  • ollama listで確認
  • 再度 pull する

Difyから応答が返らない

  • Base URLのIPを確認
  • firewall設定を確認

実際に触って感じたこと

まとめ

DifyはLLMを業務アプリとして使うための基盤です。
特に以下の用途に向いています。

  • 社内FAQボットの構築
  • ドキュメント検索(RAG)
  • API不要のローカルAI環境



次のステップ(応用)

  • Llama3 + GPU構成で高速化
  • ワークフロー機能の活用
  • 社内システムとのAPI連携
AKKODiSコンサルティング

Discussion