Azure×Dify×OllamaでローカルLLM RAG環境を構築する手順
はじめに
生成AIの業務活用が進む中で、「社内データを外部に出せない」「APIコストが継続的にかかる」といった課題に直面していませんか。
対象読者
- 社内データを外部に出さずにRAG(Retrieval-Augmented Generation)環境を構築したい方
- APIコストを削減するためローカルLLMを検証したい方
- Dify + Ollama構成をハンズオンで試したい方
本記事では、OpenAI APIを使わずにローカル環境で動くRAGチャットボットを構築します。
Azure上のRHELサーバーにDifyをセルフホストし、OllamaとローカルLLM(phi-3)を組み合わせることで、閉域環境でも利用可能なAI基盤を作成します。
結論(この記事でできること)
- DifyとOllamaを連携し、ローカルLLMを使ったチャットボットを構築できる
- OpenAI APIを使わず、閉域環境で動作するRAG環境を構築できる
- 社内データ(CSVやPDF)を取り込み、検索可能なナレッジベースを作成できる
- Azure上のLinuxサーバー1台で、AI基盤を自己完結で構築できる
- セキュリティ制約のある環境でも運用可能な構成を実装できる
全体構成(アーキテクチャ)

前提条件
| 項目 | 内容 |
|---|---|
| クラウド | Azure |
| OS | RHEL 9 |
| CPU | 4vCPU |
| メモリ | 16GB |
| ストレージ | 128GB |
| GPU | なし |
Difyとは
Difyは生成AIを活用したチャットボットや業務アプリをノーコードで構築できるOSSのプラットフォームです。
OpenAIやOllamaなどのLLMと連携でき、RAGやワークフロー機能を備えています。
特に、UI上でモデル設定やプロンプト設計、ナレッジ連携まで完結できるため、コードを書かずにAIアプリを構築できる点が大きな特徴です。
Ollamaとは
Ollamaはローカル環境でLLM(大規模言語モデル)を実行できるツールです。
LlamaやPhiなどのモデルを簡単にダウンロード・起動できます。
本記事では、OllamaをLLM実行基盤として使用し、Difyからローカルモデルを呼び出します。
RAGとは
RAGは外部データを検索してから回答を生成する仕組みです。
事前に登録したドキュメント(PDFやCSVなど)を参照し、LLM単体では答えられない情報にも対応できます。
本記事では、Difyのナレッジ機能を利用して社内データを検索し回答に反映するRAGを構築します。
構築パターン比較
構築パターンと料金体系の全体像。
※ 本記事ではSaaS版ではなくセルフホステッド版+ローカルLLMを対象としています。
| 構築方法 | 難易度 | 主な用途 | 特徴 | 料金体系 |
|---|---|---|---|---|
| Dify Cloud(SaaS) | ★ | 学習・PoC | アカウント作成だけで利用可能。インフラ管理が不要 | Difyの月額料金+メッセージクレジット。無料プランあり。Professionalは月額$59、Teamは月額$159などのプランがある |
| セルフホステッド版 | ★★ | 開発・検証・企業利用 | 自社環境にDifyを構築し、OpenAIやAzure OpenAIなど外部LLMと連携 | Dify Community版は基本無料。ただし、サーバー費用と外部LLM API利用料が発生する |
| セルフホステッド版+ローカルLLM | ★★★ | 閉域環境・高機密データ利用 | DifyとLLMを自社環境で動かす。外部APIにデータを送らず利用可能 | Dify本体は基本無料。LLM API料金は不要だが、GPU/CPUサーバー費用、ストレージ、運用費が発生する |
環境構築
本記事の検証構成
| 項目 | 内容 |
|---|---|
| Dify | Community Edition |
| LLM | Phi-3 |
| Embedding | nomic-embed-text |
| 構成 | Dify + Ollama |
Step 1:Dockerのインストール
本記事では、Azure上のLinux仮想マシン(RHEL 9)にDifyとOllamaを構築します。以降の手順はすべて、このサーバー上で実行します。
sudo dnf update -y
sudo dnf install -y git curl
sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo dnf install -y docker-ce docker-ce-cli containerd.io
sudo systemctl enable docker
sudo systemctl start docker
サービス確認:
sudo systemctl status docker

Step 2:Ollamaのインストール
sudo dnf install -y zstd
zstd --version
curl -fsSL https://ollama.com/install.sh | sh

サービス確認:
systemctl status ollama

curl http://127.0.0.1:11434/api/tags

Step 3:モデルのダウンロード
ollama pull phi3
ollama run phi3

curl http://127.0.0.1:11434/api/tags
実行結果:
{
"models": [
{"name": "nomic-embed-text:latest"},
{"name": "phi3:latest"}
]
}
※phi3 と nomic-embed-text が表示されれば、Ollamaへのモデル登録は完了
Step 4:外部接続設定
環境変数設定
OLLAMA_BASE_URL=http://<IPアドレス>:11434
sudo systemctl edit ollama
[追加設定]
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
疎通確認:
ss -tulpn | grep 11434

curl http://<IPアドレス>:11434/api/tags

Step 5:Difyの起動
docker compose up -d
docker ps

ブラウザアクセス
Step 1:アカウント設定
以下URLにアクセスしアカウントの設定を行います。
URL:http://<IPアドレス>/install

Step 2:Difyでアプリ作成
Difyへログイン後、左メニューの 「スタジオ」 を選択し、「最初から作成」 をクリックします。

アプリの名前を入力し、「作成する」をクリックします。

Step 3:モデルインストール
フローのLLMを選択し、「AIモデル」を展開し、「設定」をクリックします。

「ollama」を検索し、「インストール」をクリックします。

「モデルを追加」をクリックします。

Model NameおよびBase URLを入力、Model Typeに「LLM」を選択し、「追加」をクリックします。

動作確認:
変更が正常に行われたことを確認し、「システムモデル設定」をクリックします。

AIモデルに先ほど作成したモデルが指定されていることを確認し、「プレビュー」をクリックします。

質問が返ってくることを確認します。

RAG構築手順
Step 1:ナレッジ作成
RAGで利用する埋め込みモデルとして、今回は nomic-embed-text を利用します。
ollama pull nomic-embed-text
ollama list

「モデルプロバイダー」から「モデルの追加」をクリックします。

Model NameおよびBase URLを入力、Model Typeに「Text Embedding」を選択し、「追加」をクリックします。

「システムモデル設定」をクリックします。

埋め込みモデルに作成したモデルを指定して「保存」をクリックします。

「ナレッジ」を選択し、「すぐに使えるナレッジベースを作成」をクリックします。

[参考]
取り込むデータ(社員情報サンプル.csv)

ファイルをドラッグして、「次へ」をクリックします。

「保存して処理」をクリックします。

ナレッジベースが作成されたことを確認します。

Step 2:知識検索を追加
フローの「+」をクリックし、「ユーザー入力」と「LLM」の間に「知識検索」を追加します。「知識検索」を選択し、ナレッジベースの「+」をクリックします。

参照するCSVを選択し、「追加」をクリックします。

Step 3:プロンプト設定
フローのLLMを選択し、SYSTEM内にメッセージを入力します。

[指示内容]
あなたは社内情報検索アシスタントです。
以下の検索結果を参考に回答してください。
**検索結果:**
{{#context#}}
検索結果に情報が無い場合は
「ナレッジベースに情報が見つかりませんでした」
と回答してください
コンテキスト欄を選択し「result」を選択します。

動作確認:
「プレビュー」をクリックして、想定された回答が返ってくることを確認します。

トラブルシューティング
Ollamaに接続できない
- ポート11434が開いているか確認
- OLLAMA_HOSTが設定されているか
モデルが表示されない
- ollama listで確認
- 再度 pull する
Difyから応答が返らない
- Base URLのIPを確認
- firewall設定を確認
実際に触って感じたこと
まとめ
DifyはLLMを業務アプリとして使うための基盤です。
特に以下の用途に向いています。
- 社内FAQボットの構築
- ドキュメント検索(RAG)
- API不要のローカルAI環境
次のステップ(応用)
- Llama3 + GPU構成で高速化
- ワークフロー機能の活用
- 社内システムとのAPI連携
Discussion