
AWSのEC2から自宅のOllamaを呼び出す|GPU付きWindows PCの設定と復旧確認
AWS上のアプリから、自宅のGPU付きWindows PCで動くOllamaに文章生成や文書検索の処理を頼みたい人向けの設定例です。自宅のOllamaをインターネットに直接公開せず、Windowsから先にAWSへ接続し、EC2に依頼の入口を作ります。
私が使ったのは、趣味のシミュレーターに使っていたPCです。まずWindows内でOllamaを確認し、次にAWS経由で手動接続し、最後に電源を入れ直した後の接続を確かめます。 EC2から日本語の文章を送り、文書検索に使う1,536次元の埋め込みも取得できました。電源入れ直し試験では、接続が戻っても1回目の文章生成が失敗しました。
前提 自宅WindowsでOllama、OpenSSHクライアント、AWS CLI、Session Managerプラグインを使います。EC2はSystems Managerの管理下にあり、SSHサーバーが動いているものとします。自動接続には、IAM Roles Anywhereの信頼アンカー(証明書の発行元)、専用ロールを指定したプロファイル、Windowsの端末証明書が必要です。最後の埋め込み確認では、EC2で `jq` を使います。
まず、Windowsの中だけでOllamaを確認する
Ollamaを起動する環境で、待ち受け先を `OLLAMA_HOST=127.0.0.1:11434` に設定します。この例ではWindows側はOllamaの標準ポート `11434`、EC2側の転送入口は任意の例として `21180` を使います。すでに別のポートを使っているなら、その番号を後でSSHの転送設定にも使います。
Windowsの同じPCからモデル一覧と短い文章の生成を確認します。今回の生成モデルは `qwen3.5:4b` です。この時点で生成が通れば、あとでEC2から応答が返らないときに、まずAWSまでの接続経路を調べる手がかりになります。
AWSとWindowsの両側に、手動接続の設定を入れる
EC2へのSSH接続は、許可リストに登録したIPアドレスに限っていました。自宅回線のIPアドレスはリストに入っておらず、直接接続するとタイムアウトしたため、すでにEC2の管理に使っていたAWS Systems ManagerのSession Managerを経由しました。
専用のSessionドキュメントで中継先をEC2のSSHポート(22番)に指定し、自宅PCからSSH接続を張ります。この接続にリモートポート転送を設定すると、EC2の 127.0.0.1 にOllamaへの入り口ができます。EC2上のプログラムがそのポートにHTTPリクエストを送れば、自宅PCから張ったSSHトンネルを通ってOllamaに届く仕組みです。


以下は自宅WindowsのSSH設定例です。長い引数は別ファイルに置き、SSH設定の行を短くしています。`INSTANCE_ID`、`TUNNEL_USER`、`ollama_tunnel`、`OllamaSshBridge`、`ollama-manual` は、自分のインスタンスID・SSHユーザー・鍵・専用ドキュメント・AWS CLIプロファイルに置き換えます。手動接続に使うAWSプロファイルには、対象EC2と専用ドキュメントを使ったセッションの開始権限が必要です。EC2のホスト鍵は、管理用の経路で確かめてからWindowsのSSHに登録します。
Host ollama-ec2
HostName INSTANCE_ID
User TUNNEL_USER
IdentityFile ~/.ssh/ollama_tunnel
IdentitiesOnly yes
ProxyCommand cmd.exe /d /c C:\Tools\ollama-ssm.cmd %h ollama-manual
RemoteForward 127.0.0.1:21180 127.0.0.1:11434
StrictHostKeyChecking yes
ExitOnForwardFailure yes次を例のパス `C:\Tools\ollama-ssm.cmd` に保存します。`%~1` はSSH設定から渡されたインスタンスID、`%~2` はAWS CLIプロファイルです。`^` は行末に置き、後ろに空白を入れません。
@echo off
aws.exe ssm start-session ^
--target "%~1" ^
--document-name OllamaSshBridge ^
--profile "%~2"左がEC2で待ち受ける場所、右が自宅WindowsのOllamaです。 同じ `127.0.0.1` でも、左右で指しているマシンが違います。WindowsのAWS CLIに手動でログインし、SSHの接続名を `ollama-ec2` とした場合は、Windowsで `ssh -N -T ollama-ec2` を実行します。接続を張ったあと、別の管理セッションでEC2のターミナルを開き、左側のポートからモデル一覧と文章生成を順に確認します。次の例では、生成モデルが自宅のOllamaに入っていることが前提です。
curl --noproxy '*' -fsS http://127.0.0.1:21180/api/tags
curl --noproxy '*' -fsS http://127.0.0.1:21180/api/generate \
-H 'Content-Type: application/json' \
--data-binary @- <<'JSON'
{
"model": "qwen3.5:4b",
"prompt": "Reply with only the word OK.",
"think": false,
"stream": false
}
JSON最初のコマンドはOllamaに届くかを確かめるものです。2つ目は実際に生成を頼むもので、今回の試験では応答が `OK`、完了を示す値が `true` になりました。専用ドキュメントの項目は、AWSのSessionドキュメント仕様を参照してください。
自動化する段階で、証明書と起動タスクを足す
離れた場所から使うたびに自宅PCの前でAWSにログインする運用では、電源を入れ直したときに現地の操作が必要になります。そこで、AWSに接続するための認証を起動タスクでも使えるようにしました。
AWSへの接続とEC2へのSSH接続で、認証は二段あります。
AWSへの認証には端末証明書を使います。 IAM Roles Anywhereは、信頼アンカーに登録した発行元をもとに端末証明書を検証し、接続専用のIAMロールで使う一時認証情報を発行します。IAMロールは、この端末にAWS上のどの操作を許すかを定める権限のまとまりです。
EC2へのSSH認証には専用のSSH鍵を使います。 EC2のSSHサーバーが公開鍵で認証し、転送用ユーザーとして接続を受け付けます。
自動接続用のAWSプロファイルを作る
専用WindowsアカウントのAWS CLI設定(`%USERPROFILE%.aws\config`)にプロファイルを作成します。下の設定例とバッチファイルで、`REGION`、3つのARN、`DEVICE_CERT_SERIAL`、認証ヘルパーのパスを置き換えてください。端末証明書は、そのアカウントのWindows証明書ストアからシリアル番号で選びます。設定後に同じアカウントで `aws sts get-caller-identity --profile ollama-tunnel` を実行し、想定した専用ロールが返ることを確認します。
[profile ollama-tunnel]
region = REGION
credential_process = cmd.exe /d /c C:\Tools\ollama-cert.cmd次を例のパス `C:\Tools\ollama-cert.cmd` に保存します。認証情報はAWS CLIが標準出力から読み取るため、このバッチファイルには案内用の出力を足さないようにします。
@echo off
C:\Tools\aws_signing_helper.exe credential-process ^
--trust-anchor-arn TRUST_ANCHOR_ARN ^
--profile-arn ROLES_ANYWHERE_PROFILE_ARN ^
--role-arn IAM_ROLE_ARN ^
--cert-selector Key=x509Serial,Value=DEVICE_CERT_SERIAL認証ヘルパーの引数はAWSのIAM Roles Anywhere認証ヘルパーの仕様を参照してください。
接続専用ロールの権限ポリシーのうち、セッション開始を許可する部分は次の形です。`ollama-ssm.cmd` に指定した文書名とそろえ、`REGION`、`ACCOUNT_ID`、`INSTANCE_ID` を置き換えます。実際の構成では、これに自分のセッションのデータチャネルを開く権限と終了する権限も付けました。
{
"Effect": "Allow",
"Action": "ssm:StartSession",
"Resource": [
"arn:aws:ec2:REGION:ACCOUNT_ID:instance/INSTANCE_ID",
"arn:aws:ssm:REGION:ACCOUNT_ID:document/OllamaSshBridge"
],
"Condition": {
"BoolIfExists": {"ssm:SessionDocumentAccessCheck": "true"}
}
}Windowsの起動タスクを二つ登録する
Ollamaの起動タスクは `LocalService` で実行します。ローカルの待ち受けを指定し、モデルはこのアカウントから参照できる場所に置きます。
SSHトンネルの起動タスクは端末証明書とSSH鍵を持つ専用Windowsアカウントで実行します。自宅側の `/api/tags` の応答を待ち、手動接続の例の `ProxyCommand` でプロファイルを `ollama-tunnel` に切り替えてSSHを起動します。SSHが終了したら待って再試行します。
`/api/tags` は、SSHタスクが接続を始めるためにローカルAPIの応答を待つ条件です。生成できるかは、トンネルを張ったあとにEC2から `/api/generate` を実行して確認します。1回目の試験で生成が途切れた原因と、この待ち合わせ条件との関係は特定できていません。
通常の管理用シェルが拒否されることも確かめる
接続用IAMロールのセッション開始権限は、対象EC2と専用Sessionドキュメントに絞りました。この資格情報でドキュメントを指定せず、通常のSession Managerのシェルを要求したところ、AWSは `AccessDeniedException` を返しました。専用ドキュメントを指定したSSH経路では、EC2からOllamaの応答が返りました。
EC2の公開鍵には `restrict,port-forwarding,permitlisten="127.0.0.1:21180"` の形で制限を付けます。SSHサーバー側の設定例では `AllowTcpForwarding remote` と `MaxSessions 0` を使い、専用ユーザーをリモート転送用途に絞ります。実機では専用鍵の `permitlisten` が認識され、EC2側の待ち受けがループバックにあることを確認しました。
OllamaのローカルAPIには認証がありません。 転送がつながっている間は、EC2内でそのループバックポートに届くユーザーやプロセスもAPIを呼べます。ループバックに限定する設定は、EC2の外から転送ポートへ直接つながる範囲を絞るためのものです。OllamaのAPI認証の仕様
動かなかったときは、どこで止まったかによって確認する場所が変わります。今回は、タスクが起動しない原因はWindowsの「バッチ ジョブとしてログオン」の権限不足でした。タスクは動くのに転送できないときは、古いSSHセッションがEC2側のポートを保持していました。Windowsのタスクの記録を見たあと、EC2で次のコマンドを実行すると、転送ポートの待ち受けと、表示権限があればプロセスを確認できます。
sudo ss -ltnp 'sport = :21180'最後に、EC2から普段頼む仕事を実行する
電源を入れ直す試験の1回目は、モデル一覧が再び取れても、その直後の文章生成が `Empty reply from server` で途切れました。失敗後は、まず自宅PC内で文章生成が通ることを確認し、EC2経由でも生成をやり直して成功しました。この確認で、最初の生成が途切れた原因までは特定できませんでした。図の75秒は、モデル一覧が戻った時刻から、生成のエラーが記録された時刻までの差です。

2回目は、生成に失敗した場合にだけ再試行できるよう、EC2側の確認処理を変えて試しました。2回目の実測では、EC2が応答停止を検知してから1分30秒で一覧が戻り、その6秒後に最初の文章生成が成功しました。この試験で再試行は発生しませんでした。2回目は確認処理を変更しており、1回目と同じ条件での再現性は未確認です。
後日、同じ経路から文書検索用の埋め込みも試しました。次はEC2上でリクエストを送り、返った最初のベクトルの要素数を表示する例です。試験では `qwen3-embedding:4b` に `dimensions: 1536` を指定し、日本語の短文から1,536次元のベクトルを取得しました。
curl --noproxy '*' -fsS http://127.0.0.1:21180/api/embed \
-H 'Content-Type: application/json' \
--data-binary @- <<'JSON' | jq -er '.embeddings[0] | arrays | length'
{
"model": "qwen3-embedding:4b",
"input": "文書検索に使う日本語の短文です。",
"dimensions": 1536,
"truncate": false
}
JSON1536同じ構成を組むなら、Windows内で処理が通る、EC2から手動で同じ処理が通る、電源を入れ直したあともEC2からその処理が通る、の順に確かめると、どの設定から調べるかを絞れます。アプリのために接続を作るなら、最後の合格条件には、モデル一覧の取得に続いて、そのアプリが実際に頼む処理を入れておきます。
Session Manager、IAM Roles Anywhere、SSH転送の設定手順と、再起動後の接続確認はQiitaにまとめました。