0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AWS EC2から自宅のOllamaを呼ぶ|Session Manager・IAM Roles Anywhere・SSH転送

0
Posted at

AWS上のプログラムから、自宅のGPU付きWindows PCで動くOllamaを呼び出す構成です。既存のEC2はSystems Managerで管理済みで、直接SSHを受け付ける送信元IPも限定していました。自宅のIPは許可対象外だったため、既存のSession Managerを中継に使い、Windowsから接続を開始するSSHのリモートポート転送を選びました。VPNやTailscaleとの比較は行っていません。

  • 文章生成は、EC2から送ったリクエストに対して qwen3.5:4b が OK を返しました。
  • 埋め込みは、qwen3-embedding:4b に日本語の短文を送り、1,536次元のベクトルを取得しました。
  • 電源入れ直しでは、1回目は一覧が戻った後の生成で失敗し、原因は特定できませんでした。2回目は一覧が戻った6秒後に生成が成功しました。

今回追加したのは、SSHへ中継する専用Sessionドキュメント、自宅PC用のIAMロールとIAM Roles Anywhereの信頼アンカー・プロファイル、EC2の転送用SSHユーザー、Windowsの起動タスクです。

検証環境と前提

自宅PCはGeForce RTX 3060 Ti(VRAM 8 GB)を搭載しています。以下は検証環境のバージョンです。

コンポーネント バージョン 確認場所と方法
自宅PCのOS Windows 11 自宅Windowsで winver
Ollamaサーバー 0.40.16 構築時の起動ログと、EC2からトンネル経由で呼んだ /api/version の応答
AWS CLI 2.40.3 自宅Windowsで aws --version
Session Managerプラグイン 1.2.896.0 自宅Windowsで session-manager-plugin --version
IAM Roles Anywhere認証ヘルパー 1.8.6(Windows x86-64) 導入時に指定したSHA-256をAWSの配布表と照合
EC2のOS Ubuntu 26.04.1 LTS(Resolute Raccoon) EC2で cat /etc/os-release
EC2のOpenSSHサーバー 10.2p1(Ubuntuパッケージ 2ubuntu3.8、OpenSSL 3.5.5) EC2で sudo /usr/sbin/sshd -V

EC2はSystems Managerの管理対象で、SSHサーバーが稼働している状態から始めます。WindowsではAWS CLI、Session Managerプラグイン、OpenSSHクライアント、認証ヘルパーを用意し、Ollamaに生成と埋め込み用のモデルを入れておきます。EC2側のAPI検証例は curl と jq を使います。

専用CAの作成、TPM鍵を使うCSRの作成、CAによる発行の作業手順は本稿の範囲外です。専用CAの公開証明書と、トンネル用WindowsユーザーのTPM鍵で発行した端末証明書を準備したところから進めます。CSRの作成と発行済み証明書の取り込みには certreq を使えます。Microsoft Learnのcertreqコマンドリファレンス

接続の向きとAPIリクエストの向き

手動確認では、WindowsのAWS CLIへブラウザー認証でログインし、SSH転送が成立するところまで確認しました。その後、電源を入れ直しても接続を作り直せるように、起動タスクで使う認証を端末証明書に切り替えました。

以下は、端末証明書を使う構成の設定例です。EC2の転送ポートには 21180、WindowsのOllamaには標準ポートの 11434 を使います。自分の環境で別のポートを使う場合は、待ち受け設定、SSH転送設定、確認コマンドの番号をそろえてください。

1. 専用Sessionドキュメントを作る

AWS Systems Managerのドキュメントで、種類を Session にして、EC2上のSSHポートに中継する専用ドキュメントを作ります。ここでは名前を OllamaSshBridge とします。

{
  "schemaVersion": "1.0",
  "description": "Connect to the EC2 SSH listener",
  "sessionType": "Port",
  "properties": {
    "portNumber": "22"
  }
}

この 22 はSession ManagerがEC2上で接続するSSHポートです。OllamaのAPI用ポートは後でSSHのリモート転送で指定します。構築前は管理者用のSession ManagerでEC2に入れていたため、EC2のSSM管理設定を引き継ぎました。今回のクライアントは、この専用ドキュメントを明示して接続します。

sessionType は Port です。AWSの公開スキーマでは Standard_Stream はトップレベルの sessionType の別の値で、Port の例では properties に portNumber を指定します。掲載JSONは作成時の記録に沿った例です。保存したカスタム文書とAWS管理文書の既定版を照合する場合は、参照権限を持つ管理用プロファイルで内容を取得できます。OllamaSshBridge は実際に作ったカスタム文書名に置き換えます。

foreach ($name in @('OllamaSshBridge', 'AWS-StartSSHSession')) {
    aws ssm get-document --name $name --document-version '$DEFAULT' `
        --document-format JSON --profile ADMIN_PROFILE `
        --query Content --output text
}

2. 端末証明書で引き受けるIAMロールを作る

どの証明書でロールを引き受けられるか

この構成では専用CAを用意し、CAの公開証明書をRoles Anywhereの信頼アンカーに「外部証明書バンドル」として登録しました。自宅PCでは、トンネル用Windowsユーザーのコンテキストで Microsoft Platform Crypto Provider を使い、エクスポート不可のTPM鍵を作成しました。専用CAで発行した端末証明書には、IAMロールの信頼条件とそろえるCNを使います。

IAMで専用ロールを作り、次の形の信頼ポリシーを設定します。信頼アンカーARNと端末証明書のCNを置き換えます。

{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Principal": {"Service": "rolesanywhere.amazonaws.com"},
    "Action": ["sts:AssumeRole", "sts:TagSession", "sts:SetSourceIdentity"],
    "Condition": {
      "ArnEquals": {"aws:SourceArn": "<TRUST_ANCHOR_ARN>"},
      "StringEquals": {"aws:PrincipalTag/x509Subject/CN": "<DEVICE_CERT_CN>"}
    }
  }]
}

そのロールで何ができるか

権限ポリシーでは、対象EC2一台と専用ドキュメント一件を指定します。次は当時の設定手順に沿った例です。どちらも同じリージョンとアカウントに置き、REGION、ACCOUNT_ID、INSTANCE_ID を置き換えます。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "ssm:StartSession",
      "Resource": [
        "arn:aws:ec2:REGION:ACCOUNT_ID:instance/INSTANCE_ID",
        "arn:aws:ssm:REGION:ACCOUNT_ID:document/OllamaSshBridge"
      ],
      "Condition": {
        "BoolIfExists": {"ssm:SessionDocumentAccessCheck": "true"}
      }
    },
    {
      "Effect": "Allow",
      "Action": ["ssmmessages:OpenDataChannel", "ssm:TerminateSession"],
      "Resource": "arn:aws:ssm:REGION:ACCOUNT_ID:session/*",
      "Condition": {
        "StringEquals": {
          "ssm:resourceTag/aws:ssmmessages:session-id": "${aws:userid}"
        }
      }
    }
  ]
}

Roles Anywhereでプロファイルを作成し、この専用ロールを指定します。Windows側では、トンネル用Windowsユーザーの個人用ストアに端末証明書を登録してTPM鍵と関連付けました。この作業では certreq -accept が CERT_E_CHAINING で止まったため、同じWindowsユーザーで certutil -user -addstore My と -repairstore を使いました。

トンネル用Windowsユーザーの %USERPROFILE%.aws\config に専用プロファイルを追加します。長いコマンドを読みやすくするため、credential_process と後述の ProxyCommand から、それぞれ別の .cmd ファイルを呼び出します。この例では、両方のファイルを C:\Tools に置きます。コマンドを複数行に分けるときは、継続記号の ^ を行末に置き、その後ろに空白を入れないでください。

[profile ollama-tunnel]
region = REGION
credential_process = cmd.exe /d /c C:\Tools\ollama-cert.cmd

C:\Tools\ollama-cert.cmd では実行ファイルのパス、3つのARN、証明書のシリアル番号を環境に合わせます。AWS CLIが標準出力を資格情報として読むため、このファイルの標準出力には認証ヘルパーの結果だけを流します。

@echo off
"C:\Tools\aws_signing_helper.exe" credential-process ^
  --trust-anchor-arn "TRUST_ANCHOR_ARN" ^
  --profile-arn "ROLES_ANYWHERE_PROFILE_ARN" ^
  --role-arn "IAM_ROLE_ARN" ^
  --cert-selector "Key=x509Serial,Value=DEVICE_CERT_SERIAL"

起動タスクと同じWindowsユーザーで aws sts get-caller-identity --profile ollama-tunnel を実行し、想定したIAMロールの一時セッションが返ることを確認します。

今回の実測は専用ロールでの認証成功と、後述する通常シェルの拒否です。別の証明書や他人のセッションに対する拒否までは、この結果から判断できません。

3. EC2のSSHとWindowsの転送先を設定する

EC2に転送用SSHユーザーを用意し、そのために作ったEd25519鍵の公開鍵を登録します。端末証明書に対応するTPM鍵はAWSの認証に使い、Ed25519鍵はEC2上のSSH認証に使います。

次は、当時の制限を Match User にまとめた設定例です。TUNNEL_USER をEC2の転送用SSHユーザーに置き換え、専用の公開鍵ファイルを用意します。既存の Match ブロックとの適用順を確認し、反映前に sudo sshd -t で構文を確認します。

Match User TUNNEL_USER
    AuthorizedKeysFile /etc/ssh/ollama-tunnel-authorized-keys
    PubkeyAuthentication yes
    AuthenticationMethods publickey
    GatewayPorts no
    AllowTcpForwarding remote
    AllowStreamLocalForwarding no
    PermitOpen none
    PermitListen 127.0.0.1:21180
    MaxSessions 0

専用ファイルには次の形式で公開鍵を登録します。MaxSessions 0 はシェルなどのセッションチャネルを開かせずに転送を許し、PermitListen はリモート転送の待ち受け先を制限します。

restrict,port-forwarding,permitlisten="127.0.0.1:21180" ssh-ed25519 <PUBLIC_KEY>

トンネル用WindowsユーザーのSSH設定に次の接続先を定義します。事前にEC2のホスト鍵を信頼できる経路で確認し、このWindowsユーザーの既知ホストに登録します。

Host ollama-ec2
    HostName INSTANCE_ID
    User TUNNEL_USER
    IdentityFile ~/.ssh/ollama_tunnel
    IdentitiesOnly yes
    ProxyCommand cmd.exe /d /c C:\Tools\ollama-ssm.cmd %h ollama-tunnel
    RemoteForward 127.0.0.1:21180 127.0.0.1:11434
    StrictHostKeyChecking yes
    BatchMode yes
    ExitOnForwardFailure yes
    ServerAliveInterval 30
    ServerAliveCountMax 3

C:\Tools\ollama-ssm.cmd は、SSHからインスタンスIDとAWS CLIプロファイルを受け取ります。aws.exe と session-manager-plugin.exe が起動タスクの実行ユーザーのPATHでも見つかることを確かめます。

@echo off
aws.exe ssm start-session ^
  --target "%~1" ^
  --document-name OllamaSshBridge ^
  --profile "%~2"

トンネル用の秘密鍵は専用Windowsユーザーの権限で管理し、手動接続用の鍵と区別します。WindowsのOllamaはこの例なら 127.0.0.1:11434 で待ち受けるようにします。次にWindowsで ssh -N -T ollama-ec2 を実行します。転送の左側はEC2の待ち受け、右側はWindows上のOllamaです。検証では、WindowsのSSHログにリモート転送成功が出て、EC2の ss では対象の待ち受けがループバックに限られていました。例えば sudo ss -ltnp 'sport = :21180' でアドレスと待ち受けプロセスを確かめられます。

OllamaのローカルAPIには認証がありません。転送を張っている間、EC2内でそのループバックポートに届くユーザーやプロセスはAPIを呼べます。OllamaのローカルAPIの認証仕様

4. セッションの拒否とOllama APIの成功を確かめる

AWS側の権限を確認するため、Windowsで専用プロファイルを使い、セッションドキュメントを省略して実行します。

aws ssm start-session --target INSTANCE_ID --profile ollama-tunnel

今回の出力は AccessDeniedException で、拒否されたリソースは既定の SSM-SessionManagerRunShell でした。許可された経路は、専用ドキュメントを指定してSSH接続し、指定したポートを転送する経路です。SSM側の拒否結果と、SSH側で許す操作の範囲は別々に確認します。SSH側の追加試験では、検証用のSSH設定ファイルへ接続設定を複製し、そこにある RemoteForward の待ち受けポートだけを、空いている非許可ポート(例 21181)に変更します。ssh -F PATH_TO_TEST_CONFIG -v -N -T ollama-ec2 で起動すると、期待結果は remote port forwarding failed と非ゼロ終了です。本試験で記録したSSH側の結果は、指定ポートへの転送成功とループバックでの待ち受けまでです。

次に以下を EC2のターミナルで実行します。例のポートは RemoteForward の左側とそろえます。サーバーのバージョンは curl --noproxy '*' -fsS --max-time 5 http://127.0.0.1:21180/api/version で確認できます。

curl --noproxy '*' -fsS --max-time 10 http://127.0.0.1:21180/api/tags

curl --noproxy '*' -fsS http://127.0.0.1:21180/api/generate \
  -H 'Content-Type: application/json' \
  -d '{"model":"qwen3.5:4b","prompt":"Reply with only the word OK.","think":false,"stream":false}'

実際の試験では /api/tags でモデル一覧が返り、/api/generate で "response":"OK" と "done":true が返りました。翌日、ラボから同じEC2に入り、/api/embed に日本語の短文と qwen3-embedding:4b、dimensions: 1536 を指定すると、1,536次元の埋め込みが返りました。EC2に jq があれば、次の例で返ったベクトルの長さを表示できます。

curl --noproxy '*' -fsS http://127.0.0.1:21180/api/embed \
  -H 'Content-Type: application/json' \
  -d '{"model":"qwen3-embedding:4b","input":"文書検索に使う日本語の短文です。","dimensions":1536,"truncate":false}' \
  | jq -er '.embeddings[0] | arrays | length'

5. Windowsの起動タスクを作り、電源を入れ直す

起動タスク 実行ユーザー 処理
Ollama LocalService ローカル待ち受けと OLLAMA_NO_CLOUD=1 を指定。実行ユーザーから参照できる場所にモデルを置く。
SSHトンネル 端末証明書とSSH鍵を持つトンネル用Windowsユーザー /api/tags が応答してからSSHを起動し、切断後は待って再試行する。

Ollamaを起動する

以下のスクリプトは、タスクに応じた実行ユーザーと引数を示す掲載用の構成例です。Ollama用は C:\Tools\start-ollama.ps1 として保存します。OLLAMA_HOST はAPIの待ち受け、OLLAMA_MODELS は LocalService が読み書きできるモデルの保存先です。OLLAMA_NO_CLOUD=1 はOllamaのクラウド推論やウェブ検索の機能を無効にします。

$env:OLLAMA_HOST = '127.0.0.1:11434'
$env:OLLAMA_MODELS = 'C:\Ollama\Models'
$env:OLLAMA_NO_CLOUD = '1'
& 'C:\Tools\Ollama\ollama.exe' serve
exit $LASTEXITCODE

Ollamaの実行ファイルのパスは例です。タスクを登録する前に、実行ユーザーからそのパスとモデルにアクセスできるようにします。

Ollamaの応答を待ってSSHを起動する

C:\Tools\start-ollama-tunnel.ps1 に保存します。実機の手順では /api/tags の待ち時間は15秒、SSH終了後の待ち時間は30秒です。サンプルではHTTPの応答が途切れたときにもループが止まらないよう、各問い合わせにタイムアウトを設定しています。

$tagsUri = 'http://127.0.0.1:11434/api/tags'
$sshExe = "$env:WINDIR\System32\OpenSSH\ssh.exe"
$sshConfig = Join-Path $env:USERPROFILE '.ssh\config'

while ($true) {
    try {
        Invoke-RestMethod -Uri $tagsUri -TimeoutSec 5 -ErrorAction Stop |
            Out-Null
    } catch {
        Start-Sleep -Seconds 15
        continue
    }

    & $sshExe -F $sshConfig -N -T ollama-ec2
    Start-Sleep -Seconds 30
}

この待ち合わせで確認するのはOllamaのAPIが応答するところまでです。生成モデルの準備や、EC2から届く生成リクエストの成否は、次の復旧確認で測ります。

タスクスケジューラに登録する

タスクスケジューラの「タスクの作成」で次の2件を登録します。操作は「プログラムの開始」、トリガーは「スタートアップ時」です。

項目 Ollama SSHトンネル
実行ユーザー NT AUTHORITY\LOCAL SERVICE 端末証明書とSSH鍵を登録したトンネル用Windowsユーザー
プログラム powershell.exe powershell.exe
引数 -NoProfile -NonInteractive -File C:\Tools\start-ollama.ps1 -NoProfile -NonInteractive -File C:\Tools\start-ollama-tunnel.ps1

トンネル用タスクは「ユーザーがログオンしているかどうかにかかわらず実行する」を選び、登録時にそのユーザーの資格情報を設定します。両タスクとも常駐するため、「タスクを停止するまでの時間」による停止を無効にします。二重起動を避けるため、タスクが既に実行中の場合は新しいインスタンスを開始しない設定にします。登録後は実行中の状態とEC2側からのAPI応答を確認します。

起動タスクが開始できなかったときは、タスクのイベントに 0x80070569 が出ました。トンネル用Windowsユーザーに「バッチ ジョブとしてログオン」の権限を付けると、起動タスクが実行されました。別の試験では古いSSHセッションがEC2の転送ポートを保持していました。EC2側でリスナーと所有者を確認して該当セッションを終了すると、自動タスクが待ち受けを取得しました。

電源を入れ直す前に、EC2で systemd-run により一時的な確認処理を起動しました。ターミナルを閉じても、/api/tags の応答停止・再開と、その直後の文章生成の結果を journalctl で追えるようにしました。

EC2で復旧時刻を記録する

以下は2回目の検証手順に沿って再構成した確認スクリプトです。先にEC2からモデル一覧と生成が成功することを確かめます。スクリプトは一覧取得が途切れた時刻、一覧が戻った時刻、生成が成功した時刻を記録します。生成は失敗時に限り、この例では最大3回まで試します。

#!/usr/bin/env bash
set -euo pipefail

base='http://127.0.0.1:21180'
body='{"model":"qwen3.5:4b","prompt":"Reply with only the word OK.","think":false,"stream":false}'

tags() {
  curl --noproxy '*' -fsS --max-time 3 "$base/api/tags" >/dev/null
}

until tags 2>/dev/null; do sleep 2; done
echo OLLAMA_READY
while tags 2>/dev/null; do sleep 2; done
echo OLLAMA_OFFLINE
until tags 2>/dev/null; do sleep 2; done
echo OLLAMA_RECONNECTED

for attempt in 1 2 3; do
  echo "BOOT_INFERENCE_ATTEMPT=$attempt"
  if curl --noproxy '*' -fsS --max-time 90 "$base/api/generate" \
      -H 'Content-Type: application/json' -d "$body" |
      jq -e '.done == true and ((.response // "") | (gsub("\\s"; "") == "OK"))' \
      >/dev/null; then
    echo "BOOT_INFERENCE_OK attempt=$attempt"
    exit 0
  fi
  echo "BOOT_INFERENCE_FAILED attempt=$attempt"
  if [ "$attempt" -lt 3 ]; then sleep 5; fi
done
exit 1

EC2上の $HOME/ollama-recovery-check.sh に保存した場合の実行例です。OLLAMA_READY が出てからWindowsの電源を入れ直し、前後のログを同じジャーナルで追います。RuntimeMaxSec=10min は確認処理全体の上限です。

sudo systemd-run --unit=ollama-recovery-check \
  --property=RuntimeMaxSec=10min \
  --uid="$(id -u)" /bin/bash "$HOME/ollama-recovery-check.sh"

sudo journalctl -u ollama-recovery-check -o short-iso -f

電源入れ直しの実測

試験 応答停止を検知 モデル一覧が戻る 文章生成結果
1回目 16:37:33 16:39:04 16:40:19に curl: (52) Empty reply from server。その後、自宅PC内とEC2経由で再試行して成功。
2回目 16:53:29 16:54:59 16:55:05に最初の生成が成功。失敗時にだけ再試行する確認処理を用意したが、再試行は発生しなかった。

時刻はEC2側のログです。1回目は一覧復帰の75秒後に生成エラーが記録されました。2回目は応答停止の検知から一覧復帰まで1分30秒、一覧復帰から最初の生成成功まで6秒です。2回目は生成に失敗した場合の再試行を確認処理に加えましたが、最初のリクエストで成功したため再試行は発生していません。1回目の失敗原因と、同条件での再現性は未確認です。この試験で測ったのはEC2側から見た復旧時刻で、Windowsへの対話ログイン時刻は計測対象に含めていません。

まとめ

Ollamaの復旧を測るときは、EC2から /api/tags が再び返った時刻と、/api/generate が完了した時刻を分けて記録します。今回の1回目は一覧が戻った後に生成で失敗したため、一覧への応答だけで合格にすると障害を見落とします。埋め込みを使うアプリなら、実際のモデルで /api/embed を呼び、返されたベクトルの次元まで確かめると、用途に合った復旧判定になります。

参照資料

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?