メインコンテンツへスキップ
見出し画像

AWSのEC2から自宅のOllamaを呼び出す|GPU付きWindows PCの設定と復旧確認

    AWS上のアプリから、自宅のGPU付きWindows PCで動くOllamaに文章生成や文書検索の処理を頼みたい人向けの設定例です。自宅のOllamaをインターネットに直接公開せず、Windowsから先にAWSへ接続し、EC2に依頼の入口を作ります。

    私が使ったのは、趣味のシミュレーターに使っていたPCです。まずWindows内でOllamaを確認し、次にAWS経由で手動接続し、最後に電源を入れ直した後の接続を確かめます。 EC2から日本語の文章を送り、文書検索に使う1,536次元の埋め込みも取得できました。電源入れ直し試験では、接続が戻っても1回目の文章生成が失敗しました。

    前提 自宅WindowsでOllama、OpenSSHクライアント、AWS CLI、Session Managerプラグインを使います。EC2はSystems Managerの管理下にあり、SSHサーバーが動いているものとします。自動接続には、IAM Roles Anywhereの信頼アンカー(証明書の発行元)、専用ロールを指定したプロファイル、Windowsの端末証明書が必要です。最後の埋め込み確認では、EC2で `jq` を使います。

    まず、Windowsの中だけでOllamaを確認する

    Ollamaを起動する環境で、待ち受け先を `OLLAMA_HOST=127.0.0.1:11434` に設定します。この例ではWindows側はOllamaの標準ポート `11434`、EC2側の転送入口は任意の例として `21180` を使います。すでに別のポートを使っているなら、その番号を後でSSHの転送設定にも使います。

    Windowsの同じPCからモデル一覧と短い文章の生成を確認します。今回の生成モデルは `qwen3.5:4b` です。この時点で生成が通れば、あとでEC2から応答が返らないときに、まずAWSまでの接続経路を調べる手がかりになります。

    AWSとWindowsの両側に、手動接続の設定を入れる

    EC2へのSSH接続は、許可リストに登録したIPアドレスに限っていました。自宅回線のIPアドレスはリストに入っておらず、直接接続するとタイムアウトしたため、すでにEC2の管理に使っていたAWS Systems ManagerのSession Managerを経由しました。

    専用のSessionドキュメントで中継先をEC2のSSHポート(22番)に指定し、自宅PCからSSH接続を張ります。この接続にリモートポート転送を設定すると、EC2の 127.0.0.1 にOllamaへの入り口ができます。EC2上のプログラムがそのポートにHTTPリクエストを送れば、自宅PCから張ったSSHトンネルを通ってOllamaに届く仕組みです。

    画像
    画像

    以下は自宅WindowsのSSH設定例です。長い引数は別ファイルに置き、SSH設定の行を短くしています。`INSTANCE_ID`、`TUNNEL_USER`、`ollama_tunnel`、`OllamaSshBridge`、`ollama-manual` は、自分のインスタンスID・SSHユーザー・鍵・専用ドキュメント・AWS CLIプロファイルに置き換えます。手動接続に使うAWSプロファイルには、対象EC2と専用ドキュメントを使ったセッションの開始権限が必要です。EC2のホスト鍵は、管理用の経路で確かめてからWindowsのSSHに登録します。

    Host ollama-ec2
        HostName INSTANCE_ID
        User TUNNEL_USER
        IdentityFile ~/.ssh/ollama_tunnel
        IdentitiesOnly yes
        ProxyCommand cmd.exe /d /c C:\Tools\ollama-ssm.cmd %h ollama-manual
        RemoteForward 127.0.0.1:21180 127.0.0.1:11434
        StrictHostKeyChecking yes
        ExitOnForwardFailure yes

    次を例のパス `C:\Tools\ollama-ssm.cmd` に保存します。`%~1` はSSH設定から渡されたインスタンスID、`%~2` はAWS CLIプロファイルです。`^` は行末に置き、後ろに空白を入れません。

    @echo off
    aws.exe ssm start-session ^
      --target "%~1" ^
      --document-name OllamaSshBridge ^
      --profile "%~2"

    左がEC2で待ち受ける場所、右が自宅WindowsのOllamaです。 同じ `127.0.0.1` でも、左右で指しているマシンが違います。WindowsのAWS CLIに手動でログインし、SSHの接続名を `ollama-ec2` とした場合は、Windowsで `ssh -N -T ollama-ec2` を実行します。接続を張ったあと、別の管理セッションでEC2のターミナルを開き、左側のポートからモデル一覧と文章生成を順に確認します。次の例では、生成モデルが自宅のOllamaに入っていることが前提です。

    curl --noproxy '*' -fsS http://127.0.0.1:21180/api/tags
    
    curl --noproxy '*' -fsS http://127.0.0.1:21180/api/generate \
      -H 'Content-Type: application/json' \
      --data-binary @- <<'JSON'
    {
      "model": "qwen3.5:4b",
      "prompt": "Reply with only the word OK.",
      "think": false,
      "stream": false
    }
    JSON

    最初のコマンドはOllamaに届くかを確かめるものです。2つ目は実際に生成を頼むもので、今回の試験では応答が `OK`、完了を示す値が `true` になりました。専用ドキュメントの項目は、AWSのSessionドキュメント仕様を参照してください。

    自動化する段階で、証明書と起動タスクを足す

    離れた場所から使うたびに自宅PCの前でAWSにログインする運用では、電源を入れ直したときに現地の操作が必要になります。そこで、AWSに接続するための認証を起動タスクでも使えるようにしました。

    AWSへの接続とEC2へのSSH接続で、認証は二段あります。

    • AWSへの認証には端末証明書を使います。 IAM Roles Anywhereは、信頼アンカーに登録した発行元をもとに端末証明書を検証し、接続専用のIAMロールで使う一時認証情報を発行します。IAMロールは、この端末にAWS上のどの操作を許すかを定める権限のまとまりです。

    • EC2へのSSH認証には専用のSSH鍵を使います。 EC2のSSHサーバーが公開鍵で認証し、転送用ユーザーとして接続を受け付けます。

    自動接続用のAWSプロファイルを作る

    専用WindowsアカウントのAWS CLI設定(`%USERPROFILE%.aws\config`)にプロファイルを作成します。下の設定例とバッチファイルで、`REGION`、3つのARN、`DEVICE_CERT_SERIAL`、認証ヘルパーのパスを置き換えてください。端末証明書は、そのアカウントのWindows証明書ストアからシリアル番号で選びます。設定後に同じアカウントで `aws sts get-caller-identity --profile ollama-tunnel` を実行し、想定した専用ロールが返ることを確認します。

    [profile ollama-tunnel]
    region = REGION
    credential_process = cmd.exe /d /c C:\Tools\ollama-cert.cmd

    次を例のパス `C:\Tools\ollama-cert.cmd` に保存します。認証情報はAWS CLIが標準出力から読み取るため、このバッチファイルには案内用の出力を足さないようにします。

    @echo off
    C:\Tools\aws_signing_helper.exe credential-process ^
      --trust-anchor-arn TRUST_ANCHOR_ARN ^
      --profile-arn ROLES_ANYWHERE_PROFILE_ARN ^
      --role-arn IAM_ROLE_ARN ^
      --cert-selector Key=x509Serial,Value=DEVICE_CERT_SERIAL

    認証ヘルパーの引数はAWSのIAM Roles Anywhere認証ヘルパーの仕様を参照してください。

    接続専用ロールの権限ポリシーのうち、セッション開始を許可する部分は次の形です。`ollama-ssm.cmd` に指定した文書名とそろえ、`REGION`、`ACCOUNT_ID`、`INSTANCE_ID` を置き換えます。実際の構成では、これに自分のセッションのデータチャネルを開く権限と終了する権限も付けました。

    {
      "Effect": "Allow",
      "Action": "ssm:StartSession",
      "Resource": [
        "arn:aws:ec2:REGION:ACCOUNT_ID:instance/INSTANCE_ID",
        "arn:aws:ssm:REGION:ACCOUNT_ID:document/OllamaSshBridge"
      ],
      "Condition": {
        "BoolIfExists": {"ssm:SessionDocumentAccessCheck": "true"}
      }
    }

    Windowsの起動タスクを二つ登録する

    • Ollamaの起動タスクは `LocalService` で実行します。ローカルの待ち受けを指定し、モデルはこのアカウントから参照できる場所に置きます。

    • SSHトンネルの起動タスクは端末証明書とSSH鍵を持つ専用Windowsアカウントで実行します。自宅側の `/api/tags` の応答を待ち、手動接続の例の `ProxyCommand` でプロファイルを `ollama-tunnel` に切り替えてSSHを起動します。SSHが終了したら待って再試行します。

    `/api/tags` は、SSHタスクが接続を始めるためにローカルAPIの応答を待つ条件です。生成できるかは、トンネルを張ったあとにEC2から `/api/generate` を実行して確認します。1回目の試験で生成が途切れた原因と、この待ち合わせ条件との関係は特定できていません。

    通常の管理用シェルが拒否されることも確かめる

    接続用IAMロールのセッション開始権限は、対象EC2と専用Sessionドキュメントに絞りました。この資格情報でドキュメントを指定せず、通常のSession Managerのシェルを要求したところ、AWSは `AccessDeniedException` を返しました。専用ドキュメントを指定したSSH経路では、EC2からOllamaの応答が返りました。

    EC2の公開鍵には `restrict,port-forwarding,permitlisten="127.0.0.1:21180"` の形で制限を付けます。SSHサーバー側の設定例では `AllowTcpForwarding remote` と `MaxSessions 0` を使い、専用ユーザーをリモート転送用途に絞ります。実機では専用鍵の `permitlisten` が認識され、EC2側の待ち受けがループバックにあることを確認しました。

    OllamaのローカルAPIには認証がありません。 転送がつながっている間は、EC2内でそのループバックポートに届くユーザーやプロセスもAPIを呼べます。ループバックに限定する設定は、EC2の外から転送ポートへ直接つながる範囲を絞るためのものです。OllamaのAPI認証の仕様

    動かなかったときは、どこで止まったかによって確認する場所が変わります。今回は、タスクが起動しない原因はWindowsの「バッチ ジョブとしてログオン」の権限不足でした。タスクは動くのに転送できないときは、古いSSHセッションがEC2側のポートを保持していました。Windowsのタスクの記録を見たあと、EC2で次のコマンドを実行すると、転送ポートの待ち受けと、表示権限があればプロセスを確認できます。

    sudo ss -ltnp 'sport = :21180'

    最後に、EC2から普段頼む仕事を実行する

    電源を入れ直す試験の1回目は、モデル一覧が再び取れても、その直後の文章生成が `Empty reply from server` で途切れました。失敗後は、まず自宅PC内で文章生成が通ることを確認し、EC2経由でも生成をやり直して成功しました。この確認で、最初の生成が途切れた原因までは特定できませんでした。図の75秒は、モデル一覧が戻った時刻から、生成のエラーが記録された時刻までの差です。

    画像

    2回目は、生成に失敗した場合にだけ再試行できるよう、EC2側の確認処理を変えて試しました。2回目の実測では、EC2が応答停止を検知してから1分30秒で一覧が戻り、その6秒後に最初の文章生成が成功しました。この試験で再試行は発生しませんでした。2回目は確認処理を変更しており、1回目と同じ条件での再現性は未確認です。

    後日、同じ経路から文書検索用の埋め込みも試しました。次はEC2上でリクエストを送り、返った最初のベクトルの要素数を表示する例です。試験では `qwen3-embedding:4b` に `dimensions: 1536` を指定し、日本語の短文から1,536次元のベクトルを取得しました。

    curl --noproxy '*' -fsS http://127.0.0.1:21180/api/embed \
      -H 'Content-Type: application/json' \
      --data-binary @- <<'JSON' | jq -er '.embeddings[0] | arrays | length'
    {
      "model": "qwen3-embedding:4b",
      "input": "文書検索に使う日本語の短文です。",
      "dimensions": 1536,
      "truncate": false
    }
    JSON
    1536

    同じ構成を組むなら、Windows内で処理が通る、EC2から手動で同じ処理が通る、電源を入れ直したあともEC2からその処理が通る、の順に確かめると、どの設定から調べるかを絞れます。アプリのために接続を作るなら、最後の合格条件には、モデル一覧の取得に続いて、そのアプリが実際に頼む処理を入れておきます。

    Session Manager、IAM Roles Anywhere、SSH転送の設定手順と、再起動後の接続確認はQiitaにまとめました。


     
     
    システムプログラマー・電気電子技術者。25年にわたり中小企業を経営し、システムから電気・電子機器まで、自ら設計・製作・修理・検証してきました。会社売却後、ロコリス研究所でAI活用や業務効率化を、経営と技術の両方の経験を踏まえて発信しています。

    あなたへのおすすめ