メインコンテンツへスキップ
見出し画像

クラウド負荷テスト(クラウド パフォーマンス テスト):ノートPCからCIまで

    本記事は2026/10/9に公開された以下の記事の日本語版です
    Cloud Performance Testing with Postman: From Laptop to CI

    クラウドでパフォーマンステストを行うと、ノートPCでは得られない3つのものが手に入ります。多数のマシンに分散した負荷、他の要因に左右されないクリーンなベースライン、チーム全員が見られる結果です。仮想ユーザー(VU)数を指定すれば、ワーカー群の用意、チューニング、結果の統合はPostmanが担当し、信頼できる1組の数値が得られます。

    多くのチームはノートPCでパフォーマンステストを始めますが、それで問題ありません。本記事では、クラウドで何が加わるのか、AIエージェントがAPIの主要な利用者になるほど重要性が増す理由、パイプラインへの組み込み方を説明します。

    クラウドでのパフォーマンステストがノートPCより優れている理由

    ローカル実行では、パフォーマンステストを動かすマシン自体がテストの一部になります。CPU、Wi-Fi、VPN、上り回線のすべてが、負荷とAPIのあいだに入ります。数値が悪いとき、APIが遅いのかノートPCが遅いのかを区別できません。ノートPCには処理能力の限界もあります。負荷を上げるにはOSの上限値の引き上げとTCPのチューニングが必要になり、副作用が出ることがあるうえ、手元にない管理者権限が要る場合もあります。さらに、異なる日に異なるネットワークで行った2回の実行は、公平に比較できません。

    クラウド実行では、代わりにPostmanのインフラからトラフィックを送信します。次のメリットがあります。

    • クリーンなベースライン:荷生成側がメールクライアントなどと資源を奪い合うことがありません。

    • 実際のネットワーク経路: リモートのユーザーやエージェントがアクセスするときと同じく、リクエストはパブリックインターネットを経由して届きます。

    • 再現性:毎回同じランナー構成で実行されるため、結果が変わったなら、変わったのはAPIです。

    • スケール: Postmanのクラウドは、数百万の仮想ユーザーまで負荷を上げられます。同時ユーザー2,000人で1時間のソークテストも、無理のない規模です。

    • 共有される結果: CIから開始した実行を含め、すべての実行が履歴とトレンドとともにPostmanに記録されます。チーム全員が同じ数値を見られます。

    負荷の送信元は、Postmanアカウントのリージョンです。デフォルトは米国で、EU Data ResidencyプランではEUになります。

    Postmanのクラウドが担う作業

    クラウド実行では、ローカルで実行するのと同じCollectionを使います。違いは、自分で行う作業がなくなることです(内部の仕組みについては、Postmanのクラウドパフォーマンステスト:開発チームが作り上げたものを参照してください)。以下に、同等の環境を自前で構築した場合に担う作業と、Postmanでは不要になる作業を示します。

    スケールアウト

    • 自前の場合:マシンのサイズを決め、ワーカー群を構築し、仮想ユーザーを各マシンに割り振り、全マシンを同時に開始させる必要があります。

    • Postmanの場合:--vu-countを指定するだけです。マシンの選定と負荷の分散はPostmanが行います。

    マシンのチューニング

    • 自前の場合:負荷生成マシンには、ファイルディスクリプターとポートの上限値の引き上げや、TCP設定のチューニングが必要です。これらはイメージに組み込み、ワーカー群全体で同一に保たなければなりません。ノートPCや制限のかかったマシンでは、変更そのものが許可されない場合もあります。

    • Postmanの場合:負荷生成マシンは設定済みの状態で提供されます。

    結果の統合

    • 自前の場合:各マシンの出力を収集して統合します。正確なパーセンタイルを得るには追加の作業が必要で、結果を表示するダッシュボードも用意しなければなりません。

    • Postmanの場合:全マシンのメトリクスが1回の実行結果としてまとまります。レイテンシーのパーセンタイル、スループット、エラー率を、実行中も実行後も確認できます。

    1つのテスト、1つのツール

    • 自前の場合:負荷テストのスクリプトは、チームがすでに保守しているAPIのCollectionとは別のツールで管理することになります。

    • Postmanの場合:ローカルのパフォーマンステストで使うCollection、認証フロー、データセット、合否条件が、そのままクラウドとCIで動作します。書き直しは不要です。ローカル専用のままのものが一部あります。データファイル、mTLSクライアント証明書、Local Vaultのシークレットです。クラウド実行では、代わりにデータセットとShared Vaultのシークレットを使います。

    セットアップと後処理

    • 自前の場合:負荷テストの前後でテストデータの投入とリセットを行うスクリプトを、別途作成します。

    • Postmanの場合:--setup-collectionは負荷の開始前に1回、--teardown-collectionは負荷の終了後に、テスト結果にかかわらず1回実行されます。どちらも負荷フェーズの外で、独立したステージとして実行されます。

    固定の送信元IP

    • 自前の場合:NATゲートウェイや予約済みIPを運用し、ワーカー群が変わるたびに許可リストを更新します。

    • Postmanの場合:Enterpriseプランでは、--runner postman-cloud-static-ipを指定すると、固定の送信元IPを持つ専用クラスターから負荷が送信されます。許可リストへの登録は1回で済みます。

    常時稼働させるものがない

    • 自前の場合:イメージにパッチを当て、テストランナーをアップグレードし、テストのたびにマシンを停止します。テストの合間に使われない容量にも料金を払います。

    • Postmanの場合:支払いは、使ったVU時間の分だけです。

    AIエージェントによってパフォーマンステストの重要性が増す理由

    人間のトラフィックには特有のパターンがあります。クリックして、読んで、またクリックします。エージェントのトラフィックは、そうではありません。

    エージェントはAPIの主要な利用者になりつつあり、人間とは異なる振る舞いをします。1つのタスクを処理するエージェントが、APIを連続して何度も呼び出すことがあります。複数のエンドポイントを同時に呼び出すこともあります。休憩を取らず、営業時間もありません。ユーザーの1回のリクエストが数十回のAPI呼び出しに展開され、それを多数のユーザーが同時に行うと、キャパシティプランニングで想定していなかった負荷が生じることがあります。

    そのため、負荷の大きさと同じくらい、負荷の形が重要になります。Postmanのパフォーマンステストには4種類の負荷プロファイル(--load-profile)があり、それぞれがエージェントトラフィックに関する次の問いに対応します。

    • fixed: 一定の同時実行数を、長時間維持できるか。VU数は一定です。終日稼働するエージェントを想定したベースラインになります。

    • ramp-up: 稼働するエージェントが増えると、どの時点から性能が劣化するか。VU数は25%から100%まで上昇し、その後は維持されます。利用が拡大して実際に問題が起きる前に、限界点を見つけるために使います。

    • spike: スケジュールされたジョブの起動やリリースなどで、多数のエージェントが一斉に動き出すとどうなるか。VU数は10%から始まり、100%まで一気に上昇して、10%に戻ります。

    • peak: 最大負荷に近い状態を維持できるか。VU数は20%から100%まで上昇して維持され、その後20%に戻ります。エージェントは退勤しないため、ピーク負荷が数時間続くことがあります。

    各プロファイルは、分単位で設定する実行時間の全体にわたる固定のパターンです。プロファイルはVUベースです。rpsは合否の判定条件には使えますが、rpsを指定して負荷をかける方式ではありません。負荷テストとストレステストの違いについては、Performance testing vs. load testing vs. stress testingで用語の関係を説明しています。

    エージェントは、遅い応答や不安定な応答を許容しません。人間は待ちますが、エージェントはタイムアウトするか、再試行するか、別の手段を選びます。そのため、p95とエラー率は、プロダクトの挙動そのものになります。

    クラウドが重要になる理由は、エージェントの負荷が大規模で、安定していて、長時間続くことがあるためです。ノートPCは、先に自身の限界に達します。クラウド実行なら、負荷を複数のマシンに分散し、テストに必要な時間だけ継続できます。

    事前に確認しておくべき点が1つあります。 クラウド実行は、PostmanのIPレンジから送信されます。APIがIPで許可リストを管理していたり、IPごとにレート制限をかけていたりする場合は、静的IPランナー(Enterprise)を使い、そのIPを許可リストに登録してください。そうしないと、パフォーマンステストが測定するのはAPIではなくファイアウォールになります。

    データセットでパフォーマンステストを現実に近づける

    同じリクエストを1,000回送っても、実態を反映した結果にはなりません。キャッシュが高速に応答し、アクセスの多い行がメモリに残るためです。

    データセットを接続すると、各仮想ユーザーが異なる実際の入力を送信します。データセットは実行場所を問わず同じように動作するため、クラウド実行とCI実行に適しています。TeamおよびEnterpriseプランでは、データセットをMySQL、PostgreSQL、SQL Serverのライブデータベースに接続できるので、古くなったCSVをエクスポートする必要はありません。カスタムJDBCソースにはEnterpriseプランが必要です。テスト用またはステージング用のコピー、もしくは匿名化したデータに対する読み取り専用アカウントを使ってください。

    エージェントトラフィックを想定する場合は、エージェントが実際に送るものを含めます。長いプロンプト、大きなペイロード、珍しいパラメーターの組み合わせ、そして少数の不正な形式のリクエストです。

    p95を合否基準にしてパフォーマンステストをCIに組み込むには

    手動で実行するパフォーマンステストは、大きなリリースの前に実行される程度で、それ以外ではあまり実行されません。パイプラインに組み込んだテストは、毎回実行されます。

    クラウド実行はCIと相性が良好です。CIランナーは小規模で共有されているため、生成できる負荷が小さく、同じランナー上で動く他の処理によって数値も変動します。クラウド実行なら、負荷の生成をCIランナーから切り離せます。ビルドは結果を待つだけです。

    Postman CLIをまだセットアップしていない場合は、Working with the Postman CLIから始めてください。そのうえでAPIキーを使ってサインインし、合否条件を追加すると、テストが合否判定の関門になります。

    postman login --with-api-key "$POSTMAN_API_KEY"
    
    postman performance run <collectionId> \
      --runner postman-cloud \
      --load-profile ramp-up \
      --vu-count 50 \
      --duration 10 \
      --pass-if "less_than(p95, 500)" \
      --output ndjson
    

    このコマンドは、Postmanのクラウドから50仮想ユーザーで10分間、Collectionを実行します。p95レイテンシーが500ミリ秒を超えた場合は、終了コード1で終了し、ジョブが失敗します。判定は実行後に行われるため、問題のあるビルドであっても、判定が失敗するまでは全負荷が送信されます。稼働中のAPIに対しては、VU数を少なく、実行時間を短くして始めてください。

    判定の対象には、avg、p90、p95、p99、error_rate、rpsを指定でき、比較にはless_than、less_than_eq、greater_than、greater_than_eqを使えます。--output ndjsonは、結果を改行区切りのJSONとしてストリーミングします。ターミナルのダッシュボードを描画できないCIログやコーディングエージェントに適しています。

    ローカルのパフォーマンステストが適している場合

    ローカルでのパフォーマンステストは、どのプランでも高速かつ無料です。次のような場合は、ローカルのほうが適しています。テスト自体を作成している段階、APIがlocalhost上またはVPNやファイアウォールの内側にある場合、mTLSが必要な場合、そして開発ビルドに遅いクエリやメモリリークといった明らかな問題がないかを確認する場合です。必要以上のコストはかけないでください。

    まずローカルで始めます。結果をもとにリリースの可否を判断できるだけの確かさが必要になったら、クラウドに移ります。

    スクリプト中心のツールのほうが適しているのは、どのような場合か

    APIテストがすでにPostmanのCollectionにあり、それを書き直さずにパフォーマンステストを行いたい場合は、Postmanが最短の手段です。次のことが必要な場合は、コードファーストの負荷テストツールのほうが適していることがあります。

    • 秒単位のランプ形状の制御(たとえば、ちょうど30秒で50クライアントから3,000クライアントまで増やす)。

    • VU数ではなく、目標のRPSを指定して負荷をかける到着率モデル。

    • パイプラインのステップだけでなく、負荷テストそのものをリポジトリ内のプレーンなスクリプトファイルとして管理すること。

    試してみる

    すでにローカルで実行しているCollectionを用意し、データセットを接続します。ローカルとクラウドで1回ずつ実行し、2つの結果を比較してください。その差が、ノートPCでは見えていなかった部分です。数値を信頼できると判断できたら、パイプラインに--pass-ifの行を追加します。

    FAQ

    Postmanは、自分のマシンだけでなくクラウドからも負荷テストを実行できますか?
    はい。postman performance run <collectionId> --runner postman-cloudを実行すると、Postmanが管理するクラウドインフラから負荷が送信されます。--runnerを指定しない場合、負荷はコマンドを実行したマシンから送信されます。

    Postmanのパフォーマンステストにデスクトップアプリは必要ですか?
    いいえ。Postman CLIを使えば、任意のCIシステムでヘッドレス実行できます。デスクトップアプリはテストを設定する方法の1つであり、実行の必須条件ではありません。

    Postmanは、何仮想ユーザーまで生成できますか?
    Postmanのクラウドは、数百万の仮想ユーザーまで負荷を上げられます。クラウド実行には、最低10VUが必要です。ローカル実行の上限は、実行するマシンの性能で決まります。

    p95レイテンシーが高すぎる場合に、CIビルドを失敗させられますか?
    はい。--pass-if "less_than(p95, 500)"を追加します。条件を満たさない場合、コマンドは終了コード1で終了し、CIジョブが失敗します。ローカル実行でもクラウド実行でも使えます。

    Postmanのパフォーマンステストは無料ですか?
    ローカルでのパフォーマンステストは、Freeを含むすべてのプランで無制限に実行できます。クラウド実行は、従量課金を有効にしたSolo、Team、Enterpriseプランで、1VU時間あたり0.04ドルです。

    Postmanの負荷生成マシンを、ファイアウォールの許可リストに登録できますか?
    はい、Enterpriseプランで可能です。--runner postman-cloud-static-ipを指定すると、アカウントのリージョン(米国、EU Data ResidencyプランではEU)にある静的IPクラスターから負荷が送信されます。

    クラウド実行は、どこから負荷を送信しますか?
    Postmanアカウントのリージョンからです。デフォルトは米国で、EU Data ResidencyプランではEUです。1回の実行で使えるランナーは1つのため、ローカルの負荷とクラウドの負荷を同じ実行で組み合わせることはできません。

     
     
    Postmanは、APIを構築し利用するためのAPIプラットフォームです。PostmanはAPIライフサイクルの各ステップを簡素化し、コラボレーションを合理化することで、より良いAPIをより速く作成することができます。

    あなたへのおすすめ