メインコンテンツへスキップ
見出し画像

【IT】AWS ECSをPoC環境作成で学ぶ短期集中講座《第5章:ECSタスク偏り検知と通知(GUI版・完全保存版)》

    皆さま、こんにちは

    今回から数回にわたり、AWS ECSにPoC環境を構築していきます。
    今回は、5回目です。(最終回)

    前章では、ECSクラスターを構築し、
    サービスが安定してタスクを起動できる状態まで整えました。

    ここからは、その運用フェーズに踏み込みます。
    クラスターが安定稼働しているか、タスクが偏っていないか、
    EC2の停止や片寄りを自動で検知する仕組みを構築します。

    この第5章では、EventBridge → Lambda → CloudWatch → SNS を連携させ、
    タスク偏り・単一ホスト集中・EC2ゼロ台といった異常を
    GUI操作だけで可視化・通知する「運用監視システム」を完成させます。

    前回の記事



    1. 目的

    ECS(EC2起動タイプ)では、タスクが特定のEC2に集中(偏り)すると、
    そのインスタンスだけ高負荷になり、パフォーマンス低下や障害の原因になります。

    この章では、ECSタスクの偏り・EC2停止・単一ホスト集中を
    自動検知し、SNS経由で通知する仕組みを GUI操作のみ で構築します。

    完成後は、以下が自動で行われます:

    • 5分ごとに EventBridge → Lambda が起動

    • ECS API でタスク分布を取得

    • 偏り率(ImbalanceRatio)を算出

    • CloudWatch にカスタムメトリクス出力

    • 閾値超過・EC2ゼロ台・1台集中で SNS 通知(メール)


    2. 構成イメージ

    EventBridge(5分ごとに起動)
            │
            ▼
    Lambda(偏り検知)
       ├─ ECSからタスク・EC2状況を取得
       ├─ 偏り率 ImbalanceRatio を算出
       ├─ CloudWatchにメトリクス出力
       └─ SNSで通知(メール送信)
            ↓
           メール通知

    3. ステップ1:SNSトピックを作成

    1. AWSコンソール → [Amazon SNS]

    2. 左メニュー → [トピック] → [トピックを作成]

    3. タイプ:スタンダード

    4. 名前:`ecs-imbalance-alert`

    5. 下へスクロール → [トピックを作成]

    6. 作成後、画面上部に表示される ARN をメモ(例:
      `arn:aws:sns:ap-northeast-1:123456789012:ecs-imbalance-alert`)

    7. トピック詳細画面 → [サブスクリプションを作成]

      • プロトコル:`Email`

      • エンドポイント:あなたのメールアドレス

      • [サブスクリプションを作成]

    8. メール受信後、Confirm subscription をクリック。


    4. ステップ2:ロールを作成して“中に”ポリシーを追加(GUI)

    1) ロールを作成(信頼ポリシー)

    1. IAM → ロール → ロールを作成

    2. 信頼されたエンティティタイプ:AWS のサービス

    3. ユースケース:Lambda

    4. 次へ

    5. ポリシー選択で `AWSLambdaBasicExecutionRole` をチェック

    6. ロール名:`lambda-ecs-imbalance-role`

    7. ロールを作成

    ここまでで CloudWatch Logs へ出力できる最小権限が付きます。


    2) ロール内にインラインポリシーを3つ追加

    1. いま作成したロールを開く → アクセス許可タブ

    2. インラインポリシーを追加 → JSON タブに切替

    (a) ECS 読み取り(EcsReadOnlyForTargetCluster)

    貼り付け → ポリシーの確認 →
       名前:`EcsReadOnlyForTargetCluster` → 作成

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Sid": "EcsRead",
          "Effect": "Allow",
          "Action": [
            "ecs:ListContainerInstances",
            "ecs:DescribeContainerInstances",
            "ecs:ListTasks",
            "ecs:DescribeTasks",
            "ecs:ListServices",
            "ecs:DescribeServices"
          ],
          "Resource": "*"
        }
      ]
    }

    (b) SNS Publish(SnsPublishOnlyToAlertTopic)

    再び インラインポリシーを追加 → JSON → 置換 → 確認 → 名前:`SnsPublishOnlyToAlertTopic` → 作成

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Sid": "SnsPublishOnlyToAlertTopic",
          "Effect": "Allow",
          "Action": "sns:Publish",
          "Resource": "arn:aws:sns:ap-northeast-1:123456789012:ecs-imbalance-alert"
        }
      ]
    }

    `123456789012` とトピック名はあなたのARNに置換してください。

    (c) CloudWatch カスタムメトリクス(CloudWatchPutCustomMetrics)

    もう一度 インラインポリシーを追加 → JSON → 確認 → 名前:`CloudWatchPutCustomMetrics` → 作成

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Sid": "PutCustomMetrics",
          "Effect": "Allow",
          "Action": "cloudwatch:PutMetricData",
          "Resource": "*",
          "Condition": {
            "StringEquals": {
              "cloudwatch:namespace": "ECS/Custom"
            }
          }
        }
      ]
    }

    重要:JSONタブのまま保存してください(ビジュアルエディタに切替えると `Resource` が勝手に絞られることがあります)。

    ここで作成したロールを
    CloudWatch Logs への出力を許可するため、Lambda作成時に選択します。


    5. ステップ3:Lambda関数を作成

    1. AWS → [Lambda] → [関数の作成]

    2. 関数名:`ecs-imbalance-checker`

    3. ランタイム:`Python 3.13`

    4. 実行ロール:
      既存ロールを選択 → `lambda-ecs-imbalance-role`

    5. 「関数の作成」


    🔹 コードを貼り付け

    Lambdaエディタを開き、以下を貼り付けて「デプロイ」。

    # lambda_function.py
    # ECSタスク偏り検知(EC2起動タイプ)/ ゼロ台・単一ホスト集中・偏り率の3条件に対応
    # ハンドラは `lambda_function.lambda_handler`
    
    import os
    from datetime import datetime, timezone
    import boto3
    
    ecs = boto3.client("ecs")
    cw  = boto3.client("cloudwatch")
    sns = boto3.client("sns")
    sts = boto3.client("sts")
    
    # ===== 環境変数 =====
    CLUSTER_NAME    = os.environ["CLUSTER_NAME"]                    # 例: poc-ecs-cluster
    SERVICE_NAME    = os.getenv("SERVICE_NAME", "").strip()         # 空ならクラスター内の全EC2サービスを対象
    THRESHOLD_RATIO = float(os.getenv("THRESHOLD_RATIO", "0.7"))    # 偏り率しきい値 (0.0-1.0)
    MIN_TASKS       = int(os.getenv("MIN_TASKS", "2"))              # 判定対象とする最小タスク数
    SNS_TOPIC_ARN   = os.getenv("SNS_TOPIC_ARN", "")                # 通知先 SNS トピック ARN(空なら通知しない)
    NAMESPACE       = os.getenv("NAMESPACE", "ECS/Custom")          # CloudWatch カスタム名前空間
    
    # オプション挙動
    ALERT_ON_ZERO_INSTANCES   = os.getenv("ALERT_ON_ZERO_INSTANCES", "true").lower() == "true"
    ALERT_ON_ZERO_TASKS       = os.getenv("ALERT_ON_ZERO_TASKS", "false").lower() == "true"
    ALERT_ON_SINGLE_INSTANCE  = os.getenv("ALERT_ON_SINGLE_INSTANCE", "true").lower() == "true"
    
    def _utc() -> str:
        return datetime.utcnow().replace(tzinfo=timezone.utc).isoformat().replace("+00:00", "Z")
    
    def put_metric(name: str, value: float, unit: str = "None"):
        cw.put_metric_data(Namespace=NAMESPACE, MetricData=[{"MetricName": name, "Value": value, "Unit": unit}])
    
    def notify(subject: str, lines: list[str]):
        if SNS_TOPIC_ARN:
            sns.publish(TopicArn=SNS_TOPIC_ARN, Subject=subject, Message="\n".join(lines))
        else:
            print("[INFO] SNS_TOPIC_ARN not set; skip notify:", subject)
    
    def lambda_handler(event, context):
        ecs_services = ecs.list_services(cluster=CLUSTER_NAME, launchType="EC2")["serviceArns"]
        services = [s for s in ecs_services if not SERVICE_NAME or s.endswith("/" + SERVICE_NAME)]
        ci_arns = ecs.list_container_instances(cluster=CLUSTER_NAME, status="ACTIVE").get("containerInstanceArns", [])
        active_instances = len(ci_arns)
        put_metric("ActiveInstancesCount", active_instances, "Count")
    
        if active_instances == 0:
            put_metric("RunningTaskCount", 0, "Count")
            put_metric("ImbalanceRatio", 0.0)
            if ALERT_ON_ZERO_INSTANCES:
                notify(
                    f"[ECS] No active container instances in {CLUSTER_NAME}",
                    [f"Cluster: {CLUSTER_NAME}", f"DetectedAt: {_utc()}", "EC2 = 0(全タスク停止中)"]
                )
            return {"ok": True}
    
        total_running = 0
        tasks_by_ci = {}
        for svc in services:
            tasks = ecs.list_tasks(cluster=CLUSTER_NAME, serviceName=svc, desiredStatus="RUNNING")["taskArns"]
            if not tasks:
                continue
            desc = ecs.describe_tasks(cluster=CLUSTER_NAME, tasks=tasks)
            for t in desc["tasks"]:
                arn = t.get("containerInstanceArn")
                if arn:
                    tasks_by_ci[arn] = tasks_by_ci.get(arn, 0) + 1
                    total_running += 1
    
        put_metric("RunningTaskCount", total_running, "Count")
        if total_running == 0:
            put_metric("ImbalanceRatio", 0.0)
            if ALERT_ON_ZERO_TASKS:
                notify(f"[ECS] No running tasks in {CLUSTER_NAME}", ["タスクが0件"])
            return {"ok": True}
    
        desc_ci = ecs.describe_container_instances(cluster=CLUSTER_NAME, containerInstances=list(tasks_by_ci.keys()))["containerInstances"]
        ci_map = {c["containerInstanceArn"]: c for c in desc_ci}
    
        max_ci, max_cnt = max(tasks_by_ci.items(), key=lambda kv: kv[1])
        ratio = max_cnt / total_running
        put_metric("ImbalanceRatio", ratio)
        print(f"[INFO] ImbalanceRatio={ratio:.2f}")
    
        cond_imbalance = active_instances >= 2 and total_running >= MIN_TASKS and ratio >= THRESHOLD_RATIO
        cond_single = ALERT_ON_SINGLE_INSTANCE and active_instances == 1 and total_running >= MIN_TASKS
    
        if cond_imbalance or cond_single:
            subject = (
                f"[ECS] Task Imbalance in {CLUSTER_NAME}" if cond_imbalance
                else f"[ECS] Single-Host Concentration in {CLUSTER_NAME}"
            )
            notify(subject, [
                f"Cluster: {CLUSTER_NAME}",
                f"DetectedAt: {_utc()}",
                f"ActiveInstances: {active_instances}",
                f"RunningTasks: {total_running}",
                f"ImbalanceRatio: {ratio:.2f}",
            ])
        return {"ok": True, "ratio": ratio}

    🔹 環境変数

    画像

    6. ステップ4:EventBridge スケジュール設定

    1. Lambda 関数画面 → 上部「トリガーを追加」

    2. トリガータイプ:`EventBridge(スケジュール式)`

    3. 式:`rate(5 minutes)`

    4. 名前:`ecs-imbalance-schedule`

    5. 「追加」

    これで5分ごとにLambdaが自動実行されます。(SNS通知はEventからは実施しません)


    7. ステップ5:動作テスト(CloudWatch経由)

    目的

    ECSクラスターの状態を段階的に変化させ、
    Lambda が正しくメトリクスを出力し、
    CloudWatch アラームがその変化を検知できるかを確認します。

    通知はすべて CloudWatch アラーム によって行われ、
    Lambda から SNS に直接送信する構成ではありません。


    ✅ テストパターン

    画像

    🧭 手順(GUI)

    1️⃣ 事前確認

    • EventBridgeの自動実行ルールを停止(手動テストのため)

    • Lambda関数 `ecs-imbalance-checker` に環境変数が正しく設定されていることを確認

    • CloudWatch で以下のアラームを作成済みであることを確認

    画像

    2️⃣ Lambdaを手動実行

    1. Lambda コンソールを開く

    2. 対象関数 `ecs-imbalance-checker` を選択

    3. 上部メニュー[テスト]→[テストイベントを作成]
       イベント名:`manual-test`
       イベントJSON: `{}`

    4. 「テスト」をクリックし、実行

    実行結果が「成功」となり、CloudWatch Logs に下記のような出力があればOKです。

    INFO ActiveInstancesCount=2, RunningTaskCount=2, ImbalanceRatio=0.5
    INFO PutMetricData succeeded

    3️⃣ テストシナリオを順に実施

    画像

    4️⃣ CloudWatchログで確認

    1. Lambda関数 →[モニタリング]→[CloudWatchでログを表示]

    2. 最新ログを開き、出力を確認します。

    ログ出力例:

    INFO ActiveInstancesCount=0, RunningTaskCount=0
    INFO PutMetricData succeeded

    この出力が確認できれば、メトリクス送信が成功しています。


    8. ステップ6:CloudWatchメトリクス確認

    1.  CloudWatch → 左メニュー[メトリクス]

    2.  名前空間:`ECS/Custom`

    3.  表示されるメトリクス:

    画像

    4.Lambda 実行後に値が更新されていれば成功。

    画像

    9. ステップ7:アラート確認(CloudWatch経由)

    1. CloudWatch → 左メニュー[アラーム]

    2. `ecs-imbalance` のステータスが「ALARM」になっていることを確認
      → メール件名例:
        `ALARM: "ecs-imbalance" in Asia Pacific (Tokyo)`

    3. 偏りを是正すると、「OK」に復帰
      → メール件名例:
        `OK: "ecs-imbalance" in Asia Pacific (Tokyo)`

    4. EC2が全停止すると、別アラーム `ecs-no-instance` が発火
      → 件名:
        `ALARM: "ecs-no-instance" in Asia Pacific (Tokyo)`


    10. 運用のヒント

    • Lambdaは常にメトリクスのみ出力(SNS未設定でもOK)
      通知はCloudWatchアラームが担当するため、連続送信は発生しません。

    • 偏り復帰で自動的にOK状態に戻るため、通知は「ALARM → OK」の2往復のみ。

    • EventBridgeの実行間隔は通常5分ですが、
      検証中は10分に延ばすと負荷・コストを抑えられます。


    11.  完成チェックリスト

    画像

    12. まとめ

    • CLI不要・GUI完結の偏り検知システム

    • CloudWatch主導で通知と復帰を制御

    • EC2ゼロ台・1台集中・均等運転をすべて検知

    • Lambdaは安全なメトリクス出力専用として動作

    • 初心者でもGUIだけで確実に再現可能です 


    では
    また!


    過去の記事


     
     
    インフラエンジニアとして実務メモを、 写真作家として写真物語を、 童話作家として物語を書いています。 写真作品は、ポートフォリオサイトとしてまとめていく予定です。

    あなたへのおすすめ