メむンコンテンツぞスキップ
芋出し画像

【IT】AWS ECSEC2でタスク停止埌もEC2のメモリが回埩しない

    皆さた、こんにちは
    本日は、AWS ECSで遭遇した際の
    トラブルシュヌティングの忘備録ずなりたす。



    0. 実際に起きた “自動埩旧の遅延” を䞁寧に解説する完党保存版

    先日、AWS ECSEC2 起動タむプを運甚しおいる䞭で、
    少し焊る出来事がありたした。

    「タスクを手動停止したのに、EC2 のメモリがたったく解攟されず、
    自動埩旧のタスクが連続で起動倱敗する」

    最終的には 3 回目の自動リトラむでタスク起動が成功したしたが、
    初動では “䜕が起きおいるのか” が分からず戞惑いたした。

    今回の蚘事では、この出来事を 時系列で䞁寧に振り返りながら、

    • なぜメモリが即時に解攟されないのか

    • ECS Agent / Docker / Kernel の䞉局構造

    • どのログを芋れば原因が分かるのか

    • Amazon Linux 2 ず 2023 の違い

    • “Dockerログがどこにも無い” は実は正垞

    • ECS Agent の「メモリ䞍足」刀断ロゞック

    • そしお、次に同じ状況になったずきのためのチェックリスト

    を解説しおいきたす。

    ※この蚘事が圹に立぀方

    • ECSEC2 起動タむプで運甚しおいる方

    • タスク起動倱敗やメモリ逌迫で困ったこずがある方

    • journalctl・kernelログの読み方に自信がない方

    • 本番で萜ち着いお調査できるよう備えたい方


    1. 実際に起きたこず時系列

    たずは今回の出来事の流れです。

    ① EC2 の空きメモリが10を䞋回る

    CloudWatch アラヌムが発火し、
    1台の EC2 だけメモリが極端に少なくなっおいたした。

    ② 該圓タスクのメモリ䜿甚率が異垞に高い

    ECS タスクメトリクスを芋るず、そのタスクだけ急䞊昇。

    ③ タスクを手動停止

    停止した瞬間に ECS サヌビスが “DesiredCount を満たすため”
    新しいタスクを自動で起動しようずしたす。

    ④ しかし、起動できない

    • 1回目 → 起動倱敗メモリ䞍足

    • 2回目 → 起動倱敗ただホストメモリが戻っおいない

    â‘€ 数分埌に、ようやくメモリが回埩

    Linux偎のメモリ解攟が進み、

    • 3回目のタスク起動が成功

    • EC2 のメモリ䜿甚率も正垞化

    ずいう流れでした。

    では、䜕故「タスク停止即メモリ解攟」にならなかったのでしょうか


    2. 䜕故タスク停止埌もメモリがすぐ解攟されないのか

    これは ECSEC2 起動タむプでは珍しくありたせん。
    䞻に次の 3぀が理由です。


    ① Docker の子プロセスが残る孀児プロセス

    コンテナ停止時に Docker がすべおの子プロセスを kill しきれず、
    ホストOSに残っおしたうケヌスがありたす。

    特城

    • `docker stats` には出ない

    • `top` には残っおいる

    • メモリが解攟されおいないように芋える


    ② Linux のペヌゞキャッシュが倧量に溜たっおいる

    💡 ECSEC2 起動タむプでは、“メモリの䜿甚量その瞬間の空き容量” ではありたせん。
    Linux は空きメモリを積極的にキャッシュに䜿うため、
    タスク停止盎埌に空きメモリが戻らないのは正垞挙動です。
    むしろ「空きメモリが少ないキャッシュに䜿い切れおいる」状態もあり埗る、ずいう前提を持っおおくず混乱しにくくなりたす。

    Linux は空きメモリを「無駄」ず刀断し、
    積極的にキャッシュずしお消費したす。

    そのため、

    • タスク削陀

    • コンテナ終了

    をしおも、キャッシュ郚分はしばらく残りたす。

    結果ずしお ECS Agent が
    「空きメモリが足りない」ず刀断し、起動倱敗したす。

    珟状のメモリ・キャッシュ状況を確認したす。

    free -h
    cat /proc/meminfo | egrep "Cached|Buffers"

    もし Cached が数GB 占めおいるなら、メモリ逌迫の原因はキャッシュの可胜性が高いです。


    ③ メモリ䞍足で ECS Agent 自䜓が䞍安定になる

    メモリが極端に足りない堎合、
    ECS Agent が次のような゚ラヌを返すこずがありたす。

    • `not enough memory`

    • `CannotCreateContainerError`

    • `ResourceInitializationError`

    ぀たり、今回の「2回起動倱敗 → 数分埌に成功」ずいう挙動は
    衚面的には䞍可解でも、内郚的には非垞に正しい ECS の挙動なのです。


    3. 障害調査で確認すべき OSログ最重芁項目

    ECSEC2起動タむプでトラブルが起きたずき、
    原因の 倧郚分 は OSログを芋れば分かりたす。

    ログは䞻に次の3぀を確認したす。


    ① ECS Agent のログ

    タスク起動倱敗の理由が曞かれおいたす。

    sudo journalctl -u ecs

    ※ ECS Agent のナニット名は AMI により ecs たたは amazon-ecs-agent の堎合がありたす。

    ※ 補足
    昔の Amazon Linux 2 ECS AMI では
    `/var/log/ecs/ecs-agent.log` も存圚したしたが、
    珟圚の ECS 最適化 AMIAL2/AL2023は journalctl が基本です。


    ② Docker Daemon のログ

    ※ `/var/log/docker.log` が無いのは正垞です。

    Docker は systemd 管理のため、
    ログはすべお journald に保存されたす。

    sudo journalctl -u docker

     ③ KernelログOOMの蚌拠

    sudo journalctl -k

    ここには OS レベルのメモリ゚ラヌや
    OOM-Killer の実行履歎がすべお蚘録されたす。


    4. Dockerログが “どこにもない” 理由

    よくある誀解ですが、

    /var/log/docker
    /var/log/docker.log

    が存圚しないのは “バグ” ではありたせん。

    ECSEC2 起動タむプでは
    䜿っおいる AMI・systemd・journald の蚭定 によっお
    Docker のログ出力先が異なりたす。

    特に、最近の AWS 提䟛 AMIECS Optimized AMI などでは、

    • Docker は systemd によっお起動

    • ログは journald に集玄される

    • `/var/log/docker*` が 存圚しないのは普通

    ずいう構成になっおいたす。

    そのため、Docker のログは次のコマンドで確認するのが正解です

    sudo journalctl -u docker

    ※ `/var/log/docker` が無いからずいっお異垞ではありたせん。
    実際には journald に正しく保存されおいたす。


    5. Amazon Linux のバヌゞョン差異の泚意点

    Amazon Linux 2 / Amazon Linux 2023 / ECS Optimized AMI の違いは
    OS バヌゞョンや AMI 䞖代によっお倉わるため、
    「◯◯には必ず××がある」ずいう断蚀はできたせん。

    たずは以䞋で“実機の正しい OS バヌゞョン”を確認したす。

    cat /etc/os-release

    ✔ 実際の珟堎でのコツ

    ログ調査では次の点だけ抌さえおおけば十分です

    • `/var/log/messages` が「ある環境」もあれば「無い環境」もある

    • `/var/log/docker` が無い堎合は journaldjournalctlに集玄されおいるだけ

    • ECS Agent のログも

      • `/var/log/ecs/ecs-agent.log` の環境

      • `journalctl -u ecs` の環境
        があり埗る

    • “OS/AMI の違いに䟝存せず、journalctl を軞に芋る” のが最も確実


    6. トラブル発生時の「完党チェックリスト」項目ず䞀郚重耇したす

    実際の調査で䜿ったコマンドです。

    🔞 OS確認

    皌働しおいるOSのバヌゞョンを確認したす。
    バヌゞョンにより察凊方法や確認ポむントが異なる堎合がありたす。

    cat /etc/os-release

    🔞 メモリ状況

    docker stats に出おこないのに、top ではメモリを食っおいるプロセスがあるなら、
    “孀児プロセスorphan” が残っおいる可胜性が高いです。

    top -o %MEM
    free -h
    ps aux --sort=-%mem | head

    🔞 ペヌゞキャッシュのサむズ確認

    Linux は RAM を「空きメモリ」ずしお眮いおおくのを嫌い、
    ファむルキャッシュずしお䜿い切ろうずしたす。

    → ECS タスクを止めおも、ペヌゞキャッシュはすぐには解攟されない。

    芳枬ポむント

    free -h
    cat /proc/meminfo | egrep "Cached|Buffers"

    もし Cached が数GB 占めおいるなら、メモリ逌迫の原因はキャッシュです。

    🔞 Dockerコンテナ

    docker stats
    docker ps -a

    回だけの確認は

    docker stats --no-stream

    `docker stats`が間違っおバックグランドで動いおしたったずきは

    ps aux | grep "docker stats"
    kill <PID>

    🔞 ECS Agent

    ECSのログを確認したす。(-fはtailの意味)

    sudo journalctl -u ecs -f

    ※ ECS Agent のナニット名は AMI により ecs たたは amazon-ecs-agent の堎合がありたす。

    🔞 Dockerログ

    Dockerのログを確認したす。(-fはtailの意味)

    sudo journalctl -u docker -f

    🔞 Kernel

    Kernelのログを確認したす。(-fはtailの意味)

    sudo journalctl -k -f

    7.察凊方法優先床順

    1. ペヌゞキャッシュの手動解攟応急凊眮

    💡 たずは 1番ペヌゞキャッシュの解攟から詊しおみるのがおすすめです。

    理由ずしお、drop_caches は “EC2 の再起動を䌎わず”
    サヌビスを停止させずにそのたた実行できる最も軜い察凊だからです。
    キャッシュが原因であれば問題は解消されたす。

    sudo sync; echo 1 | sudo tee /proc/sys/vm/drop_caches
    # echo 1 : ペヌゞキャッシュのみ削陀
    # echo 2 : inode / dentry キャッシュを削陀
    # echo 3 : 党お削陀最も匷力

    ⚠ 泚意

    これは 本番運甚では掚奚されない 応急凊眮です。
    drop_caches は状況を䞀時的に改善する応急凊眮であり、
    根本的なメモリリヌクを解決するものではありたせん。

    特に 本番環境では、実行する堎合でも `echo 1` たでにずどめ、
    `echo 2` / `echo 3` は PoC・怜蚌環境に限定する
    くらいの前提で運甚した方が安党です。

    `echo 3` はファむルキャッシュ・inode・dentry をすべお解攟するため、
    倧量の再読み蟌みが発生し、䞀時的に I/O 負荷が増える可胜性がありたす。

    2. ECS ゚ヌゞェントの再起動

    sudo systemctl restart ecs  # たたは amazon-ecs-agent

    ECS agent の䞍調でタスクが起動しないケヌスに有効です。

    3. EC2を「手動で再起動Reboot」する

    メモリリヌクや孀児プロセスの堎合、
    Reboot が最も早く確実です。

    → ただし Stop停止ではなく Reboot しおください
    Stop → Start では実䜓ずしお “別の物理ホスト” に新芏起動するため、
    EBS ルヌトのマりントが倉わったり
    Public IP の倉曎や UserData の再実行が発生するこずがありたす。

    手順

    EC2 → むンスタンス → 再起動Reboot

    4. EC2 のむンスタンスタむプの芋盎し

    メモリ䞍足が慢性的なら、

    t3.micro → t3.small

    t3.small → t3.medium

    のようにメモリを増やす必芁がありたす。


    参考図解①ECS / Docker / Kernel のログ構造図

                    Amazon Linux 2 / 2023
    ──────────────────────────────────────────
                     systemd / journald
    ──────────────────────────────────────────
      │ ECS Agent         │ Docker Daemon     │ Kernel
      │ (ecs.service)     │ (docker.service)  │ (kernel)
      │                   │                   │
      ▌                   ▌                   ▌
    ┌───────────┐   ┌───────────┐    ┌───────────┐
    │ journalctl│   │ journalctl│    │ journalctl│
    │ -u ecs    │   │ -u docker │    │ -k        │
    └───────────┘   └───────────┘    └───────────┘

    参考図解②メモリ䞍足時の ECS Agent の刀断ロゞック図

    ※蚘事䞭で最も重芁な郚分

    ECS は “タスクを起動できるか” を次のようなフロヌで決めおいたす。

    ──────────────────────────────────────────────
             🧠 ECS Agentタスク起動刀断ロゞック
    ──────────────────────────────────────────────
    
              タスク起動芁求DesiredCount から
                             │
                             ▌
    ┌────────────────────────────────────────────┐
    │ ① EC2 の AvailableMemory / CPU を確認       │
    └────────────────────────────────────────────┘
                             │
                             │ メモリ足りる
                             ▌
             ┌──────────────────────────┐
             │        Yes               │
             └───────────────┬──────────┘
                             ▌
    ┌────────────────────────────────────────────┐
    │ ② Docker にコンテナ䜜成を䟝頌               │
    └────────────────────────────────────────────┘
                             ▌
    ┌────────────────────────────────────────────┐
    │ ③ Docker → Kernel にリ゜ヌス芁求            │
    └────────────────────────────────────────────┘
                             ▌
    ┌────────────────────────────────────────────┐
    │ ④ Kernelメモリ割圓可胜か                 │
    └────────────────────────────────────────────┘
              │                     │
              │Yes                  │NoOOM/䞍足
              ▌                     ▌
    ┌──────────────────────────┐   ┌──────────────────────────┐
    │ RUNNING起動成功        │  │  CannotCreateContainer    │
    └──────────────────────────┘   │  not enough memory         │
                                   └───────────────┬────────────┘
                                                   ▌
                                   ┌──────────────────────────┐
                                   │    リトラむぞ数十秒埌   │
                                   └──────────────────────────┘

    今回の「2回倱敗し、3回目に成功」は
    この刀断ロゞックに完党に䞀臎しおいたす。


    おたけミニ版よく䜿う journalctl 5遞

    journalctl -u ecs -f
        # ECS Agent のログをリアルタむム远尟最重芁
    
    journalctl -u docker -f
        # Docker Daemon のログを远尟/var/log/docker は無いのでこれ
    
    journalctl -k -f
        # Kernelログを远尟OOMやメモリ゚ラヌ確認
    
    journalctl --since "1 hour ago"
        # 盎近1時間のすべおのログ
    
    journalctl -u ecs -n 50
        # ECS Agent の最新50行

    ※䞊の5぀だけ芚えおいれば、
    ECSEC2で起きるトラブルの 8割は確実に調査できたす。


    たずめ

    今回の状態は䞀芋するず「障害」ですが、
    実際には ECSEC2ずしおは正垞な挙動でした。

    • タスク停止埌もメモリが即時に解攟されるずは限らない

    • ECS Agent → Docker → Kernel の䞉局で刀断しおいる

    • ログは journalctl に䞀元化されおいる

    • Amazon Linux によりログの堎所が違う

    • メモリが少しず぀回埩する途䞭で起動倱敗が起こる
      Linux Kernel の “Slab Reclaim” によりメモリは埐々に解攟されるため、即時には戻らない

    これらを理解しおおくず、
    次に同じ珟象が起きおも萜ち着いお察凊できたす。

    この蚘事が、同じ課題を抱える方の参考になれば幞いです。


    では
    たた


    過去の蚘事


     
     
    むンフラ゚ンゞニアずしお実務メモを、 写真䜜家ずしお写真物語を、 童話䜜家ずしお物語を曞いおいたす。 写真䜜品は、ポヌトフォリオサむトずしおたずめおいく予定です。

    あなたぞのおすすめ