メインコンテンツへスキップ

【Terraform×AWS】S3のライフサイクルルールでログ保存のコストを下げる

    アクセスログやアプリケーションのログをS3に保存していると、気づかないうちにデータが増え続け、保存料金が積み上がっていきます。ほとんど読み返さない古いログも、作成直後と同じS3 Standardの料金で保存されたままになっていないでしょうか。

    この記事では、S3のライフサイクルルールを使い、古いデータを安いストレージクラスに移したり、不要になったデータを自動で削除したりする設定をTerraformで作ります。あわせて、設定次第で逆に料金が増えてしまう落とし穴も紹介します。

    ストレージクラスの違い

    ログの保存でよく使うストレージクラスは次のとおりです。下に行くほど保存料金は安くなりますが、取り出しの料金や時間、最低保存期間の条件が厳しくなります。

    • S3 Standard:すぐに読み出せる。最低保存期間なし

    • S3 Standard-IA:読み出しにも料金がかかる。最低保存期間は30日

    • S3 Glacier Instant Retrieval:すぐに読み出せるが、読み出しの料金が高い。最低保存期間は90日

    • S3 Glacier Flexible Retrieval:読み出しに数分〜数時間かかる。最低保存期間は90日

    • S3 Glacier Deep Archive:最も安いが、読み出しに最大で半日程度かかる。最低保存期間は180日

    最低保存期間より前に削除すると、残りの期間分の料金がかかります。移す先は、データを何日くらい保存し、どのくらいの頻度で読み返すかで決めます。

    ライフサイクルルールの基本

    例として、logs/ 配下のログを次のように扱います。

    • 作成から30日後にStandard-IAへ移す

    • 90日後にGlacier Instant Retrievalへ移す

    • 365日後に削除する

    resource "aws_s3_bucket" "logs" {
      bucket = "myapp-logs-example"
    }
    
    resource "aws_s3_bucket_lifecycle_configuration" "logs" {
      bucket = aws_s3_bucket.logs.id
    
      rule {
        id     = "logs-retention"
        status = "Enabled"
    
        filter {
          prefix = "logs/"
        }
    
        transition {
          days          = 30
          storage_class = "STANDARD_IA"
        }
    
        transition {
          days          = 90
          storage_class = "GLACIER_IR"
        }
    
        expiration {
          days = 365
        }
      }
    }
    • filter:ルールを適用する対象。prefixで、特定のフォルダ(プレフィックス)配下に絞れる

    • transition:何日後に、どのストレージクラスへ移すか。複数書ける

    • expiration:何日後に削除するか

    ライフサイクルルールは1日に1回程度のタイミングで実行されるため、指定した日数ちょうどに処理されるとは限りません。

    忘れがちな2つのルール

    ログの保存では、上のルールに加えて次の2つも入れておくと、見えないところで増える料金を防げます。

    resource "aws_s3_bucket_lifecycle_configuration" "logs" {
      bucket = aws_s3_bucket.logs.id
    
      rule {
        id     = "logs-retention"
        status = "Enabled"
    
        filter {
          prefix = "logs/"
        }
    
        transition {
          days          = 30
          storage_class = "STANDARD_IA"
        }
    
        transition {
          days          = 90
          storage_class = "GLACIER_IR"
        }
    
        expiration {
          days = 365
        }
    
        noncurrent_version_expiration {
          noncurrent_days = 30
        }
      }
    
      rule {
        id     = "abort-incomplete-multipart-upload"
        status = "Enabled"
    
        filter {}
    
        abort_incomplete_multipart_upload {
          days_after_initiation = 7
        }
      }
    }

    noncurrent_version_expiration(古いバージョンの削除)

    バケットのバージョニングを有効にしていると、expirationでオブジェクトを「削除」しても、実際には削除マーカーが付くだけで、古いバージョンは残り続けます。バージョニングを使うバケットでは、古いバージョンを消すルールがないと、削除したつもりのデータの料金を払い続けることになります。

    abort_incomplete_multipart_upload(途中で止まったアップロードの削除)

    大きなファイルを分割してアップロードする途中で失敗すると、アップロード済みの部分がバケットに残ります。この部分はファイルの一覧には表示されませんが、保存料金はかかります。一定の日数が過ぎたら自動で削除するようにしておきます。

    落とし穴:小さなファイルが大量にあると高くなる

    ストレージクラスを移すと保存料金は下がりますが、次の点に注意が必要です。

    • 移行のリクエストに料金がかかる:オブジェクト1つ移すごとに課金される。小さなファイルが大量にあると、移行の料金が保存料金の節約分を上回ることがある

    • 最小課金サイズがある:Standard-IAやGlacier Instant Retrievalでは、128KB未満のオブジェクトも128KBとして課金される

    数KBのログが毎日数十万ファイル出るような環境では、ストレージクラスを移すとかえって高くなることがあります。現在のS3では、128KB未満のオブジェクトは既定でストレージクラスの移行対象から外れますが、そもそも小さなファイルを大量に作らないよう、ログをまとめてから保存するのが根本的な対策です。

    アクセスの傾向が読めない場合

    どのデータがいつ読まれるか予測できない場合は、S3 Intelligent-Tieringも選択肢です。アクセスの状況を見て、自動で安い階層に移してくれます。

    ただし、オブジェクトごとに監視の料金がかかります(128KB未満のオブジェクトは監視の対象外で、料金もかかりません)。ログのように「古くなったら読まない」ことが明らかなデータは、日数で移すライフサイクルルールのほうが安く済むことが多いです。

    適用前に確認すること

    • 今のデータ量と件数:S3 Storage LensやCloudWatchのメトリクス(BucketSizeBytes、NumberOfObjects)で、バケットの容量とオブジェクト数を確認する。平均サイズが小さい場合は、移行の料金に注意する

    • 削除してよい期間:法令や社内規程で、ログの保存期間が決まっていないかを確認する。expirationで消したデータは戻せない

    • 読み返す頻度:障害調査や監査で、どのくらい前のログを読むことがあるかを確認する

    まとめ

    • ライフサイクルルールで、古いデータを安いストレージクラスに移し、不要なデータを自動で削除できる

    • ストレージクラスには最低保存期間があり、それより前に削除すると残りの期間分の料金がかかる

    • バージョニングを使うバケットでは、古いバージョンを削除するルールも必要

    • 途中で止まったマルチパートアップロードも、ルールで自動削除しておく

    • 小さなファイルが大量にあると、移行の料金でかえって高くなることがある

    「保存する期間」と「読み返す頻度」をはっきりさせてからルールを書くと、料金を確実に下げられます。

    体系的に学びたい方へ

    Terraformのコードを豊富に掲載したKindle本を出しています。もう一歩理解を深めたい方は、ぜひ手に取ってみてください。

    『Terraformで学ぶ AWSインフラ構築 実践ガイド』

    Amazonで見る

    あなたへのおすすめ