【Terraform×AWS】S3のライフサイクルルールでログ保存のコストを下げる
アクセスログやアプリケーションのログをS3に保存していると、気づかないうちにデータが増え続け、保存料金が積み上がっていきます。ほとんど読み返さない古いログも、作成直後と同じS3 Standardの料金で保存されたままになっていないでしょうか。
この記事では、S3のライフサイクルルールを使い、古いデータを安いストレージクラスに移したり、不要になったデータを自動で削除したりする設定をTerraformで作ります。あわせて、設定次第で逆に料金が増えてしまう落とし穴も紹介します。
ストレージクラスの違い
ログの保存でよく使うストレージクラスは次のとおりです。下に行くほど保存料金は安くなりますが、取り出しの料金や時間、最低保存期間の条件が厳しくなります。
S3 Standard:すぐに読み出せる。最低保存期間なし
S3 Standard-IA:読み出しにも料金がかかる。最低保存期間は30日
S3 Glacier Instant Retrieval:すぐに読み出せるが、読み出しの料金が高い。最低保存期間は90日
S3 Glacier Flexible Retrieval:読み出しに数分〜数時間かかる。最低保存期間は90日
S3 Glacier Deep Archive:最も安いが、読み出しに最大で半日程度かかる。最低保存期間は180日
最低保存期間より前に削除すると、残りの期間分の料金がかかります。移す先は、データを何日くらい保存し、どのくらいの頻度で読み返すかで決めます。
ライフサイクルルールの基本
例として、logs/ 配下のログを次のように扱います。
作成から30日後にStandard-IAへ移す
90日後にGlacier Instant Retrievalへ移す
365日後に削除する
resource "aws_s3_bucket" "logs" {
bucket = "myapp-logs-example"
}
resource "aws_s3_bucket_lifecycle_configuration" "logs" {
bucket = aws_s3_bucket.logs.id
rule {
id = "logs-retention"
status = "Enabled"
filter {
prefix = "logs/"
}
transition {
days = 30
storage_class = "STANDARD_IA"
}
transition {
days = 90
storage_class = "GLACIER_IR"
}
expiration {
days = 365
}
}
}filter:ルールを適用する対象。prefixで、特定のフォルダ(プレフィックス)配下に絞れる
transition:何日後に、どのストレージクラスへ移すか。複数書ける
expiration:何日後に削除するか
ライフサイクルルールは1日に1回程度のタイミングで実行されるため、指定した日数ちょうどに処理されるとは限りません。
忘れがちな2つのルール
ログの保存では、上のルールに加えて次の2つも入れておくと、見えないところで増える料金を防げます。
resource "aws_s3_bucket_lifecycle_configuration" "logs" {
bucket = aws_s3_bucket.logs.id
rule {
id = "logs-retention"
status = "Enabled"
filter {
prefix = "logs/"
}
transition {
days = 30
storage_class = "STANDARD_IA"
}
transition {
days = 90
storage_class = "GLACIER_IR"
}
expiration {
days = 365
}
noncurrent_version_expiration {
noncurrent_days = 30
}
}
rule {
id = "abort-incomplete-multipart-upload"
status = "Enabled"
filter {}
abort_incomplete_multipart_upload {
days_after_initiation = 7
}
}
}noncurrent_version_expiration(古いバージョンの削除)
バケットのバージョニングを有効にしていると、expirationでオブジェクトを「削除」しても、実際には削除マーカーが付くだけで、古いバージョンは残り続けます。バージョニングを使うバケットでは、古いバージョンを消すルールがないと、削除したつもりのデータの料金を払い続けることになります。
abort_incomplete_multipart_upload(途中で止まったアップロードの削除)
大きなファイルを分割してアップロードする途中で失敗すると、アップロード済みの部分がバケットに残ります。この部分はファイルの一覧には表示されませんが、保存料金はかかります。一定の日数が過ぎたら自動で削除するようにしておきます。
落とし穴:小さなファイルが大量にあると高くなる
ストレージクラスを移すと保存料金は下がりますが、次の点に注意が必要です。
移行のリクエストに料金がかかる:オブジェクト1つ移すごとに課金される。小さなファイルが大量にあると、移行の料金が保存料金の節約分を上回ることがある
最小課金サイズがある:Standard-IAやGlacier Instant Retrievalでは、128KB未満のオブジェクトも128KBとして課金される
数KBのログが毎日数十万ファイル出るような環境では、ストレージクラスを移すとかえって高くなることがあります。現在のS3では、128KB未満のオブジェクトは既定でストレージクラスの移行対象から外れますが、そもそも小さなファイルを大量に作らないよう、ログをまとめてから保存するのが根本的な対策です。
アクセスの傾向が読めない場合
どのデータがいつ読まれるか予測できない場合は、S3 Intelligent-Tieringも選択肢です。アクセスの状況を見て、自動で安い階層に移してくれます。
ただし、オブジェクトごとに監視の料金がかかります(128KB未満のオブジェクトは監視の対象外で、料金もかかりません)。ログのように「古くなったら読まない」ことが明らかなデータは、日数で移すライフサイクルルールのほうが安く済むことが多いです。
適用前に確認すること
今のデータ量と件数:S3 Storage LensやCloudWatchのメトリクス(BucketSizeBytes、NumberOfObjects)で、バケットの容量とオブジェクト数を確認する。平均サイズが小さい場合は、移行の料金に注意する
削除してよい期間:法令や社内規程で、ログの保存期間が決まっていないかを確認する。expirationで消したデータは戻せない
読み返す頻度:障害調査や監査で、どのくらい前のログを読むことがあるかを確認する
まとめ
ライフサイクルルールで、古いデータを安いストレージクラスに移し、不要なデータを自動で削除できる
ストレージクラスには最低保存期間があり、それより前に削除すると残りの期間分の料金がかかる
バージョニングを使うバケットでは、古いバージョンを削除するルールも必要
途中で止まったマルチパートアップロードも、ルールで自動削除しておく
小さなファイルが大量にあると、移行の料金でかえって高くなることがある
「保存する期間」と「読み返す頻度」をはっきりさせてからルールを書くと、料金を確実に下げられます。
体系的に学びたい方へ
Terraformのコードを豊富に掲載したKindle本を出しています。もう一歩理解を深めたい方は、ぜひ手に取ってみてください。
『Terraformで学ぶ AWSインフラ構築 実践ガイド』