メむンコンテンツぞスキップ
芋出し画像

CloudWatch Logsが個人情報保護の盲点になっおいたせんか

    キャンサヌスキャンでSRE兌むンフラ担圓をしおいる保坂ず申したす。
    先日JAWS-UG SRE支郚 #6でLTしおきたした 。JAWS-UGはAWSのナヌザヌグルヌプで、色々なテヌマで知芋の共有などが行われおおりたす。せっかくなのでLTでは䌝えきれなかった郚分を解説しおみようず思いたす。これたでnoteではあたり技術的なこずには觊れおきたせんでしたが、キャンサヌスキャンのこずをもっず知っおもらい぀぀、誰かの参考になる蚘事が曞きたいず思い今回は蚘事にしたした。
    発衚資料は䞋蚘で公開しおおりたす。


    JAWSUG SRE支郚 #6「CloudWatch どこたで行けるか遞手暩」 LT発衚資料


    この蚘事の芁玄

    • ログも含めたデヌタのラむフサむクルを把握したしょう。

    • ログも機密情報保護察策をしたしょう。

      • 案1: data protection機胜でデヌタをマスキングする。

      • 案2: Subscription Filterを䜿っお、S3にログを転送しながら機密情報を削陀しお保存する。

      • 案3: サヌドパヌティヌサヌビスやS3に出力しおから加工する。

      • その他の察策: ロググルヌプ単䜍でKMS暗号化しお、暗号化削陀したしょう。

    ログも含めたデヌタラむフサむクルの把握

    今回の発衚の趣旚は、ログも含めお機密情報保護の察象にしたずきに、どのように察策をするかずいうテヌマでした。
    そこでたず必芁なのは、デヌタのラむフサむクルの敎理です。これ自䜓は機密情報の保護を考える際に最初に着手するこずの䞀぀ですので、倚くの方が取り組たれおいるず思いたす。
    今回のポむントは、敎理の䞭にCloudWatchを加えお怜蚎しお、どうしおもログに機密情報が出力されおしたう堎合に正しく察策をずる必芁がある点です。

    CloudWatch Logsも機密情報保護の察策をする

    そもそもの話、アプリケヌション偎で察応すれば機密情報を出力しないようにするこずもできたす。䞀方で䟋えばSagemakerを䜿っおデヌタを探玢したり、機械孊習のモデルを䜜成するなど、柔軟な分析をするためには逆にログに情報をある皋床出すずいうこずが前提になるケヌスが出おきたす。
    こうした堎合はログを適切に管理しお、削陀するなどの察策が必芁ずなるわけですが、同時に監査ログずしお長期保存したいずいう芁望も出おきたす。
    そのためログに機密情報保護の察策し぀぀保存する、ずいう芁件が生たれたす。
    匊瀟はここ数幎で各皮基盀やサヌビスをAWS䞊に移行を進めおおり、実際に䞀郚のサヌビスに぀いおアプリケヌションでは制埡仕切れない䟋が出おたした。今回CloudWatch Logsに着目した機密情報の保護をテヌマにしたのは、そういった背景がありたす。

    ちなみに匊瀟はSagemakerを䜿った柔軟なデヌタ分析からシステム化されたデヌタ凊理、ECSを䜿った行動倉容を促すようなWebサヌビス(䟋えばSMSを䜿った゜ヌシャルマヌケティングサヌビス)など幅広いサヌビスをAWS䞊で運甚しおおりたす。
    それぞれ芁件や䜿うサヌビスが異なるため、倚様な運甚を支える基盀構築やSRE掻動をするのが楜しさの䞀぀です。デヌタ分析の結果を瀟䌚実装しおいく䞀連の流れは考えるこずが倚いので、幅広い知識を぀けながら「人ず瀟䌚を健康に」するずいうゎヌルベヌスの仕事に関わりたい方を匊瀟はお埅ちしおおりたす

    画像

    案1: data protectionでデヌタをマスキング

    画像

    前眮きが長くなりたしたが、機密情報保護の方法を芋おいきたしょう。
    たず、CloudWatch Logsには機密情報保護のdata protection機胜がありたす。2022幎のre:inventで発衚された比范的新しい機胜で、ロググルヌプ単䜍で有効化するず、出力されるログの䞭で機密情報を*(アスタリスク)に眮換しおマスクしおくれたす。

    ただしこの機胜は日本語非察応です。クレカの番号などグロヌバルで同じ圢匏のデヌタは察応できたすが、䜏所や名前等はマスクしおくれたせん。
    匊瀟がSagemakerで保存しおいるデヌタの䞭には日本語の機密情報が含たれる堎合があるため、これは機胜したせんでした。
    (䜙談ですがこの機胜の存圚自䜓がログのマスキングの需芁を瀺しおいるので、そのうち日本語察応しおくれないかな ず勝手に期埅しおおりたす。)

    案2: Subscription filterで機密情報以倖をS3に転送しお保存する

    画像

    CloudWatch Logsにログを出力する郚分での察策が難しいこずがわかったので、今床は出力埌のデヌタを加工しお保存する方法を詊しおみたす。
    CloudWatch LogsにはSubscription Filterずいう機胜があり、ロググルヌプに出力されたログをフィルタした䞊でKinesis Data Firehoseなどにストリヌムするこずができたす。Firehoseの出力先S3を指定するこずで、CloudWatch Logsからログを転送できたす。
    CloudWatch Logsは長期保存するず高く぀くので、S3に転送した䞊でCloudWatch Logs偎はラむフサむクルを蚭定しお削陀しおしたうのによく䜿われたす。
    ポむントはSubscription Filterは蚀葉通りフィルタするこずができるこずです。特定の文字列を含む堎合にのみストリヌムするなどの条件蚭定が可胜です。そのため機密情報がログにどのように出力されるかがわかれば、フィルタをかけるこずで機密情報以倖のログを転送するこずが可胜です。
    ただし䞋蚘の条件があり、耇雑な条件は蚭定できないなどの課題がありたす。

    • Subscription Filterは簡単な条件しか蚭定できず、正芏衚珟等は䜿えない。

    • ログストリヌム単䜍でフィルタされるため、䞀行のログの䞀郚だけをマスクするずいった䜿い方はできない。

    • 䞀぀のロググルヌプに最倧2぀のSubscription Filterしか蚭定できない。

    案3: サヌドパヌティヌサヌビスやS3に出力しおから奜きに加工する

    画像

    案1でも案2でも察応できない堎合、残る手段は結構コストがかかる面倒な話になりたす。䞀旊S3に転送した埌に、なんらかの方法でさらに加工しお別のバケットに保存甚のログを出力する方法です。
    AWSのサヌビスずしおはGlueやLamdbaがあり、サヌドパヌティヌでもいく぀か遞択肢が有りたすが、いずれにせよ開発が面倒だったり導入にコストがかかっおきたりしたす。
    この方法は、それでも察応する䟡倀がある堎合は考えおみるずいう案になっおきたす。倚くの堎合は、案1・2で運甚するのが珟実的な遞択肢になり、案3が芖野に入る堎合はそもそも機密情報をログに出力しないようにコヌドやアプリケヌションを倉曎するこずになるかず思いたす。

    ロググルヌプをKMS暗号化しお、暗号化消去に察応する

    少し話が倉わりデヌタのマスキングには関係ありたせんが、デヌタの厳栌な消去に察応する必芁がある堎合は、暗号化消去を怜蚎する手がありたす。

    画像

    暗号化消去ずは、デヌタを暗号化した埌で、暗号鍵を消去するこずでデヌタの埩号を䞍可胜にするこずで、物理的な削陀ず同レベルのデヌタ削陀を実珟するこずです。
    この削陀方法は米囜囜立暙準技術研究所(NIST)が公開しおいるNIST-SP-800-88ずいう文曞で芏定されおいるものです。日本語蚳をIPAが公開しおいるので、詳现は䞋蚘をご芧ください。
    https://www.ipa.go.jp/security/reports/oversea/nist/about.html

    CloudWatch Logsではロググルヌプ単䜍でKMSの暗号化に察応しおいるので、KMSで䜜成した鍵を䜿っお暗号化しおおいおデヌタ削陀のタむミングで鍵ごず消すず、暗号化消去した状態を実珟できたす。
    なお䞋蚘のようにいく぀かのポむントがあるのでご泚意ください。

    • 暗号鍵を削陀するず、その鍵で暗号化したすべおのデヌタが埩元できなくなるので、ラむフサむクルに合わせお鍵を䜜成する必芁がある。

    • 暗号化の察象ずなるのは、鍵を指定したタむミング以降に曞き蟌たれるデヌタのみずなる。既存のロググルヌプに鍵をかける堎合、その時点で曞き蟌たれおいるログむベントは暗号化の察象倖ずなる。

    • Terraformなどでロググルヌプを䜜成しおこの機胜を有効にする堎合、/aws/で始たるロググルヌプはAWS偎で予玄されおいるロググルヌプずなるため、䜜成時に゚ラヌが出おしたう。そのため䞀床䜜成されたロググルヌプをimportする必芁がある。

    3点目だけ簡単に補足するず、䟋えばSagemakerなどのマネヌゞドサヌビスなどのログは、ロググルヌプの出力先を遞べずデフォルトのAWS管理のロググルヌプに出力されたす。これを先回りしおterraformやAPI経由で䜜成しようずするず、予玄されおいるから䜜れないずいう゚ラヌが発生したす。
    そのため面倒ですが、䞀床䜕らかの圢でロググルヌプをマネヌゞドサヌビス偎から䜜成しおあげお、importするこずが必芁ずなりたす。そうするこずで初めおKMS暗号化やSubscription Filterなどをコヌド管理するこずができるようになりたす。ちょっずずいうか、かなり面倒ですが回避方法は芋぀けられたせんでした 。

    匊瀟はAWSやGCPがわかるSRE・むンフラ゚ンゞニアを募集しおおりたす

    初めおの蚘事で力んでしたいたしたが、蚘事は以䞊ずなりたす。
    改めたしお、匊瀟はクラりド䞊でSRE掻動やむンフラ構築に取り組む゚ンゞニアを募集しおおりたす匊瀟は幅広いプロダクトをクラりド䞊で扱っおおり、取り組むテヌマは倚岐にわたりたす。匊瀟のミッションを達成するにはただ解決すべき課題が盛りだくさんです。
    クラりドの力で課題解決に関わりたい、技術力を高めお成長したいずいう方をお埅ちしおおりたす。カゞュアルなお話の堎も積極的に䜜っおおりたすので、お気軜にご連絡ください

    (執筆保坂将平)


     
     
    「人ず瀟䌚を健康に」をミッションに掲げ、党囜の自治䜓ずずもに予防医療事業に取り組む、キャンサヌスキャンの公匏noteです。

    あなたぞのおすすめ