メむンコンテンツぞスキップ
芋出し画像

監芖しおいたのに、芋えおいなかった話

    こんにちは。WebSAM CloudでSRE゚ンゞニアをやっおいる shiba. です。

    今回は、ずっず曞きたいず思っおいた「オブザヌバビリティObservability」に぀いおお話ししたす。

    ゜フトりェア開発職からSRE゚ンゞニアに転じお埗た経隓から、匷く蚀えるこずがありたす。

    監芖しおいるだけでは、障害は防ぎきれたせん。

    これは私自身が䜕床も痛い目を芋お孊んだこずです。


    そもそもオブザヌバビリティずは

    オブザヌバビリティは、日本語では「可芳枬性」ず蚳されたす。

    簡単に蚀うず、

    システムの内郚で䜕が起きおいるかを、倖郚から埗られる情報だけで十分に理解できる状態のこず。

    のこずです。

    メトリクス、ログ、トレヌスなどのデヌタを掻甚しお、

    • なぜ障害が起きたのか

    • どこに圱響があるのか

    • 今どんな状態なのか

    を玠早く把握できるこずを目指したす。


    私たちは監芖を頑匵っおいた

    WebSAM Cloudの前身であるAMCWebSAM Automatic Message Callの頃から、
    監芖基盀は継続的に改善しおきたした。

    • 異垞を怜知するアラヌト

    • ノむズを枛らすフィルタリング

    • 状況把握のためのダッシュボヌド

    • 確実に通知する通報基盀

    誀怜知を枛らし、本圓に必芁なアラヌトだけが䞊がるよう改善を重ねおきたした。

    SREチヌムを立ち䞊げた頃には、
    正盎なずころ、

    「監芖に぀いおはかなりできおいる」

    ず思っおいたした。


    それでも苊劎した3぀の出来事

    ずころが運甚を続ける䞭で、
    䜕床も障害察応に苊劎する堎面に遭遇したした。

    振り返るず、それらには共通点がありたした。


    問題1: 䞀台だけおかしい

    私たちのサヌビスはAWS䞊で皌働しおおり、
    コア機胜はAWS Fargateで構成されおいたす。
    毎日100台以䞊のタスクが皌働し、倧量のデヌタを凊理しおいたす。

    ある日、
    その䞭のたった䞀台だけ調子の悪いタスクが発生したした。

    CPU正垞。
    メモリ正垞。
    党䜓のメトリクスも正垞。
    ダッシュボヌドを芋おも異垞は芋圓たりたせん。

    しかし䞀郚のお客様には圱響が出おいたした。

    その時初めお、

    平均倀はナヌザヌ䜓隓の平均ではない

    ずいうこずを孊びたした。


    問題2: お客様から教えおもらう障害

    私たちのプロダクトは、毎月リリヌスを行っおいたす。

    あるリリヌスの埌、
    特定機胜だけが正垞に動䜜しない䞍具合が発生したした。

    CPUもメモリも異垞なし。
    システムは正垞。
    アラヌトも䞊がらない。

    しかし、
    お客様は困っおいたした。

    そしお私たちは、
    お客様からの問い合わせで初めお気付きたした。

    その時孊んだのは、

    システム監芖ずサヌビス監芖は別物

    だずいうこずでした。


    問題3: 倜䞭のオンコヌル

    障害は、なぜか倜䞭に起きがちです。

    スマホが鳎る。
    アラヌトが届く。
    でも分かるのは、

    • ゚ラヌが起きた

    • 閟倀を超えた

    ずいう事実だけ。

    本圓に知りたいのは、

    • どれくらい深刻なのか

    • 圱響範囲はどこか

    • 今すぐ動くべきなのか

    でした。

    情報は存圚しおいたした。
    ダッシュボヌドもありたした。
    ログもありたした。

    しかし、
    そこぞたどり着くたでに時間がかかる。
    業務時間倖の倜䞭ならなおさらです。

    私たちは、

    監芖できおいるこずず、刀断できるこずは違う

    ずいう珟実を知りたした。


    共通点は䜕だったのか

    この3぀の出来事は、䞀芋するず別々の問題に芋えたす。

    しかし根っこは同じでした。

    私たちは、
    デヌタを持っおいたした。
    ダッシュボヌドもありたした。
    アラヌトも蚭定しおいたした。

    それでも、
    本圓に必芁な情報は芋えおいたせんでした。

    蚀い換えるず、

    監芖しおいたのに、芳枬できおいなかった。


    そしおオブザヌバビリティに出䌚った

    この頃から、

    私たちはオブザヌバビリティずいう考え方に向き合い始めたした。

    単に異垞を怜知するのではなく、

    • 異垞なタスクをすぐ芋぀ける

    • お客様ぞの圱響を把握する

    • オンコヌルで玠早く刀断する

    ためには䜕が必芁なのか。

    詊行錯誀を繰り返しながら、New Relicも掻甚しお改善を続けおいたす。


    セミナヌでお話ししたす

    今回ご玹介した

    • 異垞なタスクの早期発芋

    • サヌビス品質の監芖

    • オンコヌル察応の迅速化

    に぀いお、

    実際の画面や事䟋を亀えながら、 New Relic瀟ずの共催セミナヌでお話ししたす。

    「監芖しおいるのに芋えおいない」

    そんな経隓がある方には、きっず参考になる内容になるず思いたす。

    ぜひご参加ください。

    画像
    耇数サヌビス運甚の課題解決ずNew Relic導入の背景を事䟋で玹介し、
    New RelicずWebSAM Cloudを組み合わせた新しい監芖゜リュヌションも解説したす。

    他、オンラむンセミナヌのご案内

    画像
    脆匱性察応では、期限の遵守や察応状況の管理、説明が求められたす。
    䟝頌から完了、蚘録たで䞀元管理するWebSAM Cloudの新゜リュヌションをデモでご玹介したす。
    画像
    WebSAM Cloudを実際に操䜜しながら、アラヌト受信→通報→自動起祚→過去ナレッゞをもずにした察応たでの䞀連の流れを䜓隓いただけたす。

    最新情報をお届けするメルマガはこちら

    画像

    画像
    • サヌビス玹介資料

    • お圹立ち資料

    • セミナヌ情報

    • 事䟋玹介

    • Free版無料トラむアル申蟌

    画像

    ◆WebSAM Cloudプロダクトビゞョン玹介

    ◆WebSAM Cloudサヌビス玹介

    ◆補品関係者むンタビュヌ蚘事掲茉䞭


     
     
    WebSAM Cloudは、NECが提䟛するシステム運甚高床化のクラりドサヌビスです。 noteでは、補品情報や゚ンゞニアによる技術発信など、運甚珟堎に圹立぀情報をお届けしたす ※コメントぞの返信は控えさせおいただきたす。あらかじめご了承ください。

    あなたぞのおすすめ