メインコンテンツへスキップ
見出し画像

危ないのは5分おきのジョブだと思っていました。定時ジョブ27本をClaude Codeに17分で24時間の時間軸へ展開させたら、追い越しうる5本のうち2本は毎時実行でした

    こんばんは、AIフクロウです。

    業務で触っているサーバーの定時ジョブが、いつのまにか27本になっていました。足してきたのは私だけではないので、全体を頭に入れている人はおそらく誰もいません。

    crontab を開けば一覧は見えます。ただ、見えているのは縦に並んだ27行です。同じ時刻に何本立ち上がるのか、前の実行が終わる前に次が始まっていないか、という話は行を上から眺めても分かりません。

    そこで今夜は、crontab を縦の一覧ではなく24時間の時間軸として読ませてみました。ひとつ趣向を変えて、渡す前に「危ないのはこの辺りだろう」という自分の予想を先に書き出してあります。

    縦に27行、では横に何本なのか

    定時ジョブの資料というのは、たいてい縦長です。1行に1本、スケジュール式とコマンドが並んでいて、追加のたびに下に伸びていきます。

    この形のまま読むと、分かることは「何というジョブがあるか」までです。知りたいのはむしろ逆で、ある時刻に立っている本数と、その本数が重なったときに困る組み合わせのほうでした。

    いちばん素朴なのは、表計算に写してスケジュール式を時刻に展開する方法です。実際にやったことがありますが、9本目くらいで手が止まりました。*/5 や 0 3 * * 1-5 のような行を1本ずつ24時間ぶんに割り戻していく作業は、単調なのに間違えると意味がなくなります。

    しかも時刻を展開しただけでは半分です。そのジョブが実際に何秒かかっているかと突き合わせないと、起動間隔を食い潰している行は見えてきません。

    先に予想を書いてから渡しました

    展開を任せる前に、自分なりの答えを紙に書いておきました。出力を見た瞬間に「まあそうなるよね」と思ってしまうのを防ぐためです。

    画像

    私の予想は、間隔の短い3本

    危ないのは間隔を詰めてあるジョブだろう、と考えました。5分おきの外形監視、10分おきのキャッシュ同期、15分おきの検索インデックス更新。この3本の名前を書いて、ほかは大丈夫なはずだと添えています。

    理由もいちおう書きました。間隔が短いジョブは、少し伸びただけで次の起動にぶつかるからです。逆に1時間おきのジョブは余裕があるので、追い越しなど起きるわけがないと思っていました。

    この予想はプロンプトには入れていません。先に答えを見せると、その答えを裏づける方向に出力が寄っていくからです。予想は自分の手元だけに置いて、判定は資料だけから出してもらいました。

    渡した資料は crontab と実行時間の2つ

    1つ目は crontab の中身をそのまま貼ったテキストです。コメント行も空行も消さずに、36行まるごと渡しました。このうちジョブとして動いている行が27本で、@reboot 指定の2本は時刻に展開できません。

    2つ目は実行時間の実績です。ジョブ名・直近30回の中央値(秒)・直近30回の最大(秒)をタブ区切りで22行。月1実行のものと先週追加されたものの3本は、実績の行がありません。

    中央値と最大の両方を出したのには理由があります。ふだんの所要時間を知るには中央値が向いていますが、追い越しが起きるかどうかは最悪のときの話なので、判定に使うべきは最大のほうです。この2列を分けて渡しておくと、どちらで判定するかをプロンプト側で指定できます。

    使ったプロンプト

    あなたは定時ジョブの運用を長く見てきたSREです。
    以下の2つの資料だけを根拠に、定時ジョブの時間軸の重なりを洗い出してください。
    
    [資料1: crontab]
    (ここに crontab の中身を貼る。コメント行も空行も消さずそのまま貼る。各行の先頭に行番号を付ける)
    
    [資料2: 実行時間の実績]
    (ここに「ジョブ名(TAB)直近30回の中央値の秒数(TAB)直近30回の最大の秒数」の行を貼る)
    
    ルール:
    1. まず資料1の各行のスケジュール式を、00:00 から 23:59 までの起動時刻に展開する。
       展開できない行(@reboot・特殊文字列・コメント)は「展開不可」として別に並べ、
       推測で時刻を埋めない。
    2. 起動時刻は分単位で扱う。曜日や日付の指定がある行は「毎日ではない」と明記し、
       指定が全部重なる日を前提に数える。
    3. 出力は次の3ブロックだけを、この順番で出す。ほかの節は作らない。
       [A] 同時起動の多い時刻 上位5件
           時刻 / 同時に起動する本数 / ジョブ名の一覧
       [B] 前回の自分を追い越しうるジョブ
           ジョブ名 / 起動間隔の秒数 / 最大実行時間の秒数 / 超過した秒数
           最大実行時間が起動間隔以上のものだけ挙げる。中央値では判定しない。
       [C] 同じ時刻に起動して対象が重なる組
           時刻 / ジョブ名2つ以上 / 重なっている対象
           対象はコマンドの引数やパスから読み取れるものだけ書く。
    4. 資料に書かれていないことは書かない。実行時間の実績がないジョブは [B] に入れず、
       末尾に「実績なし」として名前だけ並べる。
    5. [C] で挙げた対象(パス・テーブル名・ホスト名)には、根拠にした資料1の行番号を
       必ず添える。行番号を示せないものは挙げない。
    6. 対策・改善案・推奨設定は一切書かない。並びと数だけを出す。
    7. 「適切に」「注意が必要です」のような一般論の文は書かない。
    8. 最後に1行だけ、展開できた本数と1日あたりの起動回数の合計を書く。

    差し替えるのは [資料1] と [資料2] の中身だけです。実行時間の実績は、ジョブの実行ログから中央値と最大を出しておけば十分でした。ログが残っていない場合は、その行を省いて「実績なし」に回してもらえます。

    戻ってきたもの

    応答は1分50秒ほどで、出力は約1,600字でした。展開できたのは25本、1日あたりの起動回数は合計1,014回だそうです。27行の資料が、横に読むと1,000回を超える起動になるというのは、感覚としてかなり違いました。

    画像

    同時に立ち上がる本数

    最初のブロックは、時刻ごとの本数でした。

    [A] 同時起動の多い時刻 上位5件
    00:00   9本   nightly_aggregate, export_daily_csv, rotate_logs, fetch_queue_depth, ...
    03:00   6本   vacuum_reports, archive_reports, ping_partner_api, ...
    00:30   5本   warm_cache_pages, refresh_search_index, ...
    06:00   5本   rotate_logs, upload_logs, ...
    04:00   4本   hourly_report_push, sync_master_cache, ...
    
    展開不可: 2本 (@reboot)
    展開できたジョブ 25本 / 1日の起動回数 合計 1,014回

    深夜0時に9本というのは、正直まったく驚きがありませんでした。日次のジョブを書くときに 0 0 * * * と書いてしまうのは全員同じなので、そこに寄るのは分かっていたことです。

    しかもこの時間帯は誰も使っていないので、本数が多くても実害が出にくい場所でした。確認はできたけれど発見はない、という結果です。

    予想が外れた2本

    ここで紙の予想と突き合わせました。挙がってきたのは5本で、私が書いた3本は全部入っています。

    [B] 前回の自分を追い越しうるジョブ
    job                    間隔(秒)   最大(秒)   超過(秒)
    ping_partner_api           300       341        +41
    sync_master_cache          600       731       +131
    refresh_search_index       900       902         +2
    warm_cache_pages          3600      3655        +55
    hourly_report_push        3600      4218       +618
    
    実績なし: monthly_invoice_export, quota_recalc, tag_backfill

    予想が当たったことより、残り2本のほうが問題でした。warm_cache_pages と hourly_report_push、どちらも毎時実行です。1時間あれば終わるだろうという思い込みで、ここは一度も疑っていませんでした。

    hourly_report_push は中央値だと420秒で、ふだんは7分で終わっています。それが最大で4,218秒、つまり1時間10分を超えた回があったということでした。中央値だけを見ていたら永遠に気づかない数字です。

    超過した秒数の大きさも、予想とは逆の順番でした。間隔が短い3本の超過は41秒・131秒・2秒と小さく、毎時の2本が55秒と618秒です。間隔が短いジョブは少し伸びただけでぶつかりますが、伸びしろ自体は小さいわけです。

    この5本について、多重起動を防ぐ仕組みが入っているかを自分で見に行きました。3本は flock で囲まれていて、残りの2本は素のまま叩いていました。追い越しが起きたら本当に二重に走るのはこの2本だけで、つまり今夜すぐ手を入れるべき対象は5本ではなく2本でした。

    同じものを触っている3組

    最後のブロックは、同時刻に同じものを触っている組です。00:00 の集計テーブル、03:00 のデータベース、06:00 のログ置き場の3組が挙がりました。

    ここは指示どおり、読み取りの根拠になった資料1の行番号が添えられていました。たとえば 06:00 の組には14行目と29行目と書かれています。

    行番号があると、確かめ方が「全部を読み直す」から「その行を開く」に変わります。実際に3組ぶん6行を開いてみたところ、06:00 の組は読み違いでした。同じ名前のディレクトリに見えて、別のマウント先を指していたのです。

    3組のうち1組が外れというのは精度としては高くありませんが、確かめに使った時間は2分ほどでした。根拠の場所を書かせておくと、間違いが混じっていても捨てずに済むようです。

    効いた指示

    • 最大実行時間で判定させ、中央値では判定しないと明記する。これが一番効きました。中央値で見ると追い越しの危険は1本しか出てきません

    • 自分の予想をプロンプトに書かない。危ないのはこの3本だと思う、と添えた瞬間に、その3本の説明が厚くなって残りが薄くなります

    • 読み取った対象に、根拠の行番号を添えさせる。確かめる場所が1行に絞られます

    • 展開できない行は推測で埋めず、別に並べさせる。これを書かないと @reboot を勝手に深夜0時扱いされます

    • 出力を3ブロックに固定して、ほかの節を作らせない。節が増えると、増えた節に文章量が流れていきます

    • 最後に本数と起動回数の合計を1行だけ書かせる。合計が目に入ると、資料の縦の行数との差が実感できます

    • 対策・改善案は書かせない。禁止しておかないと、出力の後半が一般的な心得で埋まります

    一度だけ作り直しました

    一発では出ていません。やり直しは1回ですが、直した箇所は2つありました。

    1つは判定に使う数字です。最初は指定していなかったので中央値で判定されて、追い越しうるジョブが1本しか出ませんでした。最大で判定させると5本です。4本の差が、そのまま見落としの数になります。

    もう1つは展開できない行の扱いです。@reboot の2本が「起動時=00:00」として数えられていて、深夜0時が11本になっていました。本数が増える方向の間違いは、言われるまで気づきにくいです。

    直したのはどちらも1行ぶんの指示でした。プロンプトの長さはほとんど変わっていないのに、出てくる数が変わります。何を根拠に判定させるかを1行書くだけで結果が動くのは、毎回おもしろいところです。

    cron 以外でも同じ判定ができそうなところ

    • GitHub Actions の schedule トリガー: スケジュール式の形はほぼ同じなので、資料1を差し替えるだけで動きます。実行時間は実行履歴から取れます

    • systemd timer: OnCalendar の書式が違うので、ルール1に書式の説明を1行足す必要があります

    • ワークフローエンジンの定期実行: 起動間隔との比較ではなく「後続のジョブの開始予定時刻」との比較に変えると、遅延が後ろに波及する組が出てきます

    • 自作ツールのバックグラウンド処理: 間隔と最大実行時間という2つの数字さえあれば、cron でなくても同じ判定ができます

    この出力で分からないこと

    便利だったのは、出力が短いことでした。約1,600字しかないので、上から下まで読み切れます。改善案を禁止したぶん丸ごと数に置き換わっているので、読む時間に対して得られる情報の密度が高いです。

    その代わり、3ブロックに固定した副作用もありました。本当は「このジョブが遅れたら、どのジョブの前提が崩れるか」という依存関係も知りたかったのですが、資料にその情報がないので当然出てきません。ジョブ同士の順序は crontab のどこにも書かれておらず、人の頭の中にしかない部分でした。

    それから、手間のかかる場所が移動しただけという面もあります。展開と集計は17分で終わりましたが、実行時間の実績を22行にまとめる作業は、それ自体がログの集計です。今回は既存の実行ログから出せたのでよかったものの、ログを残していないジョブが多い環境だと、資料の準備のほうが本体より長くなるはずです。

    17分の内訳

    画像
    • crontab と実行時間の書き出し: 5分

    • 作り直し: 4分

    • 本番の実行: 3分

    • 出てきた5本を実機で確認: 5分

    合計で17分でした。以前に表計算へ写して展開しようとしたときは、40分かけて9本目で手が止まっています。25本を全部並べきったうえで実機確認まで入っているので、同じ作業と呼べる段階にすら達していませんでした。

    ひとつ補足しておくと、出てきた並びはあくまで渡した資料からの計算です。実際の負荷や依存関係まで見ているわけではないので、手を入れる前に実機で確かめる前提で使うのがよさそうでした。行番号つきで挙がった1組が実際に外れていたのも、その例です。

    今夜わかったこと

    crontab は縦に読む資料だと、長いあいだ思い込んでいました。実際には、縦の27行はただの登録簿で、運用で痛い目に遭う情報は横の時間軸に入っていたようです。

    そして予想を外したのは、本数が集中している時刻でも、間隔を詰めたジョブでもありませんでした。毎時実行だから余裕があるはずだ、と一度も疑わなかった2本のほうです。間隔を縮めたジョブは気にするのに、間隔が広いジョブは最初に決めた前提のまま放置していたわけです。

    ふむ、紙に予想を書いてから渡すのは、思っていたより効く手順でした。当たった3本からは何も学べませんでしたが、外した2本は自分がどこを見ていなかったかをそのまま教えてくれます。

    #cron #プロンプトエンジニアリング #ClaudeCode #業務効率化 #SRE #運用 #バッチ処理 #エンジニア #サーバー運用 #生産性向上 #AI活用

     
     
    Claude Codeを相棒にいろんな副業に挑戦中の28歳エンジニアです。実際に試したプロンプトと結果をそのままシェアしていきます。夜な夜な書いています。

    あなたへのおすすめ