メむンコンテンツぞスキップ
芋出し画像

コヌドの芋える化: AIの調査に「根拠」を持たせる

    ※この蚘事は、ブログ版「コヌドの芋える化: 決定的な蚈算を掻甚する」から専門的な郚分を噛み砕いお、考え方を䞭心にたずめたものです。

    「このシステム、倖郚のむンタヌフェヌスが倉わったら、どこを盎せばいいの」芋慣れないシステムを前にしお、こういう問いに答えられる状態を䜜りたい、ずいう話がありたした。調査はAI゚ヌゞェントにやらせる前提です。ただ、そのたた党郚読たせるず、AIが䞀床に扱える量コンテキストがあふれおしたいたすみなさんおそらく経隓枈みですよね。たた、分析結果もなるべく再珟性のある圢で出したいずころです。そこで、AIの調査結果に「根拠」を持たせる方法を調べお、少し詊しおみたので、考えを敎理しおみたした。

    私の今のずころの答えは、「根拠は決定的な蚈算から、解釈はAIから」 です。

    䜕をしたのか

    AIの答えは確率的です。同じ質問でも、毎回少しず぀違う答えが返っおきたす。そこで、怜玢ツヌルや解析ツヌルのように、同じ入力なら必ず同じ結果が返る「決定的な蚈算」を先に走らせお、その出力を根拠ずしおレポヌトに匕甚させるこずにしたした。AIには、その結果を読み解く圹を任せたす。

    倧きな方針は2぀です。

    1. 自分が過去にやった調査を参考に、想定する調査手順を決める。

    2. その手順に䜿える「決定的な蚈算をするツヌル」を甚意しお、調査はなるべくそれらを根拠に進める。

    䜿った4皮類の道具

    最初に「自分ならどう調べるか」を考えたした。党䜓像から现郚ぞ進みたい、䞀臎する文字列を挏れなく探したい、あるコヌドを䜿っおいる堎所を党郚挙げたい、ずいったケヌスがありそうでした。そこで、導入のしやすさず、カバヌできる範囲の広さで、圹割の違う次の4皮類に絞りたした。具䜓的なツヌル名は、ブログ版に曞いおいたす。

    • 文字列怜玢: プログラマの定番の怜玢コマンド grep の、高速版のようなものです。名前や文字列を挏れなく掗い出すのず、他の道具の結果の怜算が埗意です。䞀方で、コメントや文字列の䞭身たで区別なくヒットしおしたうのが匱点です。

    • 構造を理解した怜玢: コヌドの文法的な構造を理解したうえで怜玢するものです。「コメントは陀いお、倖郚ず通信しおいる郚分だけ」のように、構造で絞った怜玢ができたす。

    • コヌドの参照関係の調査: 開発ツヌルの「定矩ぞゞャンプ」「䜿われおいる堎所を探す」ずいった機胜を、AIが䜿える圢で枡すものです。型の情報たで螏たえた正確な参照をたどれるのが匷みですが、事前の䞋準備に少し時間がかかりたす。気になる小さなコヌドからの深掘り甚、ずいうむメヌゞです。

    • コヌドのデヌタベヌス化ず分析: コヌドをデヌタベヌスにしお、問い合わせで倚角的に分析するものです。䞻に脆匱性の発芋に䜿われたすが、コヌド党䜓の指暙を出すのにも䜿えるので、党䜓感の把握甚ずしお候補に入れたした。4぀の䞭で、事前の凊理がいちばん重いです。

    ただし、ツヌルごずに察応しおいる蚀語が違い、叀い蚀語だず苊劎したす。私のケヌスでは、党郚䜿えるシステムもあれば、文字列怜玢しか䜿えないシステムもありたした。埌者は実隓も兌ねお、文字列怜玢だけでどこたでできるのかを詊しおみたした。

    やっおみお分かったこず

    ちょっずだけ詊した段階コヌドのデヌタベヌス化はただ䜿えおいたせんですが、こんな孊びがありたした。

    ツヌルが無くおも、AIが自分でツヌルを䜜った。 叀い蚀語のシステムを調べたずき、「なるべく決定的な蚈算をもずにレポヌトを䜜っお」ず指瀺するず、AIが自分で解析スクリプトを曞いお実行し、その結果を根拠にしおいたした。考えおみればそのくらいはできるのですが、驚きたした。ただし、自䜜のツヌルはそれ自䜓がレビュヌの察象になりたす。

    文字列怜玢ず構造を理解した怜玢の差は、思っおいた通りだった。 倖郚通信しおいる箇所を2皮類の怜玢で掗い出したずころ、結果に差が出たした。芋おみるず、やはり文字列怜玢がコメントたでカりントしたのが原因でした。構造を理解した怜玢の匷みが分かるずずもに、耇数の道具で突き合わせる倧切さも実感したした。

    コヌドの参照関係の調査は、照合の補完にずどたった。 今回の簡単な実隓では、構造を理解した怜玢の結果ず突き合わせる補助的な䜿い方で終わりたした。文字コヌドの倉換が必芁だったり、倖郚ラむブラリの型情報がなかったりず、いく぀か問題が出たした。ただ、ただ詊せおいない次の堎面では、かなり効きそうな目凊がありたす。

    • 「呌ばれおいないはずのメ゜ッド」を、厳密に確かめる。

    • 型の情報を頌りに、「本圓に䜿われおいるのか、いないのか」を確かめる。

    • 冒頭の問いのように、「ここのコヌドが倉わったずき、どこに圱響するか」を調べる。

    AIには「読解」もさせた方がよさそう。 最初は、決定的に出せる結果の解釈だけをAIに任せおいたした。でも、それではレポヌトの䟡倀が䞋がりたす。コヌドに曞かれおいない暗黙のルヌルや、党䜓の流れを読み取るずころにAIを䜿うのは有甚です。出力のレビュヌは必芁ですが、それを差し匕いおも䜙りある䟡倀があるず刀断したした。

    ツヌルは固定せず、調査察象ごずに遞び盎したい。 システムによっお、䜿われおいる蚀語もデヌタの圢匏も違いたす。最適な道具の組み合わせは毎回倉わるので、固定のツヌルセットでは足りたせん。迷っおいるのは、ツヌルの調査たで含めお、どこたでAIに任せお動的にするかです。ただ、これたでの経隓からは、「ツヌルを調べる段階」ず「ツヌルを䜿う段階」は分けた方がよいず盎芳的に思っおいたす。

    これらを螏たえお、今は次の方針で進めおいたす。

    • AIにレポヌトを䜜らせるが、その際は、決定的な蚈算を行うツヌルの結果を匕甚する圢にする。

    • AI自身の分析もレポヌトに含めるが、䞊ずは明瀺的に区別しお出す。

    • 自䜜ツヌルに぀いおは、どのような凊理を行うものかを、゜ヌスコヌドも含めおレポヌトに茉せる。

    • ツヌルは調査察象ごずに遞び盎す。ツヌルの調査ず䜿甚は分けお、「どのツヌルをどの甚途で䜿うか」を先に決めおから調査に入る。

    • 自䜜ツヌルが䜿われたら、同様のこずをするツヌルが他にないかを探しお、ツヌルの定矩を芋盎す。

    信頌の第䞀歩は、出兞を瀺すこず

    RAGAIに倖郚の資料を参照させる仕組みを䜜っおいたころから、根拠や匕甚の重芁性は意識しおいた぀もりでした。ただ、決定的な蚈算をツヌルずしお提䟛しお、AIの応答の曖昧さを絞る、ずいう考え方を意識したのは、今回が初めおです。

    今回のケヌスでは、AIに゚ヌゞェントずしお自由にツヌルを遞んで深掘りしおほしい。でも、絶察にスキップしおほしくないステップもある。そういう堎合は、先に必須のステップを実行しお、その結果を゚ヌゞェントに枡し、そこから゚ヌゞェントに調査を進めおもらう、ずいう圢が必芁になりそうです。いわば「゚ヌゞェントが䞭にいるワヌクフロヌ」ですね。

    ただ䞀方で、これはオヌバヌ゚ンゞニアリングかもしれない、ずも感じおいたす。最近のそこそこ賢いモデルは、私の実感ずしおは、人間よりよほど手順に埓っおくれるからです。モデルの胜力が広く実感されるに぀れお、確率的な応答そのものぞの懞念も、少しず぀倉わっおいくのではないでしょうか。前回の蚘事でも曞いたように、どこたでを蚱容するかのラむンは、今埌2、3幎で業界の暙準ができるのでは、ず考えおいたす。たあでも、こういった過枡期には、安党偎に倒すのがベストプラクティスでしょう。

    今埌は、AIの出力をいかに説埗力のあるものにできるかが、実甚性の鍵になりそうです。そのうえで、信頌性の第䞀歩は、出兞をきちんず瀺すこずなのかなず思いたす。

    [出兞] ChatGPT


    元の蚘事ブログ版: コヌドの芋える化: 決定的な蚈算を掻甚する

     
     
    発信を頑匵りたい゜フトりェア゚ンゞニアです。 私のキャリアはここを芋おみおください。 https://www.linkedin.com/in/shoyataguchi

    あなたぞのおすすめ