
【検証】GPT-4o vs OpenAI o1 〜相続分計算と遺産分割協議書の作成〜
1 「OpenAI o1」の登場
OpenAIが2024年9月12日に最新のAIモデルシリーズ「OpenAI o1」を発表しました。
その主な特徴は、以下の通りです。
応答前により多くの時間をかけて思考するよう設計された新しいAIモデル
複雑なタスクの推論能力が向上し、特に科学、コーディング、数学分野で優れたパフォーマンスを発揮
強化学習を採用し、「思考の連鎖」(Chain of Thought)手法を活用
どれほどの力を持っているのか、非常に興味深いですね。
2 「生成AI(LLM)にできること、弁護士にしかできないこと」@業革シンポ
ちょうど良い題材があったので、さっそく検証してみることにしました。
先日開催された、弁護士業務改革シンポジウムの第1分科会「リーガルテクノロジーは弁護士業務をどう変えるか」において、「生成AI(LLM)にできること、弁護士にしかできないこと」の発表がありました。
その中で、ChatGPT(明言されていませんでしたが、おそらくGPT-4o)にいくつかのお題を与えて、どこまでできるかという検証をしていました。
その中から計算を含んでいたお題を選んで、全く同じプロンプトをOpenAI o1に与えたときに、出力がどう変わるかを検証してみることにしました。
3 お題の概要
遺産の内容と金額、特別受益と寄与分の金額、法定相続人の情報を与えて、実質的に均等となるような各法定相続人の取得分と遺産分割協議書を作成せよ、
というものでした。
各法定相続人の取得分を計算するためには、
遺産の総額を計算する
特別受益を持ち戻す(計算上、遺産に戻す)
寄与分を遺産から控除する
修正した遺産総額(みなし相続財産)に法定相続分をかける(一応の相続分)
特別受益のある長男の相続分から特別受益分を控除する
寄与分のある三男の相続分に寄与分を加える
という手順が必要となります。
なお、この手順で処理せよという指示はあえて与えてありません。
4 シンポジウムでの出力(GPT-4o)
手順1は正確に計算することができましたが、手順2と手順3を行わずに、遺産総額に法定相続分をかけてしまいました。
その上で、特別受益分を長男の相続分から控除し、寄与分を三男の相続分に加えてしまいました。
その結果、3人の相続分を合計しても、遺産総額に満たない結果になってしまいました。
寄与分よりも特別受益の方が金額が大きかったため、その分、少なくなってしまったのです。
しかし、その間違いをそのまま前提にして、各相続人の相続分を結論づけてしまいました。
5 OpenAI o1の出力
o1は、手順1だけでなく、手順2まで正確に行いました。
しかし、手順3は行わずに先に進んでしまいました。
ところが驚いたのは、手順3を飛ばしたために生じたミス(遺産総額を各相続人の相続分の合計が超えてしまう)ことに自ら気がつき、修正しようとしていた点です。
結果的には、寄与分を考慮した計算ができなかったため、o1の修正結果は正解ではなかったのですが、寄与分を考慮した計算方法を伝えた上で再度出力させたら正解することができました。
6 追加検証
GPT-4oであっても、より適切なプロンプトを与えた場合は正解できるのではないかと思い、修正プロンプトを与えて試してみました。
特別受益と寄与分の考慮方法を伝えたら、相続分の計算は正解することができました。
ただし、特別受益の考慮方法を寄与分の考慮方法を別々に記載したら正確に計算できませんでした。
さらに、遺産分割協議書の案を作成する段階では、相続分以上の財産を取得させるなどの誤りが生じてしまいました。
7 Claude3.5 SonnetとGemini 1.5 proでの検証
Claude3.5 SonnetとGemini 1.5 proでの検証も行ってみました。
GPT-4oに与えた修正プロンプトを与えて、検証してみた結果、いずれも相続分の計算は正解していました。
しかし、具体的な遺産の分け方については、トンチンカンな回答でした。
8 感想
自ら誤りがあることを発見して回答を修正したことには驚きました。
「複雑なタスクの推論能力が向上」したというのは、こういうことかと感じました。
ただ、そうは言っても、適切なプロンプトを与えれば、GPT-4oであっても同レベルの回答になるのではないかと思いましたが、そう単純な話ではありませんでした。
遺産分割協議書の案を作成する段階で、余らせたり、ないはずの遺産を勝手に作り出すことなく、存在する遺産を全て相続分の割合に応じて分割し切るというタスクは、GPT-4oはできず、o1は1回でこなしました(分割方法の妥当性は事案が抽象的なため、評価していません)。
もうここまでできるようになったのかと、素直に驚きました。
今回は1つの例での検証にすぎませんが、「複雑なタスクの推論能力が向上」したというのは確かでしょう。
o1は、これまでのLLMとは別のステージのものだと感じました。
(おまけ)
では、全部を任せられるかというと、そうでもないというのが私の感想です。
実際に存在する遺産をどう分けるのが良いかというところまでo1にやらせようとすると、プロンプトを作るのが非常に大変になることが容易に想像できます。
また、特に不動産については現況や現在の利用状況、将来の利用価値、市場価値、被相続人や各相続人の思い入れなど、あらゆる事情を考慮して適切な分割方法を協議していくことになります。
形式的に具体的相続分通りに分けられない事案はありますし、形式的に分けることが適切なわけでもありません。
そのため、実際に存在する遺産をどう分けるのかは、人間がやった方が良いと考えています。