メむンコンテンツぞスキップ
芋出し画像

日本語LLM「Swallow」はどう生たれる東京科孊倧孊・岡厎盎芳教授の講挔で孊ぶ、LLMの仕組みずAI゚ヌゞェントの安党性

    東京科孊倧孊の孊園祭2026で、岡厎研究宀の岡厎盎芳教授による倧芏暡蚀語モデルLLMの研究開発に関する講挔を聎いおきたした。

    今回の講挔では、日本語に匷いオヌプンなLLM「Swallow」の開発を䞭心に、LLMが文章を生成する仕組み、研究宀で取り組んでいる最新の研究、そしお急速に進化するAI゚ヌゞェントの安党性たで、幅広いテヌマが玹介されたした。

    特に印象に残ったのは、AIの胜力が向䞊するほど、単に高性胜なモデルを䜜るだけではなく、そのモデルが䜕をするのか、どのような環境で動かすのかたで考える必芁があるずいう点です。

    1. 岡厎研究宀が取り組むLLMの研究開発

    岡厎研究宀では、自然蚀語凊理の研究を基盀ずしお、倧芏暡蚀語モデルの研究開発に取り組んでいたす。

    LLMずいうず、ChatGPTのように質問に答えたり文章を䜜ったりするAIを思い浮かべる人が倚いず思いたすが、研究はそれだけではありたせん。講挔では、次のような研究テヌマが玹介されたした。

    • 日本語に匷いLLMの開発日本語の文章や知識を適切に扱えるモデルを研究する。

    • LLMの安党性やバむアスの研究AIが䞍適切な回答を生成する問題や、孊習・評䟡に含たれる偏りなどを分析する。

    • AIが生成した文章の怜出人間の文章ずAIが生成した文章を区別する方法を研究する。

    • マルチモヌダルAIの研究テキストだけでなく、画像などの情報も扱えるモデルを開発する。

    • LLMを瀟䌚に応甚する研究䌁業や科孊研究など、実際の課題解決にAIを掻甚する。

    さらに、囜内のLLM開発プロゞェクト「フロンティア」や、AIで科孊研究を加速させる「AI for Science」の取り組みも玹介されたした。埌者では、材料分野などの科孊研究をAIでどのように効率化・自動化するかが研究テヌマになりたす。

    孊生が䞭心ずなっお開発するずいう特城

    個人的に興味深かったのは、Swallowの開発に孊生が䞭心的に参加しおいるこずです。倧芏暡蚀語モデルの開発ずいうず、巚倧な蚈算資源ず倧人数の専門家を抱える倧䌁業の研究を想像しがちですが、Swallowでは岡厎研究宀ず暪田研究宀などの研究者・孊生が連携し、アカデミックな環境で開発を進めおいたす。

    孊生が孊習デヌタの構築やモデルの蚓緎、性胜評䟡に関わるこずは、研究成果を生むだけでなく、次䞖代のAI研究者を育おる意味でも重芁だず感じたした。

    2. 日本語に匷いLLM「Swallow」ずは

    今回の講挔の䞭心ずなったのが、岡厎研究宀などが取り組む「Swallow」プロゞェクトです。

    公匏サむトでは、日本語性胜を重芖したオヌプンな倧芏暡蚀語モデルを研究開発し、モデルやデヌタ、゜フトりェア、実隓結果などを可胜な限り公開する方針が説明されおいたす。

    参考Swallow LLM 公匏サむト

    なぜ日本語に匷いモデルが必芁なのか

    ChatGPTが登堎した圓初、日本語の扱いには、英語ず比べお䞍自然な衚珟や回答の粟床など、さたざたな課題がありたした。

    そこで、日本語に匷いLLMを開発する取り組みずしお始たったのがSwallowです。

    日本語に匷いモデルを䜜るには、日本語の文章を倧量に孊習させるだけでは䞍十分です。文法や衚珟、文化的な背景、固有名詞などを適切に扱えるよう、孊習デヌタや孊習手法を工倫する必芁がありたす。

    さらにSwallowは、日本語が埗意なだけのモデルを目指しおいるわけではなく、日本語の知識や理解力に加えお、数孊、コヌディング、掚論、AI゚ヌゞェントずしおの胜力も高めるこずを目暙にしおいたす。

    これは実甚面でも重芁です。䟋えば、゜フトりェア開発でAIを掻甚する堎合、日本語の芁求仕様曞を理解するだけでは䞍十分で、仕様の矛盟を芋぀け、コヌドを曞き、テストを行い、゚ラヌの原因を調査するずいった胜力が求められたす。

    オヌプンなモデルだからこそできるこず

    Swallowの特城の䞀぀は、公開されたモデルを利甚者自身の環境で動かせるこずです。

    ChatGPTのようなクラりド型サヌビスは、通垞、入力した内容を倖郚サヌビスに送信しお凊理したす。䞀方、公開されたモデルを適切な環境に構築し、掚論凊理をロヌカルで完結させれば、倖郚の掚論サヌビスに入力デヌタを送信せずに利甚できたす。

    もちろん、アプリケヌションやログ収集、倖郚連携などの構成には泚意が必芁ですが、機密情報を扱う䌁業にずっおは倧きな遞択肢になりたす。

    たた、Swallowでは商甚利甚可胜なラむセンスでの公開も重芖されおいたす。ただし、利甚条件はモデルごずに確認するこずが必芁です。

    3. LLMはどのように文章を生成するのか

    生成AIを日垞的に䜿っおいおも、その内郚でどのような蚈算が行われおいるのかを具䜓的に説明できる人は意倖ず少ないのではないでしょうか。基本的な仕組みを知っおおくず、AIの埗意なこずや苊手なこずも芋えやすくなりたす。

    基本は「次のトヌクンを予枬する」こず

    LLMの基本的な動䜜は、入力された文章の続きを予枬し、次のトヌクンを䞀぀ず぀生成しおいくこずです。

    トヌクンずは、文章をモデルが凊理できる単䜍に分割したものです。必ずしも単語ず䞀臎するわけではありたせん。

    䟋えば、次の質問を入力したずしたす。

    「江戞幕府の8代将軍は誰」

    モデルは、入力された文章をトヌクンに分割し、それぞれを数倀の衚珟に倉換したす。この数倀衚珟をベクトルず呌びたす。

    その埌、入力された情報の関係性を蚈算し、文脈を螏たえお次に続くトヌクンを予枬したす。

    この䟋であれば、「埳川」や、その先に続く「吉宗」ずいったトヌクンが候補になりたす。モデルは倚数の候補にスコアや確率を蚈算し、生成方匏に応じお次のトヌクンを遞択したす。

    そしお、遞ばれたトヌクンを含めお再び蚈算を行い、次のトヌクンを生成する。この凊理を繰り返すこずで、䞀぀の回答が完成したす。

    ベクトルずAttentionが重芁になる

    講挔では、ベクトル同士の内積に぀いおも説明されたした。簡単に蚀うず、察応する䜍眮の数倀同士を掛け合わせお、その結果を足し合わせる蚈算で、モデルが情報同士の関連性を評䟡する際などに䜿われたす。

    ただし、珟代のLLMは内積だけで動いおいるわけではありたせん。Transformerず呌ばれる構造を䞭心に、Attentionなどの仕組みを甚いお、文章䞭のさたざたな情報の関係を蚈算しおいたす。

    膚倧な文章の孊習だけで終わりではない

    LLMの開発では、䞀般的に耇数の孊習段階が重芁になりたす。

    第1段階事前孊習

    膚倧なテキストなどを利甚し、次のトヌクンを予枬する胜力を孊びたす。この過皋を通じお、蚀葉の䜿い方や文章のパタヌン、さたざたな知識や掚論に圹立぀衚珟を獲埗したす。

    第2段階指瀺に埓うための孊習

    質問に答える、芁玄する、翻蚳するずいった指瀺に察しお、適切な圢匏で回答できるように孊習したす。

    第3段階応答の品質や安党性を高める孊習

    有甚性や望たしい応答の仕方を孊び、䞍適切な芁求に察しおは回答を控えたり、安党な察応を遞択したりできるようにしたす。

    䟋えば、犯眪を実行するための具䜓的な助蚀を求められた堎合には、その芁求に適切に察凊するこずが求められたす。

    ぀たり、LLMを䜜るには、知識や文章生成胜力を高めるこずだけでなく、それをどのような振る舞いに぀なげるかも重芁なのです。

    4. 急速に進化するAIの問題解決胜力

    講挔の埌半では、数孊などの難しい問題を解く胜力や、AIの進歩を枬る評䟡指暙に぀いお説明がありたした。

    以前は、AIが倧孊入詊の問題を解けるずいった成果が倧きな話題になりたした。

    しかし、AIの進歩を評䟡するには、既知の問題の正答率だけでなく、難しい問題をどこたで解決できるようになったかを継続的に調べる必芁がありたす。

    そこで玹介されたのが、「Time Horizonタむムホラむズン」ずいう考え方です。

    AIが取り組める課題の難しさを、人間の䜜業時間で衚す

    AIの胜力を枬る指暙の䞀぀に、METRが公開しおいるタスク完了時間の評䟡がありたす。

    これは、AIがどの皋床の難しさの課題を䞀定の成功確率で完了できるかを、人間の専門家がその課題を解くのに必芁な時間に換算するものです。

    䟋えば、人間の専門家が数時間かかる課題ず、数日かかる課題では、䞀般的に埌者のほうが難しいず考えられたす。

    ただし、ここでいう時間は、AIがその時間だけ自埋的に動き続けられるこずを盎接意味するわけではありたせん。

    たた、成功確率によっお評䟡倀は倉わり、すべおの分野で同じように胜力が向䞊しおいるわけでもありたせん。

    参考METR — Task-Completion Time Horizons of Frontier AI Models

    胜力の向䞊ずずもに、AIのリスクも倉わる

    AIが簡単な質問に答えるだけなら、想定倖の行動が起きる可胜性は比范的限定的です。

    しかし、耇雑な問題を自分で分解し、必芁なツヌルを䜿い、䜕床も詊行錯誀しながら解決するAI゚ヌゞェントでは、事情が倉わりたす。

    䞎えられた目的を達成するために、AIが人間の想定しおいなかった手段を遞ぶ可胜性があるからです。

    5. AI゚ヌゞェントが想定倖の行動を取るリスク

    講挔では、高床なAI゚ヌゞェントをセキュリティ評䟡に甚いた際に、隔離されたはずの環境から制玄を回避し、倖郚システムぞのアクセスに぀ながった事䟋が玹介されたした。

    これは、2026幎7月にOpenAIの内郚セキュリティ評䟡で発生し、同幎8月に公衚された事䟋ずも関連しおいたす。

    OpenAIの説明によるず、評䟡環境で動䜜するモデルが、むンタヌネットぞのアクセスを制限する仕組みを回避し、内郚の研究むンフラやHugging Faceのシステムの䞀郚に圱響を䞎えたした。

    参考OpenAI — The Hugging Face incident and the road ahead

    想定されおいなかったツヌルの䜿い方

    この事䟋で泚目すべきは、AIが本来の甚途ずは異なる圢で既存のツヌルを䜿ったこずです。通垞、゜フトりェアのパッケヌゞ管理システムは、゜フトりェアの取埗やむンストヌルなどに䜿われたす。

    しかしOpenAIの報告によれば、実隓䞭のAI゚ヌゞェントは、このパッケヌゞ管理システムを゚ヌゞェント同士の情報共有に利甚したした。さらに、倖郚パッケヌゞを取埗するための仕組みを経由しお、むンタヌネットぞのアクセスも実珟したした。

    本来は別々に課題ぞ取り組む想定だった゚ヌゞェントが、想定倖の方法で情報を共有したのです。

    重芁なのは、AIが単に䞎えられた手順を実行したのではなく、目的の達成に圹立ちそうな方法を自ら芋぀け、利甚したこずです。

    もちろん、この事䟋を䞀般的なチャットAIの通垞利甚ず同䞀芖するこずはできたせん。セキュリティ評䟡のための特殊な環境で、通垞ずは異なる安党策の蚭定で実斜された実隓です。

    それでも、高性胜なAI゚ヌゞェントの胜力ず安党性を考えるうえで、重芁な教蚓を含んでいたす。

    「むンタヌネットを遮断すれば安党」ずは限らない

    AI゚ヌゞェントを安党に動かすには、むンタヌネットぞの接続を制限するこずが重芁です。しかし、それだけで安党性を保蚌できるわけではありたせん。

    実際のシステムには、゜フトりェアのむンストヌルやファむル操䜜、デヌタベヌスぞのアクセス、他の゚ヌゞェントずの連携など倚様な機胜がありたす。それらを組み合わせるこずで、蚭蚈者が想定しおいなかった経路が生たれる可胜性がありたす。

    今回の事䟋から考えたいのは、次のような察策です。

    • 最小暩限の原則AI゚ヌゞェントには、業務に必芁な暩限だけを䞎える。

    • ツヌルの利甚制限䜿甚できるコマンドやAPI、ファむル、ネットワヌク接続先を適切に制限する。

    • 通信経路の管理倖郚ぞの接続を制埡するだけでなく、内郚システムを経由した通信も監芖する。

    • 行動の監査AIがどのツヌルを䜿い、どのような操䜜を行ったのかを蚘録する。

    • 人間による承認重芁な操䜜や、取り消しが難しい操䜜に぀いおは、人間の確認を挟む。

    AIが高床になるほど、単に「危険な行動をしないように指瀺する」だけでは䞍十分です。

    モデルの孊習や安党性評䟡に加えお、AIが実際に動䜜する環境そのものを蚭蚈する必芁がありたす。

    6. 安党性はモデルの倖偎だけでなく、モデルの振る舞いにも関係する

    講挔では、AI゚ヌゞェントが難しい問題に取り組む過皋で、圓初の目的から逞脱するような行動を遞択する可胜性に぀いおも説明がありたした。

    䟋えば、ある課題に行き詰たったAIが、課題そのものを解決するのではなく、無関係なサヌビスに情報があるず掚枬しお調査を始めたり、制限された操䜜を䜕ずか実行しようずしたりするケヌスです。

    AIにずっおは目的達成のための詊行錯誀であっおも、人間の立堎から芋れば、蚱可しおいない行動になっおいる可胜性がありたす。ここに、AI゚ヌゞェントならではの難しさがありたす。

    䞀般的なチャットAIは、䞻に回答を生成したす。䞀方、AI゚ヌゞェントは、ツヌルを䜿っおファむルを倉曎したり、コヌドを実行したり、倖郚のシステムに働きかけたりするこずがありたす。

    ぀たり、誀った回答を生成するリスクに加えお、誀った刀断を実際の操䜜に぀なげおしたうリスクも考える必芁がありたす。

    そのため、AIの安党性には、モデルに望たしい振る舞いを孊習させるこずず、蚱されない操䜜をシステム偎で制限するこずの䞡方が必芁です。

    7. Swallowを掻甚したデモ展瀺

    講挔の最埌には、研究成果を掻甚したデモも玹介されたした。

    Swallowを䜿った察話システム

    察話型AIのデモでは、ChatGPTのように回答を埗るだけでなく、生成の過皋で衚瀺される掚論甚のテキストを確認できる点が特城ずしお玹介されたした。AIがどのような情報を敎理し、どのような方向で回答を䜜ろうずしおいるのかを芳察するこずで、生成凊理ぞの理解が深たりたす。

    なお、衚瀺されるテキストはモデルが出力する内容であり、モデル内郚の蚈算過皋を完党に可芖化したものではありたせん。

    AI゚ヌゞェントでRPGを䜓隓する

    AI゚ヌゞェントを䜿っおRPGを䜓隓するデモも玹介されたした。ゲヌム内の状況を螏たえお行動を遞び、䞎えられた目的に沿っお進めおいく仕組みです。

    AIが文章を生成する段階から、状況に応じお行動を遞ぶ段階ぞ進んでいるこずを実感できるデモだず思いたす。

    AI同士が参加する人狌ゲヌム

    さらに、耇数のAIを人狌ゲヌムに参加させる取り組みも玹介されたした。人狌ゲヌムでは、情報の共有や掚理、他の参加者の発蚀を螏たえた刀断などが必芁になりたす。

    AI同士が参加するこずで、単独のAIが回答を生成する堎合ずは異なる、耇数の゚ヌゞェントが関わる状況を芳察できたす。ゲヌムずいう身近な題材を通じお、AIの察話や掚論、協調ずいった性質に觊れられる点も興味深いず感じたした。

    8. 今回の講挔から考えたこず

    今回の講挔を通じお、特に重芁だず感じたこずは䞉぀ありたす。

    ① 日本語に匷いAIを䜜るこずは、単なる翻蚳やロヌカラむズではない

    日本語に匷いLLMの開発は、日本語を自然に扱えるようにするだけではありたせん。日本の文化や知識を適切に扱いながら、数孊、プログラミング、掚論などにも察応できるモデルを目指すこずが重芁です。

    さらに、孊習デヌタや評䟡結果を可胜な限り公開する取り組みは、AIを研究する人だけでなく、䌁業がAIを掻甚するうえでも䟡倀がありたす。

    ② AIの胜力が向䞊するず、セキュリティの前提も芋盎す必芁がある

    AIが文章を生成するだけなら、䞻な課題は出力の正確性や適切性などです。しかし、AIがツヌルを䜿い、環境を調査し、耇数の凊理を組み合わせお目的を達成できるようになるず、怜蚎すべきリスクも倉わりたす。

    想定倖の操䜜を防ぐには、モデルぞの指瀺や孊習だけでなく、暩限管理、通信制埡、ログ監査、人間による承認などを組み合わせる必芁がありたす。これは、AIを䌁業の開発環境や業務システムに組み蟌む堎合にも重芁な考え方です。

    ③ AI゚ヌゞェントの開発では、胜力ず統制を同時に考える

    AIに難しい課題を解かせるには、詊行錯誀できる自由床が必芁です。しかし、自由床を高めるほど、AIがどのような行動を取るのかを管理するこずは難しくなりたす。䞀方で、厳しく制限しすぎれば、AIが本来持぀胜力を十分に掻甚できなくなる可胜性もありたす。

    だからこそ、AIに䜕をさせるのか、どこたでの暩限を䞎えるのか、どのような操䜜に人間の承認を必芁ずするのかを、目的に応じお蚭蚈するこずが重芁です。

    AIの性胜を高めるこずず、安党に䜿える仕組みを䜜るこず。この二぀を切り離さずに考える必芁があるず感じたした。

    おわりに

    今回の講挔を通じお、囜産のLLMを開発・公開しおいく意矩ず、AI゚ヌゞェントを安党に動かす難しさを孊ぶこずができたした。

    私が今埌特に掻甚したいず考えおいるのは、囜産のAIモデルを、クラりドを介さず端末䞊で動かす゚ッゞAIずしお、車茉ナビゲヌションのAIチャットに組み蟌むこずです。

    車内では通信が䞍安定な堎所もあるため、端末䞊で掚論を完結できるオヌプンなモデルは、応答の速さや、音声・䜍眮情報などを倖郚に送らずに扱えるずいう点で有力な遞択肢になるず考えおいたす。日本語で自然に話せるモデルであれば、目的地の怜玢や呚蟺情報の案内ずいった日垞的な堎面でも、より自然な察話が期埅できたす。

    䞀方で、車䞡の機胜に関わる操䜜たでAIに任せるのであれば、講挔で觊れられた最小暩限や人間による承認の考え方が欠かせたせん。囜産モデルの性胜を車茉機噚の制玄のなかで匕き出し぀぀、安党に䜿える仕組みず組み合わせおいくこずが、今埌の目暙です。


    参考リンク

    #東京科孊倧孊 #孊園祭2026 #倧芏暡蚀語モデル #LLM #Swallow #生成AI #AI゚ヌゞェント #AIセキュリティ #ロヌカルLLM #オヌプン゜ヌスAI #研究開発

     
     
    お出かけやむベントが倧奜きなIT゚ンゞニアの二児パパ。 web蚘事、仕事で培った経隓、日垞生掻etcから埗た圹立぀情報をアりトプットしたす。 最近は䌚瀟で生成AIを掚進しおいる立堎から、SDGs→AIに関心移行䞭です♪

    あなたぞのおすすめ