メむンコンテンツぞスキップ
芋出し画像

バディAIっおほんずに䌌おるの

    AI゚ンゞニアのずむです。

    今回の蚘事では、『EDGE POKER』の特城的な機胜のひず぀である「バディAI」の裏偎に぀いおお話ししたす。

    バディAIずは、プレむダヌごずのプレむ履歎を孊習したAIが、代わりにプレむをしおくれる機胜です。

    ありがたいこずに、リリヌス以降この機胜は倚くのナヌザヌに掻甚しおいただいおいたす。䞀方で、よくいただくのがこんな疑問です。

    「本圓に自分のプレむを孊習しおいるのか」
    「実は内郚でいく぀かのテンプレヌトAIを持っおいお、近いものを割り圓おおいるだけではないのか」
    「サメのタむプごずに、同じAIが䜿われおいるだけでは」

    そこで今回は、バディAIがどのような思想で䜜られ、どのように孊習・運甚されおいるのかに぀いおご玹介したす。少し技術的な話も入りたすが、ポヌカヌにおける「個性」をAIでどう扱っおいるのか、ずいう芳点でも面癜く読んでいただけるはずです。

    ぜひ最埌たで読んでいただけたすず嬉しいです。


    バディAIずは

    急に手を離さないずいけないずきのためのAI

    ポヌカヌアプリでは、「少しだけ垭を倖したい」がそのたた倧きな䞍利に぀ながるこずや、それが継続しおしたう堎合、匷制退出ずなっおしたうこずがありたす。宅配の受け取り、電車の乗り換え、短時間の移動。日垞ではよくあるこずですが、ゲヌム䞭では意倖ず重いむベントです。

    そこで、むンゲヌム䞭に急な甚事が入ったずきでも、そのプレむを途切れさせないための存圚がバディAIです。

    さらにEDGE POKERでは、「その人らしく打぀AI」を目指したした。
    ただプレむを継続するためのAIではなく、そのプレむダヌのプレむ履歎をもずに孊習し、自分に䌌たAIが䞀時的にプレむを匕き継ぐこずで、プレむダヌも安心しお任せるこずができる。

    これがバディAIの基本的な考え方であり目指しおいる姿です。

    いただく疑問の声

    バディAIに぀いおは、しばしば「実際は数皮類のAIを䜿い分けおいるだけなのでは」ずいう声をいただきたす。

    たずえば、内郚の「サメ蚺断」で分類されたタむプごずに、あらかじめ甚意されたAIが割り圓おられおいるだけではないか、ずいうむメヌゞです。これは盎感的にはずおも自然な仮説です。実装も比范的想像しやすく、サヌビスずしおも䞀芋成立しそうに芋えるからです。

    しかし、私たちがやっおいるのはその方匏ではありたせん。

    バディAIは、ナヌザヌごず個別にモデルを孊習し、甚意する圢で䜜られおいたす。

    ポヌカヌプレむダヌには、よく蚀及されるようなプレむスタむルずいった倧たかな傟向だけでは捉えきれない、现かい癖や特城がいく぀も存圚したす。

    バディAIが目指しおいるのは、こうした「プレむダヌらしさ」の再珟です。そのため、事前孊習枈みモデルの割り圓おではなく、個別孊習ずいう圢を採っおいたす。

    バディAI 裏偎の技術

    1ナヌザヌ1モデルの蚭蚈

    たず䞀番お䌝えしたいポむントは、バディAIは「1ナヌザヌ1モデル」を実珟しおいるこずです。

    ただし、ここでいう「1モデル」は、毎回れロから巚倧なモデル党䜓をフルで孊習し盎しおいる、ずいう意味ではありたせん。それをやろうずするず、孊習コストも保存コストも非垞に倧きくなり、ゲヌム内の機胜ずしお安定運甚するのは珟実的ではありたせん。

    そこでバディAIでは、ベヌスずなる共通モデルを持ち぀぀、個人差を衚珟するうえで重芁なパラメヌタだけを効率的に孊習する方匏を採っおいたす。

    技術的には、モデル党䜓を曎新するのではなく、いわゆるパラメヌタ効率の良いファむンチュヌニング Parameter-Efficient Fine-TuningPEFTに近い考え方です。

    個性の孊習

    ここで重芁になるのが、ポヌカヌの「個性」をどう捉えるかです。

    バディAIを実珟しおいく䞊で、個性やプレむスタむルを完党に独立したものずしおは芋おいたせん。むしろ、バランスの取れたベヌスの戊略がたず存圚し、その䞊で人それぞれのリヌク、぀たり偏りや匱点が乗るこずで「その人らしさ」が衚れる、ずいう思想に基づいおいたす。

    ぀たり個性の実珟方法はれロからの暡倣ではなく、「どこで抌しすぎるか」「どこで降りすぎるか」「どの状況をやや誀認しやすいか」ずいった偏りの集たりずしお衚珟をしたす。

    この思想は珟圚の孊習手法ずよくマッチしおいたす。

    バディAIのベヌスモデル自䜓はバランスの取れたモデルずし、その䞊で個別孊習によっお各プレむダヌのリヌクや癖を孊習させるこずで、「バランスの取れた共通土台」ず「その人らしいズレ」を䞡立させおいたす。

    このアプロヌチにはいく぀かの利点がありたす。

    • ベヌスからのズレを芚えればよいずいう点で、プレむダヌごずの差分を孊習しやすくなりたす。

    • デヌタ量が限られるナヌザヌでも孊習が安定しやすくなりたす。

    • 「その人らしいけれど最䜎限は戊える」ずいう状態を担保しやすくなりたす。ずいうのも、個性だけを匷く孊ぶず、ただ匱点を増幅するだけのAIになっおしたう危険があり、それは健党なゲヌム環境に悪圱響を及がしたす。

    どうやっお運甚しおいるのか

    運甚面でも、この蚭蚈が効いおいたす。

    バディAIでは、ナヌザヌごずに孊習された郚分のみを保持しおおき、リク゚ストごずにその䞀郚をベヌスモデルに差し蟌む圢で掚論を行っおいたす。

    サヌバヌ䞊でナヌザヌの数だけモデルを垞時立ち䞊げおいるわけではありたせんし、リク゚ストごずにナヌザヌのモデル党䜓を郜床ロヌドしおいるわけでもありたせん。これらを避け぀぀も1ナヌザヌ1モデルを実珟するこずで、個性を再珟し぀぀運甚コストを抑えおいたす。

    このあたりは衚からは芋えにくい郚分ですが、ゲヌムの機胜ずしお成立させるには非垞に重芁です。粟床だけ高くおも、孊習コストや掚論コストが芋合わなければ、継続的な機胜ずしお提䟛するこずはできたせん。

    バディAI 粟床

    では、実際にどれくらい再珟できおいるのでしょうか。

    バディAIの再珟床を衚珟するような指暙や分析のアプロヌチは様々考えるこずができたす。「その人らしさ」は、ポゞションごずの傟向、スタック深床ごずの刀断、各皮スタッツ、特定局面でのアクション分垃など、耇数の芳点で芋おいく必芁がありたす。

    倚くを玹介するずかなり長くなっおしたうので、今回はたず䞀番盎感的にむメヌゞしやすい指暙ずしお、アクションを `fold` / `check - call` / `bet - raise` / `allin`の4択にたずめた時の䞀臎率をご玹介したす。

    ナヌザヌごずのプレむ履歎からハンドごずに孊習甚ず評䟡甚に分割し、評䟡甚のハンドに含たれる党アクションに぀いお䞀臎刀定を行いたした。

    結果は、平均䞀臎率 70.8%ずなっおおり、そのヒストグラムは以䞋の通りです。

    画像
    バディAIのアクション䞀臎率の分垃

    ナヌザヌによっお孊習に甚いられるアクション数にはばら぀きがある䞊で、平均に山を持぀正芏分垃のような圢状ずなっおいるこずがわかりたす。

    補足ずしお、『EDGE POKER』におけるAIでは、察戊盞手のプレむスタむルやスタッツなどの情報を䞀切入力しおいたせん。人間が埗られる情報を超えおAIが情報を取埗でき、刀断ができるずいうこずは公平性の芳点から適切ではないため、あくたで人間がその堎の盀面から埗られる情報のみを入力ずしおいたす。

    そのため、盞手によっおプレむスタむルを柔軟に倉えるプレむダヌや、混合戊略ずしお確率的にプレむする䞊で、䞀臎率ずいう指暙では粟床が䜎く芋えおしたっおいる郚分もあるず思われたす。

    詳现な分析に぀いおは、次回以降の蚘事でより深く蚀及できればず思いたす。


    最埌に

    バディAIは、単に䟿利な自動操䜜機胜ではなく、「プレむダヌごずの個性をどこたで孊習し、どこたで再珟できるか」ずいう、私たちにずっおかなり挑戊的なテヌマでもありたす。

    様々な堎面でバディAIが掻躍するこずを想像し、匕き続き改善を行っおいきたいず思っおいたす。

    今埌もEDGE AIに関する技術や実隓、裏偎の話をnoteで発信しおいきたすので、匕き続きチェックしおいただけたすず嬉しいです。

     
     
    スマヌトフォン向けポヌカヌゲヌムアプリ『EDGE POKER』の開発の裏偎や想いに぀いお、プロデュヌサヌの「こひ」ずAI゚ンゞニアの「ずむ」がこちらで発信しおいきたす。

    あなたぞのおすすめ