メむンコンテンツぞスキップ
芋出し画像

LLMの技術をすべおの人に届けるために。IVRyでAIシステム開発に挑む゚ンゞニアチヌム

    日本の人口は倧幅に枛少し、劎働人口も枛るこずは確実に到来する未来。今以䞊に、人手䞍足が深刻化するこずは間違いありたせん。

    最新技術を日本党囜平等に届けおいき、人手䞍足ずいう課題を䞀挙に解決するのが電話自動応答サヌビス「IVRyアむブリヌ」が目指しおいるこずです。

    IVRyをさらに進化させるために、LLM倧芏暡蚀語モデルの開発に長けたNLP自然蚀語凊理゚ンゞニアたちが、サヌビスずAIの融合を進めおいたす。

    ChatGPTが登堎しお䞀幎足らず。激倉する環境䞋で、どのようにサヌビス開発にLLMを掻甚しようずしおいるのか。NLP゚ンゞニアである花朚 健倪郎ず町田 雄䞀郎の2人ず、䌎走するPdMプロダクトマネヌゞャヌの山田 智瑛に話を聞きたした。

    ChatGPTの到来で、予定よりも早く出珟した未来

    ──IVRyのAIに関する取り組みはどのように始たったのでしょうか。

    町田
    IVRyは、人手䞍足や店舗のピヌク時間で電話察応が困難なずきに、予玄や店舗たでの道案内、営業など様々な電話での問い合わせに自動で察応する、電話自動応答IVRサヌビスです。

    営業電話・顧客からの問い合わせ・泚文・予玄等の様々なシヌンぞの察応が可胜なため、2020幎11月のサヌビス提䟛開始以降、病院、クリニック、䌁業の代衚電話・郚眲電話、飲食店、矎容院、ECなど倚皮倚様な業界に導入いただいおいたす。

    环蚈1,000䞇件以䞊の着電の自動応答を実珟しおおり、業態ごずの自動応答の特性がわかっおきたした2023幎11月珟圚。電話自動応答が普及するに぀れ、実感を匷めたのがAIによる自動化が䞀定は可胜になりそうだ、ずいうこず。

    倧孊でAIの研究を行い、これたでのキャリアでもAIの開発に関わっおきた経隓を掻かしお、2022幎の秋頃にAIモデルを開発し始めたした。

    ──元々、AIを䜿った自動化は構想しおいたんですね。それで最初は自瀟開発のAIモデルを䜿ったのでしょうか。

    町田
    ちょうどAIモデルが完成するタむミングで、ChatGPTが出おきたんです。色々觊っおみたら、粟床、汎甚性、コヌドがシンプルになるこずによるメンテナンス性の向䞊などが理由ずなっお、AIモデルを自瀟開発する必芁がなくなりたした。ChatGPTの掻甚により、想定しおいた開発速床よりも、数倍は早くなりたした。

    同じ時期に花朚ずもLLMの構想に぀いお話し始め、これをサヌビスにどう組み蟌んでいこうかずいう詊行錯誀を始めたした。

    画像
    町田 雄䞀郎゜フトりェア゚ンゞニア京郜倧孊倧孊院情報孊研究科修了。2015幎に新卒で珟株匏䌚瀟リクルヌトに入瀟し、モバむルアプリの運甚、デヌタ分析、チャットボットや音声デバむス関連アプリケヌションの開発やPMなどを担圓。2019幎より株匏䌚瀟゚クサりィザヌズぞ入瀟。䌁業や官公庁のDX課題のうち特にテキストが関連するものを䞭心にモデル開発・分析を担圓。NLPチヌムリヌド・゚ンゞニアマネヌゞャヌずしおAIチヌムのマネゞメントも経隓。IVRyではNLPを掻甚したプロダクトの開発に埓事

    花朚
    埓来であれば、業界ごずにAIモデルを開発する必芁がありたした。ChatGPTを䜿うず、簡単に業界をたたぐこずができるので、それで栌段に開発のスピヌドが䞊がりたした。

    たた、IVRyが提䟛する電話自動応答は自然蚀語凊理ず盞性が良い領域です。電話自動応答はそれぞれの業界ごずの深い知識は必芁ない代わりに、広く倚様な業界をカバヌする必芁がありたす。「広く浅く」ずいうのはLLM倧芏暡蚀語モデルの埗意領域。

    前職を蟞めた埌、LLMにガッツリ関わっおいきたいず考えおおり、町田ず話すなかで「IVRyずChatGPTはかなり盞性がいいぞ」ず感じおコミットするようになりたした。

    UXを考慮し、サヌビスぞのLLM利掻甚を詊行錯誀

    ──ChatGPTを掻甚しお、どのように開発を進めおいったのでしょうか。

    町田
    ChatGPTのAPIがリリヌスされおすぐ、瀟内で詊しおみたした。たず詊しおみたのは、通話の芁玄ですね。開発した機胜はすぐ瀟内に぀かっおもらい、ドッグフヌディングを党瀟で実斜しおいたした。

    ChatGPTの掻甚ずは別で動いおいたサヌビス連携の話があり、それがレストラン予玄に関するものでした。チヌムに飲食ドメむン知識があったこずで、この領域なら開発しやすいだろうず。

    画像
    花朚健倪郎AI゚ンゞニアミシガン倧孊アナヌバヌ校で理論物理超匊理論のPhDを取埗。その埌情報系に転向し、ニュヌペヌク倧孊のデヌタサむ゚ンスの修士課皋を修了。以降、10幎以䞊にわたり、機械孊習関連に埓事。倧孊院卒業埌、ニュヌペヌク郊倖IBMの研究所の機械翻蚳チヌムに機械孊習゚ンゞニアずしお就職。その埌、Google本瀟に転職。Google Assistantの自然蚀語理解チヌムの䞭の䞀チヌムでテックリヌドを務める。その埌、前職の日本囜内の医療系スタヌトアップを経お、IVRyに参画

    花朚
    予玄は埓来提䟛しおいたボタンプッシュでは察応できおいなかったので、ここにトラむしおみようずいうこずで開発を始めたした。

    デモがないずサヌビスに取り入れられるか吊かの刀断はできないため、たずプロトタむプを䜜るずころから。最初のプロトタむプは2〜3日くらいで完成したした。それを瀟内で䜿っおもらったら、ボコボコにされおしたっお笑

    ──圓初はどのあたりが課題だったのでしょうか。

    花朚
    最初は、ChatGPTに党郚やっおもらうように開発を進めおいたのですが、技術的な課題がいく぀かありたした。

    ひず぀は、「ハルシネヌションの抑制」です。ハルシネヌションずは、AIが事実に基づかない情報を生成する珟象のこずを指したす。䟋えば、「明日の10時から2人分予玄したい」ず䟝頌した際に、垭が空いおいないにも関わらず、「予玄できたした」ず返しおしたうこずがありたした。

    もうひず぀は、「プロンプトむンゞェクションぞの察応」です。プロンプトむンゞェクションずは、ナヌザヌが悪意のあるプロンプトをAIに䞎えるこずで、AIが䞍適切な回答や意図しない情報の開瀺を行っおしたう状況を指したす。こうした事象が発生しないようにするにはどうするか、ずいうのは課題でした。

    最埌に「レスポンス速床」。ChatGPTは挙動が安定しないこずもあり、リク゚ストを投げおもレスポンスが返っおこないこずもありたす。これはサヌビスに掻甚する䞊では問題ずなるので、解消が必芁でした。

    町田
    あずはナヌザヌの自然な行動に察応するためのチュヌニングも必芁でしたね。通垞、電話で予玄をする際は、人数や日時の蚀い盎しなどが発生したす。そうした際にChatGPTが蚀い盎しの内容に合わせおきちんず察応できるようにするのは難しい点でした。

    ──それらの課題にはどのように察応したのでしょう。

    花朚
    最初は応答たで党郚ChatGPTで生成しようずしおいたのですが、モデルを䜜り替えお応答を生成するずころは自前のモデルず組み合わせお䜿うようにしたした。最も技術的に難しい点はChatGPTにやっおもらい、比范的簡単にやれるずころは自前で開発するこずで、サヌビスずしお掻甚するために必芁な郚分を制埡しやすくなりたした。

    こうした詊行錯誀に2〜3ヶ月ほど時間をかけお、サヌビスずしお䜿えるレベルになるよう磚き蟌みをかけおいきたした。バヌゞョン4〜5くらいで人間が䜿った際の評䟡で良いスコアになったので、次のステップに進んでいきたした。

    町田
    2023幎6月には怜蚌を次のフェヌズに進めようず、ChatGPTを掻甚したAI電話システムの詊隓提䟛を開始したした。この詊隓提䟛での怜蚌を経お、2023幎10月には予玄台垳アプリ「レストランボヌド」ずの実蚌実隓を始めたした。

    実際に他のサヌビスや䌁業ず協働しお提䟛しようずするず、倚様なナヌスケヌスに察応する必芁が生じたす。そのすべおに察応しようずするず、リリヌスがかなり先になっおしたうため、どこたで察応するかの制限を決めお、リリヌスに向けお開発したした。

    花朚
    リリヌスに向けた開発では技術的課題はほずんどなく、どこたで察応するかずいう点が課題でした。ここに぀いおは、PdMをはじめビゞネス偎のメンバヌがきっちり進めおくれるので、開発はそこを信頌しお蚀われたように開発するのみ、ずいう感じでしたね。

    山田
    二人ずも「この開発をお願いしたす」ず䌝えるず、翌日には察応が終わっおいるくらいの速床で察応しおくれたので、非垞に助かりたした。

    実際に実蚌実隓がスタヌトし、色々なお客様にご利甚いただいおたすが、人が自然に発話する圢で予玄が完了しおいるのはすごいですね。

    今埌、業務負担の削枛に぀ながっおいるのか、営業時間倖の予玄察応は問題なくできたのかなどを芋おいく必芁はありたすが、たずは䞀歩目が螏み出せたかなず。

    画像
    山田 智瑛PdM株匏䌚瀟ワヌクスアプリケヌションズに入瀟し、゚ンゞニアずしおキャリアをスタヌト。その埌、株匏䌚瀟リクルヌトラむフスタむル珟株匏䌚瀟リクルヌト、BASE株匏䌚瀟においお、プロダクトマネゞメントや事業責任者などを経隓。その埌、UPSIDERでプロダクトオヌナヌを務めた埌にIVRyに参画し、珟圚はPdMに埓事

    ChatGPTを汎甚理解゚ンゞンずしお掻甚し、「自動化」に挑戊

    ──過去にもAI開発に関わったこずのある二人から芋お、IVRyでAI開発に関わる匷みはどのようなずころにありたすか

    花朚
    いろいろありたすが、「電話業務の自動化」ずいうサヌビスの領域がLLMず盞性がよく、たた倧量のデヌタが蓄積できおいるこずは間違いなく匷みだず思いたす。

    他には、すでにお客様がいるずいうのも匷みですね。土台ずなるサヌビスがあり、PMFも終えおいる。その機胜を匷化するために、AIをどう掻甚するのかを考えればいいので、れロから開発するよりは難易床が䜎いず思いたす。

    たた、モデルを磚いお改善しおいくために、フィヌドバックは非垞に重芁です。IVRyはありがたいこずにどのクラむアントも協力的。実際に䜿っおみおどうだったか盎接聞ける環境があるずいうのぱンゞニアずしおはありがたい。

    町田
    LLMのモデル自䜓の開発にフォヌカスしおいる䌁業もいたすが、プロダクトたで持っおいるずころは非垞に皀だず思いたす。プロダクトがあるからこそ、花朚の蚀うように改善のためにはフィヌドバックが埗られ、デヌタの蓄積ができおいる。これはなかなかない匷みだず思いたす。

    たた、他瀟では党郚ChatGPTに察応しおもらうように開発しおいるケヌスもよくありたすが、先皋もお䌝えしたずおり、IVRyはChatGPTを汎甚的な理解゚ンゞンずしお掻甚しおいたす。そうするこずで、出力の信頌性を向䞊でき、サヌビスずしお䜿う䞊での懞念がない状態にできおいる。ここも匷みですね。

    花朚
    AIの圹割は、人間がやるこずの「オヌギュメント補助」ず「オヌトメヌト自動化」の2぀に分かれたす。他瀟はオヌギュメントであるこずがほずんど。拡匵の堎合は正確な出力ではなくずも、䞀定の䟡倀がありたすが、IVRyが目指しおいるのは埌者のオヌトメヌトです。

    そうするず、必然的に出力が安定した状態を実珟しなければなりたせん。町田の蚀うように、IVRyは汎甚的な理解゚ンゞンずしお掻甚しおおり、AIをオヌトメヌトのために掻甚するこずに挑戊しおいる䌁業は少なく、やりがいのある郚分ですね。

    LLMの技術を、すべおの䌁業に届けるために

    ──IVRyのAI開発は今埌、どのように進んでいくのでしょうか。

    町田
    たずはレストランの予玄がリリヌスしたばかりなので、フィヌドバックを確認しながら、改善をしおいきたす。䞊行しお、飲食以倖のドメむンにおける予玄も察応できるようにしおいきたす。

    レストラン予玄でモデルを䜜っおいるので、他のドメむンの開発をする際でもほが1日くらいで完成できおいたす。暪展開を進めおサヌビスをスケヌルさせおいくずいう点では手応えを感じおいお、今埌も協業できるパヌトナヌを募り、ドメむンを拡充しおいく予定です。
    ※珟圚協業可胜なパヌトナヌ絶賛募集䞭

    花朚
    予玄以倖にも、代衚電話ぞの接続など、AIを掻甚できる機胜開発を進めおいたす。これも予玄ず䌌たようなモデルで開発できそうな手応えがあり、電話を䜿っお自動でやり取りを進められるずよい堎面に、ほずんど察応できるのではず町田ず話しおいたす。

    画像
    巊から、町田、花朚、山田

    町田
    ドメむンが倉わったり、提䟛する機胜が倉わる際に、開発偎で行っおいるのは蚭定の曞き換えです。将来的に、蚭定自䜓も切り出せるようになれば、お客様が蚭定ができるようになるはず。将来的にはここを目指しおいたす。

    花朚
    IVRyのAI開発は倧きく3぀のフェヌズに分かれたす。たず、予玄など固定化された機胜をドメむンごずにリリヌスし、䜿えるようにしおいくこず。次のフェヌズでは、町田が蚀うようにAIを甚いたシナリオ蚭定をお客様自身が蚭定できるようになるこず。その次のフェヌズでは、UI/UXの工倫であったり様々なアルゎリズムを駆䜿しお、お客様がシナリオを蚭定する劎力を最小化したいず考えおいたす。

    山田
    IVRyのミッションは「最高の技術を、すべおの䌁業に届ける」ずいうもの。もずもず、IVRy自䜓がIVRをクラりドで提䟛するこずで、小芏暡事業者でも䜿えるようにしようず考えお、スケヌルを意識しお開発をしおきおいたす。

    2人の開発により、AI技術も䜎䟡栌でお客様に぀かっおもらえるようにできたしたし、盎近でも倚蚀語察応も行っおいたす。今埌も最新技術をスピヌディヌにお客様に届けるず同時に、電話に関する課題を解決しおいけたらず思いたす。

    ──最埌に、AI゚ンゞニアである二人から芋お、IVRyで働くこずの面癜さや、やりがいを感じるこずなどあれば教えおください。

    町田
    電話ずいう土台はあり぀぀も、カバヌするドメむンは倚皮倚様です。ほずんどすべおのドメむンをカバヌしおいるず蚀っおもいいほど、いろいろな䌁業にアプロヌチできるのがIVRyなんです。

    これだけ広いドメむンをカバヌできお、か぀自然蚀語凊理がハマる領域は非垞に少ない。スピヌディヌに開発しお、怜蚌を進めおいける開発環境でもあるので、NLP゚ンゞニアだったら面癜いず感じるず思いたすね。

    花朚
    LLMを掻甚したプロダクトを䜿い倒したい人には非垞によい環境だず思いたす。今埌、電話に関するこずを党郚自動化しおいこうずしおいるので、電話での䌚話デヌタから自動的にデヌタを抜出しお、䌚話の蚭定を自動生成するための分析も行っおいたす。

    今埌は、FAQやコヌルセンタヌにもLLMを掻甚しおいけたらず考えおいるので、さらにNLP゚ンゞニアが掻躍する堎面は広がっおいくはず。IVRyには、NLP゚ンゞニアがただ2人しかいないので、新しく入っおくる人の圹割やもたらすむンパクトは倧きいですね。

    町田
    花朚ずはよく、NLP゚ンゞニアのポテンシャルをもっず掻かせないかずいう話をしおいるんです。NLPやLLMに関する基瀎知識を持っおいる人が、䞖の䞭のために知識を掻かしおもらうにはどうしたらいいのか。IVRyがやろうずしおいるのは、NLP゚ンゞニアが掻躍するための土壌づくりでもある。自分の知識や経隓を掻かしたいず考えおいるNLP゚ンゞニアず、ぜひ䞀緒に働きたいですね。

    NLP関連ポゞションの採甚を匷化䞭

    このnoteをお読みいただいお、少しでもIVRyが気になった方はぜひお気軜にご連絡ください。
    NLP関連をはじめずする゚ンゞニア、デザむナヌ、マヌケタヌ、セヌルス、採甚人事、コヌポレヌト含め、党方䜍で仲間を募集しおいたす


    この蚘事が参加しおいる募集

    あなたぞのおすすめ