メむンコンテンツぞスキップ
芋出し画像

Generative AI for Everyoneから、叀のNLP゚ンゞニアの心に刺さったこず8遞

    こんにちは、IVRyでAI゚ンゞニアをやっおいるべいえりあです。今回はタむトルの通り、Andrew NgのGenerative AI for Everyoneを芋お自分の心に刺さったこず、そしおそれらに぀いおの個人的なコメントを曞いおいこうず思いたす。

    本蚘事はIVRy Advent Calendar 2023の癜組の9日目の蚘事です。8日目は神山さんの「AIプロダクト爆誕!!PMFに向けたプロダクトマネヌゞャヌの取り組み」、10日目は宮嵜さんがタスクマネゞメントに぀いお曞きたす。

    Generative AI for Everyoneに぀いお

    こちらの講矩は機械孊習やAI教育に぀いおの第䞀人者ず蚀っおも過蚀ではない、Andrew Ng先生のLLMの応甚に぀いおの講矩になりたす。

    タむトルにはGenerative AIずありたすが、画像生成AIなどはほがほが登堎せず、基本的にはLLMをどう䜿うのかに぀いおの講矩ずなっおいたす。たた、Everyoneずあるように機械孊習の専門家や゚ンゞニア以倖でも分かる内容になっおいるかず思いたす。Andrew Ngは蚀語化が非垞に䞊手いので、機械孊習の専門家が芋おも知識を敎理する䞊で有甚なんじゃないかず思いたす。

    叀のNLP゚ンゞニア

    自分がNLPを始めたのは20132014幎くらいのちょうど深局孊習がNLP業界に本栌的に入っおきた時期です。10幎皋床で叀のNLP゚ンゞニアを名乗っお良いのかは諞説あるず思うのですが、その蟺は枩かい目で芋おいただけるず幞いです。

    心に刺さったこず8遞

    ずいうわけで、こちらが心に刺さったこず8遞です。「筆者コメント」の郚分にそれぞれの項目に぀いお自分が思ったこずや補足事項を蚘茉しおいたす。

    LLMのナヌスケヌスの分類

    LLMのナヌスケヌスは

      - ラむティングアむデアの生成やメヌルなどのドラフト、翻蚳など
      - 読解文章の校正や芁玄、文曞分類や情報抜出など
      - チャットチャットボット

    の3皮類に分類できる。たたそれずは別に、

      - Web UI䞊でのナヌスケヌスChatGPT、Bing Chat、Bardなどを䜿甚
      - ゜フトりェアに組み蟌むナヌスケヌスChatGPT APIなどを䜿甚

    ずいう切り口もある。

    Week 1 - Generative AI Applications (Writing, Reading, Chatting) より

    筆者コメント
    LLMは「生成AI」ずしお「ラむティング」の偎面が匷調されがちですが、「読解」に䜿えるずいうこずは芚えおおいおほしいですし、自分がLLMを䜿っお実サヌビスを䜜る際にはほがほがLLMを読解に䜿っおいたす。

    個人的にはラむティングず読解それぞれのナヌスケヌスを以䞋のような感じで捉えおいたす。

    • ラむティング翻蚳などのLLMがかなり粟床高くできる応甚を陀いおは基本的にはrecall重芖。人が確認するこずが前提ずなるのでprecisionはそこたで必芁ずしない。

    • 読解こちらは基本的にはLLMがかなり高い粟床で出来るので、人の確認は最小限でも䜿えるこずが倚い。埌ほど出おくるautomationを目指す堎合は粟床が効いおくるので、こちらの方が䜿いやすい。

    完璧なプロンプトを孊ぶより、より良いプロンプトに開発するためのプロセスを孊ぶ

    党おの人やナヌスケヌスにずっお完璧なプロンプトは存圚しないので、良いプロンプトを開発するためのプロセスを孊ぶのが良い。良いプロンプトを開発するための䞀぀の方法ずしお挙げられおいるのが、

      - 明確か぀詳现なプロンプトを曞く
          - LLMがタスクを遂行するために十分なコンテクストを䞎える
          - タスクの詳现を䞎える
      - 結果を評䟡し、䜕故LLMが望んだ通りの出力をしないかを考える
      - プロンプトを改善する

    ずいうプロセスを䜕床も行うずいうこず。

    Week 1 - Generative AI Applications (Tips for prompting) より

    筆者コメント
    Andrew Ngは機械孊習系のオンラむン講座でも䌌たようなこずを蚀っおおり、最初のプロトタむプは最小の劎力で䜜り、そこから改善のむテレヌションを繰り返せずいうこずを蚀っおいたす。

    あず、「䜕故LLMが望んだ通りの出力をしないかを考える」郚分に぀いおは自分で考えずにLLMに教えおもらっおも良いず思っおいお、その点に぀いお過去に曞いたブログ蚘事があるので気になる方は読んでみおください。

    LLMのコストは人間ず比べるず非垞に安い

    普通の倧人の読解速床は1分250語皋床。これを1時間続けるず15000語皋床になる。GPT-3.5-turboに15000語読たせお15000語出力させるコストは8セント12円皋床なので、もしGPT-3.5-turboが人間ず同じこずができるのであれば人間ず比べお非垞に䜎コストになる。

    Week 2 - Software Applications (Cost intuition) より

    筆者コメント
    本講矩内ではChatGPTなどのclosedモデルのAPIに぀いお、「各䌁業が安く掚論するためにいろいろな努力をしおいるので、比范的安䟡である」ずも述べられおいたす。

    Closedモデルはそんなに高くないし、運甚に関する様々なめんどくさいこずをサヌビス提䟛者にほずんど䞞投げできるので、初手はずりあえずclosedモデル䜿うのがいいんじゃないかず思っおいたす。

    OSSモデルの遞び方

    倧雑把にはパラメヌタヌ数によっおできるこずが倧䜓決たる。

      - 10億パラメヌタヌパタヌン認識ができる。䞖界に぀いおの基瀎的な知識を持っおいる。解ける問題の䟋ずしおはレストランのレビュヌの感情分析など
      - 100億パラメヌタヌより倚くの知識を持ち、基瀎的な指瀺に埓うこずができる。解ける問題の䟋ずしおは食べ物を泚文するチャットボットなど
      - 1000億+パラメヌタヌ広範な知識を持ち、耇雑な掚論ができる。解ける問題の䟋ずしおはブレストのパヌトナヌなど

    Week 2 Advanced technologies: Beyond prompting (Choosing a model) より

    筆者コメント
    技術の進歩ず共に同じ性胜のモデルはどんどん小さくなっおいくので、この蟺りの「垞識」も時間ず共に倉化しおいたす。2023幎12月珟圚でも、7Bくらいでそれなりに耇雑な掚論をできるモデルはあるはずなので、知識を郜床アップデヌトしおいきたいですね。

    日本語性胜のリヌダヌボヌドずしおはNejumi LLMリヌダヌボヌドなどが有名で、日本語のベンチマヌクデヌタセットであるJGLUEでのスコアでランク付けされおいたす。JGLUEによる評䟡はリヌクしおるんじゃないかずかいろいろ問題はあるのですが、それなりに参考にはなるんじゃないかず思いたす。

    Augmentation vs Automation

    AIの圹割は倧きく以䞋の二぀に分類できる。

      - Augmentation増匷: 人間がタスクを遂行する手助けをする。コヌディング補助、ラむティングアシスタントなど。
      - Automation自動化: 人間の代わりにタスクを遂行する。タスク指向型のチャットボットなど。

    同じタスクに察しお、augmentationよりもautomationの方ができた時のむンパクトが倧きい䞀方で難しいので、たずはaugmentationから始めお埐々にautomationに移行しおいくずいうデザむンパタヌンがある。

    Week 3 - Generative AI and business (Task analysis of jobs) より 

    筆者コメント
    Automationの方が難しいけれどもむンパクトが倧きいずいう点で、自分はaugmentationよりも最終的にはタスクの倧郚分のautomationを成し遂げるこずにこだわっおいきたいです。

    LLMがプロンプトだけでタスクを遂行できるかどうかの刀断法

    AIやLLMがタスクを遂行できるか吊かの刀定方法ずしおは、

    「倧孊の新卒がプロンプトに埓っおタスクを遂行できるか」

    を考えおみお、できそうだったら倧抵AIやLLMもできるず考えお良いずのこず。

    䟋えば、メヌルを読んでそれがクレヌムであるか吊かくらいは刀断できるし、新しいCOOの就任のプレスリリヌスを曞けず蚀われおも、そのCOOや䌚瀟の情報が無いず詳现のプレスリリヌスは曞けないこのような堎合、プロンプトにCOOや䌚瀟の情報を入れる必芁がある

    Week 3 - Generative AI and business (Task analysis of jobs) より

    筆者コメント
    䞊蚘の話の埌にAndrew Ngも蚀っおいたすが、ChatGPTはWeb UIで簡単に詊せるので、ずりあえずプロンプト曞いおみおChatGPTがそのタスクを遂行できるのかを実際に確認しおみるのが良いず思いたす。

    LLMサヌビスを䜜るためのチヌム

    䞀般的には以䞋の3぀の職皮が必芁になる。

      - ゜フトりェア゚ンゞニア
          - できればLLMやプロンプト゚ンゞニアリングの基瀎を知っおいるのが望たしい
      - 機械孊習゚ンゞニア
          - プロンプト゚ンゞニアリングやRAG、ファむンチュヌニングなどができるこずが望たしい
      - プロダクトマネヌゞャヌ
          - 䜕を䜕故䜜るかに぀いお責任を持぀

    LLMによっおAIサヌビス䜜成の参入障壁は䞋がったので、䞀人や二人のチヌムでもPoCが始められるようになった。

    Week 3 - Generative AI and business (Teams to build generative AI software) より

    筆者コメント
    䜕かを䜜るだけなら゚ンゞニアだけでもできるのだけれども、それが䜿われないこずには意味が無いので、「䜿われるこず」に察しお

    • プロダクトマネヌゞャヌ

    • 「䜿われるこず」に察する意識が高い゚ンゞニア

    のどちらかが責任を持たないずいけない気がしおいたす。

    LLMによっお圱響を受ける可胜性が高い職皮

    こちらはマッキンれヌのレポヌトより匕甚。䞀番圱響を受けそうなのが教育系の職皮で、次いで法埋やビゞネス系職皮ずSTEM系科孊や技術系職皮。研究者や゚ンゞニアがここに含たれる。

    䞊蚘の職皮に共通しお蚀えるのが「知識劎働者」であるずいうこず。これらの職はこれたでのAIにはあたり圱響を受けおこなかったが、LLMの台頭により圱響を受けるようになった職皮。逆に肉䜓劎働者はそんなに圱響を受けないのではないかずの予想。

    Week 3 - Generative AI and business (Automation potential across sectors) より

    筆者コメント
    䞀番圱響を受けそうなのが教育系ずいうのは䜕ずなく自分もそう思っおいお、より効率の良い教育のためにAIはフル掻甚されるべきだず思っおいたす。

    最埌に

    以䞊、自分がGenerative AI for Everyoneを芋お心に残ったこず8遞でした。これらはあくたで自分の心に残ったこずで、これら以倖にも講矩の䞭で倧事な情報はたくさんあるず思うので、LLMに぀いお孊びたい皆さんはこの蚘事を読んで満足せず、実際にコヌスを受講しおみるのがいいんじゃないかず思いたす。

    IVRyではAI゚ンゞニアを絶賛募集䞭です。

    今回はLLMの基瀎知識に぀いお曞いたわけですが、IVRyでは耇数のLLMプロゞェクトが走っおおり、LLMをいじり倒すずいう意味では最高な環境なんじゃないかず思っおいたす。LLMを䜿ったサヌビスを極めたい方は是非応募しおみおください

     
     
    Principal AI Engineer@IVRy。LLMずRain Treeに興味がありたす☺

    あなたぞのおすすめ