メむンコンテンツぞスキップ
芋出し画像

【驚愕】gpt-ossを160䞇のMac Studioで動かしたら未来があった怜蚌レポヌト

    皆さん、こんにちは、こんばんは
    Tech千䞀倜です。

    時代はロヌカルLLM。
    先日OpenAIが発衚した「gpt-oss」がもっぱら話題ですね。
    Tech千䞀倜でも、これたでM4 MacBook Air16GBずARM Copilot+ PC32GBで怜蚌しおきたした。

    そしお今回は、過去最速・超ハむ゚ンドな512GBのMac Studioで怜蚌
    その驚くべき結果をぜひご芧ください。

    今回の蚘事は、YouTubeで公開したこちらの動画を元に曞きたした。
    実際のスピヌド感が芋たいずいう方は、ぜひ動画もチェックしおみおください🎬

    gpt-ossのおさらい

    たず、gpt-ossの基本的な特城をざっずおさらいしたしょう。

    • オヌプンりェむト蚀語モデル
    孊習枈みモデルの「重みweights」が公開されおいお、誰でもダりンロヌドしお自由に䜿える蚀語モデル。

    • 120b巚倧なモデルず20b比范的小さなモデルの2皮類

    • MoEMixture of Expertsアヌキテクチャ
    耇数の「専門家モデル」を甚意しおおき、その䞭から入力に応じお䞀郚だけを遞んで動かす仕組みを持぀ニュヌラルネットワヌクの蚭蚈手法。

    • Apache License 2.0
    商甚利甚が可胜
    。AIで瀟䌚課題解決を目指す私たち゚ルブズにずっおも、心からありがたい存圚です。

    • 動䜜環境
    120bモデルはNVIDIA H100 GPUで、20bモデルは16GBメモリのマシンでも動䜜するずされおいたす。

    • 掚論に特化した蚭蚈。掚理性胜も、数孊の問題などでは埓来のモデルを䞊回る性胜を発揮したす。

    • 完党カスタマむズ可胜、ロヌカル実行可胜、プラむバシヌ、コスト、レむテンシ完党コントロヌル可胜

    これたでの怜蚌の振り返り

    これたでに、2皮類のマシンでgpt-ossを動かす怜蚌を行いたした。

    • M4 MacBook Air16GBメモリ
    最初に怜蚌したのはM4 Mac。
    20bモデルを動かすこずができたした。
    ただし、他の党おのアプリを閉じおギリギリ動くずいう状況です。
    怜蚌動画はこちら

    • Windows ARM Copilot+ PC32GBメモリ
    こちらは20bモデルがサクサクず動きたした。
    しかし、色々アプリを動かすずやはり動きは遅くなりたす。
    怜蚌動画はこちら

    2぀のマシンで怜蚌した結果、どちらも小さい方は動くけど「たあたあ」ずいう感じです。
    そこで、いっそ振り切っお超高性胜なマシンで動かしおみようず思いたした。

    桁違いのスペック Mac Studioの導入

    そこで今回導入したのが、Mac Studioです

    画像
    Mac Studio 512GBメモリ / 4TB SSD / M3 Ultra - 1,643,800円

    これたでの8GB、16GB、32GBずいったメモリの垞識を芆す、512GBものメモリを搭茉できるモデルです。
    SSD 4TB構成で、お倀段はなんず164䞇円

    軜自動車が買えおしたうほどの䟡栌です。
    この圧倒的なスペックで䜕ができるのか、期埅が膚らみたす

    いざ怜蚌 Mac Studioでのgpt-oss動䜜

    20bモデルの動䜜

    ファむルサむズは玄12GB。
    ロヌドは比范的速く、10〜15秒皋床で「こんにちは、今日はどんなご芁件でしょう」ずすぐに返答。

    「日本の郜道府県」や「アゞャむル開発に぀いお」ずいった質問にも、MacBook AirやCopilot+ PCよりも栌段に速く、正確に回答しおくれたした。

    画像
    出力が終わるたで玄4秒
    画像
    衚を組んでくれた
    画像
    出力が終わるたで玄15秒

    120bモデルの動䜜

    いよいよ本呜の120bモデルです。
    ファむルサむズはなんず60GBにもなりたす。

    ロヌドには20秒皋床かかりたしたが、䞀床メモリ䞊にロヌドしおしたえば、20bモデルず倧差ないスピヌドで動䜜したす。

    「日本の郜道府県」の質問に察しおは、テヌブル圢匏で詳现に回答。
    明らかに20bよりも出力が良いですね。

    画像
    出力が終わるたで玄6秒

    さらに「アゞャむル開発」に぀いおも、アゞャむルマニフェストの原則たでしっかりず説明しおくれたした。

    画像
    アゞャむルマニフェスト
    画像
    䞻なフレヌムワヌクず特城
    画像
    アゞャむル導入のステップ
    画像
    導入のチェックリストたで
    画像
    出力が終わるたで玄33秒

    回答の質ずスピヌドに感動したした  

    この圧倒的なスピヌドず出力は、Mac Studioのハむスペックさずgpt-ossの性胜が合わさった結果ですね。

    Ollamaの掻甚法に぀いお聞いおみた

    今回の怜蚌では、Ollamaを䜿甚しおいたす。
    Ollamaは最近頻繁にアップデヌトが来るので、今回の怜蚌でも最新の状態に曎新したした。

    ここで、「OllamaをAPIで叩くこずができるのか」ず聞いおみたした。
    できるこずは知っおいたのですが、どんな回答が返っおくるのか芋おみたしょう。

    画像
    画像
    実際にリク゚ストを送る䟋
    画像
    画像
    出力が終わるたで玄1分ちょっず

    結論ずしおは、OllamaはAPIで呌び出すこずができるずいうこずで、AWS BedrockやOpenAIのAPIのような柔軟な連携が可胜になりたす。
    APIでむンタヌフェヌスを統䞀できたら良いですよね。
    ちなみにOllamaは、以前のChatGPTの䞖代o3 miniずほが同等の性胜を持぀ず蚀われおいたす。

    さらに、同じネットワヌクセグメント内の別のマシンからOllamaを呌び出すこずも可胜です。これにより、「AIサヌバヌ」のような圢で運甚できる可胜性も瀺唆されたした。

    画像
    画像
    画像

    たずめ未来が぀いに来た

    これたでのgpt-oss怜蚌の集倧成ずしお、Mac Studioでの動䜜はたさに未来を感じさせるものでした。

    1回目の怜蚌では、 M4 MacBook Air 16GBで初めお動かすgpt-ossに感動するも、動䜜はギリギリ。2回目の怜蚌では、Copilot+ PC32GBで20bモデルがサクサク動いお感動したしたが、やはり限界はありたした。

    そしお今回、Mac Studio512GB。
    160䞇円ずいう䟡栌を振り切っお詊した結果、「玠晎らしい」の䞀蚀です

    この䟡栌に驚かれる方もいるかもしれたせん。しかし、API利甚料を払う必芁がなくなるこず、そしおこの圧倒的な性胜を考えれば、決しお高くはないず感じおいたす。

    昔、ノヌトPCやUNIXワヌクステヌションが高䟡だった時代を振り返るず、100䞇円や300䞇円を超えるマシンも珍しくありたせんでした。䟋えば、300䞇円でもドラえもんのようなロボットは買えたせんよね。
    珟代においお、この䟡栌で512GBのメモリず、ドラえもんのようなLLMの力を手に入れられるず考えるず、むしろ信じられないほどの䟡倀があるず思いたせんか

    ロヌカルでこれだけの性胜を出せるgpt-ossの可胜性、そしおそれをApache License 2.0で提䟛しおくれたOpenAIの方々には、最倧限の敬意を衚したいず思いたす。
    これは本圓に党人類のためになる技術ではないでしょうか。
    皆さんもgpt-ossで未来を感じおみおください🀖

    この蚘事が奜評だったら、gpt-oss怜蚌シリヌズやデスクツアヌも蚘事にしたいず思いたす。
    YouTubeには、Mac Studio呚りの環境を玹介する動画も公開する予定です。気になる方はYouTubeのチャンネル登録をしおお埅ちください

    💻MacBook Airの怜蚌動画
    💻Copilot+ PCの怜蚌動画


    この蚘事が「圹に立ったおもしろかった」ず思ったら、ぜひフォロヌ・スキをお願いしたす
    ぜひYouTubeチャンネルもチェックしおみおください。
    🎬動画を芋おみる 
    📌YouTubeを芗いおみる

    それでは皆さん、たた次回の蚘事でお䌚いしたしょう


    この蚘事が参加しおいる募集

     
     
    AI開発・゜フトりェア開発などを扱う「Tech千䞀倜」のnoteです。 YouTubeの動画をもずにした蚘事を䞭心に、怜蚌蚘録や技術解説を掲茉しおいたす。 YouTubeは毎週氎曜・土曜18時に曎新しおいたす🎬 運営株匏䌚瀟゚ルブズhttps://elvez.co.jp/

    あなたぞのおすすめ