メインコンテンツへスキップ
見出し画像

llama.cppを使ったiPhone向けSLM性能測定アプリを作ってみた

    結論:iPhoneでSLMの応答性能を評価できるアプリを作った

    iPhone上で動作する小規模言語モデル(Small Language Model:SLM)の応答性能を測定できるiOSアプリを作成した。Hugging FaceなどにあるGGUFモデルを、AppleのMetalを活用して、モデルの推論を実行することができる。

    一般的なAIチャットアプリではなく、モデル・量子化方式・端末条件ごとの推論性能を検証できるようにした。

    画像
    Gemma 4を実行し、
    画像
    推論結果と応答性能を確認できる

    動機:iPhoneアプリ作りたい x SLM動かしてみたい

    「iPhoneアプリを作りたい」と思い、開発環境を整えていたが、長い間お題が見つからず、取り組めずにいた。今回、「iPhoneでSLMを動かしたい」というお題が見つかったので、取り組むことにした。

    動機1. iPhoneアプリを作りたい

    長らくiPhoneアプリを作りたいと思っていたが、手を動かせていなかった。M2 MacBook AirもiPhoneアプリを作るために購入していたが、ただのYouTube閲覧機と化していた。うまく活用できていなかった。

    Codexなどのコーディングエージェントも登場し、実装のハードルが下がってきたので、今回取り組むことにした。

    動機2. SLMをiPhone上で動かしてみたい

    iPhoneにはGPUやNeural Engineなどの演算リソースが搭載されており、MetalやCore MLといった技術を通じて活用できる。これらを利用して、SLMをどれくらいスムーズに動かせるか検証してみたいと思った。

    llama.cppには、Metalを活用してGGUFモデルの推論を実行できるライブラリとサンプルコードが用意されているため、これを活用してみたいと思った。

    設計・実装: llama.cppjを活用したSLM推論

    1. llama.cppを活用した推論エンジン

    llama.cppはC/C++で実装された推論エンジンである。
    Swift向けにビルド・パッケージ化されたllama.xcframeworkを介することで、簡単にライブラリを活用できた。

    例えば、以下のように実装することで、GGUFモデルの読み込みを行うことができる。

    import Foundation
    import llama
    
    // llama.cppの初期化
    llama_backend_init()
    
    // モデルの読み込み設定
    let params = llama_model_default_params()
    let path = "xxx.gguf"
    
    // GGUFモデルの読み込み
    let model = llama_model_load_from_file(
        path,
        params
    )!

    `llama.xcframework`を用意するにあたり、Mac上でllama.cppのビルドを行う必要があるが、llama.cppの公式ドキュメントに従うことで、容易に準備することができた。

    下記の記事も参考にした。

    2. 推論エンジンの切り替えを見据えたレイヤー設計

    iPhoneでは、Metalを活用したGPU推論に加え、Core MLを通じてNeural Engineを活用した推論も可能である。今回はllama.cppとMetalを利用して推論を実行したが、今後はCore MLを活用した推論にも対応したい。

    そこで、「UIレイヤ」、「アプリケーションレイヤ」、「AI推論レイヤ」を分離して設計した。将来的なCore ML対応を見据え、AI推論レイヤを差し替えやすい構成にした(つもりである)。

    ```mermaid
    flowchart TB
        A["① UIレイヤ<br/>SwiftUI"]
        B["② アプリケーションレイヤ<br/>AI推論非依存処理"]
        C["③ AI推論レイヤ<br/>llama.cpp+Metal"]
    
        A --> B
        B --> C
    
        style A fill:#e0f2fe,color:#075985,stroke:#0284c7
        style B fill:#dcfce7,color:#166534,stroke:#16a34a
        style C fill:#f3e8ff,color:#6b21a8,stroke:#9333ea
    ```

    3. Xcodeでの開発

    Xcodeには不慣れだったため、先人の方々の記事やApple公式のSwiftチュートリアルを参考にしながら、開発を進めた。割とわかりやすいので、ここから愚直に進めることにした。

    (初見なので、実は界隈では当たり前なのかもしれないが)XcodeはIDEレベルでCodexのようなAIコーディングエージェントをサポートしているため、積極的に活用することにした。コードの実装だけでなく、ビルドやSimulatorでのデバッグまで行ってくれるので、大変便利であった。

    美術的センス皆無の私でも、いい感じのUIに整えてくれるのはありがたかった。(これはエージェントがすごいのか、Appleのガイドラインが整っていることのどちらがすごいのか)

    実際にやってみて難しかったこと

    1. App Store申請に必要な準備物が多い

    プライバシーポリシーや利用規約、問い合わせフォームなどを用意する必要がある。

    ソースコードはGitHubのプライベートリポジトリで管理していたため、リポジトリ内のdocsディレクトリ以下にドキュメントを用意し、Cloudflare Pagesへ自動デプロイされるように設定した。

    実際に用意したサイトは以下のとおり。必要最低限のシンプルな構成にしておいた。
    プライバシーポリシー:https://slmbench.pages.dev/privacy
    利用規約:https://slmbench.pages.dev/terms

    2. Apple Developer Programの年会費が高い

    年会費の$99、12,800円は高い趣味代だと思っておく。

    最初のApp Reviewでは何度もリジェクトされ、面倒を見ていただいたが、「こっちはお金を払っているのだから、レビューしてもらえるのは当然」という心持ちでいられるので、一定のお布施は大事かも。

    さいごに

    今回、長らくやってみたかったiPhoneアプリ開発と、SLMの推論実行を同時に試すことができた。

    Codexなどのコーディングエージェントのおかげで、不慣れなSwiftやXcodeでも比較的スムーズに開発でき、個人開発のハードルが大きく下がっていると感じた。

    今後は、Core MLを活用したNeural Engineでの推論にも挑戦してみたい。


    この記事が参加している募集

     
     
    日系企業で画像・自然言語・AIアプリケーションの研究開発をしています。博士(工学)なども。読書・ガジェット・習慣改善などに興味があります。(記事内Amazon適格販売広告含む)

    あなたへのおすすめ