
llama.cppを使ったiPhone向けSLM性能測定アプリを作ってみた
結論:iPhoneでSLMの応答性能を評価できるアプリを作った
iPhone上で動作する小規模言語モデル(Small Language Model:SLM)の応答性能を測定できるiOSアプリを作成した。Hugging FaceなどにあるGGUFモデルを、AppleのMetalを活用して、モデルの推論を実行することができる。
一般的なAIチャットアプリではなく、モデル・量子化方式・端末条件ごとの推論性能を検証できるようにした。


動機:iPhoneアプリ作りたい x SLM動かしてみたい
「iPhoneアプリを作りたい」と思い、開発環境を整えていたが、長い間お題が見つからず、取り組めずにいた。今回、「iPhoneでSLMを動かしたい」というお題が見つかったので、取り組むことにした。
動機1. iPhoneアプリを作りたい
長らくiPhoneアプリを作りたいと思っていたが、手を動かせていなかった。M2 MacBook AirもiPhoneアプリを作るために購入していたが、ただのYouTube閲覧機と化していた。うまく活用できていなかった。
Codexなどのコーディングエージェントも登場し、実装のハードルが下がってきたので、今回取り組むことにした。
動機2. SLMをiPhone上で動かしてみたい
iPhoneにはGPUやNeural Engineなどの演算リソースが搭載されており、MetalやCore MLといった技術を通じて活用できる。これらを利用して、SLMをどれくらいスムーズに動かせるか検証してみたいと思った。
llama.cppには、Metalを活用してGGUFモデルの推論を実行できるライブラリとサンプルコードが用意されているため、これを活用してみたいと思った。
設計・実装: llama.cppjを活用したSLM推論
1. llama.cppを活用した推論エンジン
llama.cppはC/C++で実装された推論エンジンである。
Swift向けにビルド・パッケージ化されたllama.xcframeworkを介することで、簡単にライブラリを活用できた。
例えば、以下のように実装することで、GGUFモデルの読み込みを行うことができる。
import Foundation
import llama
// llama.cppの初期化
llama_backend_init()
// モデルの読み込み設定
let params = llama_model_default_params()
let path = "xxx.gguf"
// GGUFモデルの読み込み
let model = llama_model_load_from_file(
path,
params
)!`llama.xcframework`を用意するにあたり、Mac上でllama.cppのビルドを行う必要があるが、llama.cppの公式ドキュメントに従うことで、容易に準備することができた。
下記の記事も参考にした。
2. 推論エンジンの切り替えを見据えたレイヤー設計
iPhoneでは、Metalを活用したGPU推論に加え、Core MLを通じてNeural Engineを活用した推論も可能である。今回はllama.cppとMetalを利用して推論を実行したが、今後はCore MLを活用した推論にも対応したい。
そこで、「UIレイヤ」、「アプリケーションレイヤ」、「AI推論レイヤ」を分離して設計した。将来的なCore ML対応を見据え、AI推論レイヤを差し替えやすい構成にした(つもりである)。
```mermaid
flowchart TB
A["① UIレイヤ<br/>SwiftUI"]
B["② アプリケーションレイヤ<br/>AI推論非依存処理"]
C["③ AI推論レイヤ<br/>llama.cpp+Metal"]
A --> B
B --> C
style A fill:#e0f2fe,color:#075985,stroke:#0284c7
style B fill:#dcfce7,color:#166534,stroke:#16a34a
style C fill:#f3e8ff,color:#6b21a8,stroke:#9333ea
```3. Xcodeでの開発
Xcodeには不慣れだったため、先人の方々の記事やApple公式のSwiftチュートリアルを参考にしながら、開発を進めた。割とわかりやすいので、ここから愚直に進めることにした。
(初見なので、実は界隈では当たり前なのかもしれないが)XcodeはIDEレベルでCodexのようなAIコーディングエージェントをサポートしているため、積極的に活用することにした。コードの実装だけでなく、ビルドやSimulatorでのデバッグまで行ってくれるので、大変便利であった。
美術的センス皆無の私でも、いい感じのUIに整えてくれるのはありがたかった。(これはエージェントがすごいのか、Appleのガイドラインが整っていることのどちらがすごいのか)
実際にやってみて難しかったこと
1. App Store申請に必要な準備物が多い
プライバシーポリシーや利用規約、問い合わせフォームなどを用意する必要がある。
ソースコードはGitHubのプライベートリポジトリで管理していたため、リポジトリ内のdocsディレクトリ以下にドキュメントを用意し、Cloudflare Pagesへ自動デプロイされるように設定した。
実際に用意したサイトは以下のとおり。必要最低限のシンプルな構成にしておいた。
プライバシーポリシー:https://slmbench.pages.dev/privacy
利用規約:https://slmbench.pages.dev/terms
2. Apple Developer Programの年会費が高い
年会費の$99、12,800円は高い趣味代だと思っておく。
最初のApp Reviewでは何度もリジェクトされ、面倒を見ていただいたが、「こっちはお金を払っているのだから、レビューしてもらえるのは当然」という心持ちでいられるので、一定のお布施は大事かも。
さいごに
今回、長らくやってみたかったiPhoneアプリ開発と、SLMの推論実行を同時に試すことができた。
Codexなどのコーディングエージェントのおかげで、不慣れなSwiftやXcodeでも比較的スムーズに開発でき、個人開発のハードルが大きく下がっていると感じた。
今後は、Core MLを活用したNeural Engineでの推論にも挑戦してみたい。