メインコンテンツへスキップ
見出し画像

Jetson Orin をローカル AI に — 小さく低い電力の板で LLM と音声を動かす

    【PR】このページには広告(アフィリエイト)のリンクを含みます。掲載の内容や順番は報酬の有無で変えていません。

    Jetson Orinは7–25Wの低消費電力で動作し、ローカルAIサーバーとしてLLMや画像生成を動かせます[7][動画1 0:47]。

    • 単一トークン生成時にメモリ帯域がボトルネックになります[32]。

    • 適切な設定を行えば低電力でもGPUオフロードを完走できます[31]。

    • 小規模モデルの選択により10W台で実用的な生成速度を出せます[30]。

    • 長い文脈を扱うLLMの処理には向きません[31]。

    動画で見る

    字幕から、使った機器・結果・困った点の場面を抜き出しました。時刻を押すとその場面から再生します。

    海外 動画1 NVIDIA Jetson Orin Nano Super COMPLETE Setup Guide & Tutorial(Bijan Bowen・56:35)— NVIDIA Jetson Orin Nano Superの初期設定からローカルLLM実行までのチュートリアル

    この動画で使われている商品: NVIDIA Jetson Orin Nano Super

    ・0:47 JetsonをAIサーバーとしてLLMや画像生成を実行する

    ・1:28 AIモデル容量のためSDカードは最低128GB推奨(128 GB)

    ・4:37 balenaEtcherでOSイメージをSDカードに書き込む

    ・11:46 JetPack 6.1がインストールされたSDカードを使用(JetPack 6.1)

    海外 動画2 NVIDIA's $249 Secret Weapon for Edge AI - Jetson Orin Nano Super: Driveway Monitor(Dave's Garage・13:18)— Jetson Orin NanoでYOLOv8による車検知とLlama3.2のローカルLLM実行をテストし、性能とコストを評価

    この動画で使われている商品は、NVIDIA Jetson Orin Nano Developer Kit です。ほかに Samsung 970 EVO Plus 1TB と Raspberry Pi 4 Model B (8GB) も使われています。

    ・2:07 Jetson Orin Nanoの価格は$249に値下げされた($249)

    ・3:18 SDカードからSSDへOSをクローンし、ディスク性能を大幅向上させた

    ・4:01 YOLOv8モデルを使用し、GPU上でリアルタイムの車両検知スクリプトを実行

    ・5:42 Orin Nanoでの動画フレーム処理は数fpsだが実用上十分

    海外 動画3 Run Deepseek R1 at Home on Hardware from $250 to $25,000: From Installation to Questions(Dave's Garage・12:42)— Jetson Orin NanoとRTX 6000でDeepSeek R1をローカル実行し、性能とコストを比較検証する

    この動画で使われている商品: NVIDIA Jetson Orin Nano Super

    ・8:45 Jetson Orin Nanoで1.5Bモデルは約32 tokens/secで動作(32 tokens/sec)

    ・9:01 Jetson Orin Nanoで7Bモデルは約12 tokens/secで動作(12 tokens/sec)

    ・5:46 Jetson Orin Nano Superは$250未満で個人用AIに十分($250)

    ・9:44 RTX 6000 Adaの市場価格は約$11,000($11,000)

    ほかの動画(4 本)

    海外 動画4 I Ran DeepSeek R1 on a $80 Pi vs $250 Jetson vs $1000 Mac — Here’s What Happened(Joyce Lin・9:51)— DeepSeek R1をRaspberry Pi、Jetson、MacBookの3台でローカル実行し、性能とコストを比較

    この動画で使われている商品: Raspberry Pi 5 (8GB) ・ NVIDIA Jetson Orin Nano (8GB)

    ・00:31 DeepSeek R1の1.5Bパラメータ版を使用。MITライセンスで商用制限なし

    ・02:20 Ollamaフレームワークを使い、全デバイスでほぼ同一のセットアップ手順

    ・03:41 MacBookでの数学問題解答。思考過程がほぼ瞬時に表示される(72 tokens/sec)

    ・04:00 Jetsonでの実行。リアルタイムで読める速度だがMacBookより遅い(22 tokens/sec)

    海外 動画5 Jetson Orin Nano: One Year Later - Is it Still Worth Buying?(Gary Explains・10:01)— Jetson Orin Nano Superの1年後の評価。価格維持、性能向上、OllamaでのLLM推論速度比較

    この動画で使われている商品: NVIDIA Jetson Orin Nano Developer Kit Super

    ・1:38 Super版の価格は249ドルに値下げされ、現在もほぼ同価格で入手可能($249)

    ・2:17 Super版は40TOPSから67TOPSへ、メモリ帯域も向上し生成AI性能が1.7倍に(1.7x)

    ・2:38 2023年モデルでもソフトウェアアップデートでSuper版の性能向上を享受可能

    ・7:34 OllamaでLlama 3.2 (3B)を実行。以前は20.5 tok/sだったが現在は22.5 tok/sに向上(22.5 tokens/sec)

    海外 動画6 This mini GPU runs LLM that controls this robot(Nikodem Bartnik・18:48)— RTX 4060とJetson Orin NanoでLLMをローカル実行し、ロボット制御を試みる実験

    この動画で使われている商品: NVIDIA Jetson Orin Nano Super

    ・5:02 RTX 4060でLlavaを実行し、画像処理速度を測定する

    ・14:18 RTX 4060では毎秒1枚以上の画像処理が可能で高速(>1 img/s)

    ・15:23 Jetson Orin Nano Superは高性能だが価格は$249と手頃($249)

    ・17:04 Jetson Orin Nanoでは画像処理に3〜4秒かかる(3-4 sec/img)

    海外 動画7 NVIDIA Jetson Orin Nano: Google Gemma 2 Personal Assistant #nvidia #nvidiajetson #gemma (Cytron Technologies・9:59)— Jetson Orin NanoでGemma 2とPiperを使い、音声認識・生成・TTSを統合したローカルAIアシスタントを構築するチュートリアル。

    この動画で使われている商品: NVIDIA Jetson Orin Nano

    ・4:30 Jetson Orin Nanoでのベンチマーク結果。10.85秒で131トークン生成。(12.1 ms/token)

    ・4:46 速度向上のため、モデルサイズを小さくするかGPUレイヤーを増やすことを推奨。

    ・1:40 Jetpack 6.1とCUDA Toolkitがプリインストールされた環境が必要。

    ・3:39 llama.cppをQAサポート有効でビルドし、Gemma 2を実行可能にします。

    Jetson Orin で何が制限されているか・なぜローカル AI に使うのか

    Jetson Orinは7–25Wの低消費電力で動作し、ローカルAIサーバーとしてLLMや画像生成を動かせます[7][動画1 0:47]。ただしCPUとGPUが同一RAMを共有するため、メモリ帯域が推論速度の制約になります[32][38]。

    Orin Nano Super 8GB [3]

    • メモリ容量と帯域: 8GBでDRAM帯域は102 GB/sです[16]。

    • 価格: 約$399(2026-10時点)です[7]。

    • 制限事項: 単一トークン生成時にメモリ帯域がボトルネックになります[32]。

    • 向く人・用途: 0.5〜1BのQ4_K_Mモデルの利用[32]

    Orin NX 16GB [9]

    • メモリ容量と帯域: 容量は16GBです[9]。帯域は—。

    • 価格: 1,000個単位で499→899ドル(2026-07-22時点)です[24]。

    • 制限事項: 熱制御が不十分だと性能が落ちるため冷却を要します[37]。

    • 向く人・用途: LLMエージェントのローカルサーバー運用[37]

    AGX Orin 64GB [8]

    • メモリ容量と帯域: 容量は64GBです[8]。帯域は—。

    • 価格: Amazon.comで現在3,388ドル(2026-10-30時点)です[28]。

    • 制限事項: RTX 3090よりメモリ帯域幅や計算能力が劣ります[40]。

    • 向く人・用途: ページングの遅さを許容できるバッチ用途[12]

    • 標準的なLinuxでは起動できず導入手順に制約があります。(Jetson AGX Orin 32GB、JetPack 6.1、Reddit r/LocalLLaMA) 標準的なARM用Linuxディストリビューションは起動できない可能性が高いです[40]。NVIDIA SDK Manager経由でJetPackを導入する必要があります[40]。OllamaでGPUを認識しない環境でもCUDA対応llama.cppのソースビルドで動作します[40]。

    • 追加の冷却によって高い電力モードでの運用を維持できます。(Seeed J4012、Orin NX 16GB、David Noel Ng氏) CPUクーラーを改造して3Dプリント外殻に組み込みました[37]。12Vファンを5V駆動させて40WのMAXN SUPERモードで動かしています[37]。なおCUDAが使える約15.6GiBのメモリは重みやOSと競合します[37]。

    • 適切な設定を行えば低電力でもGPUオフロードを完走できます。(Orin Nano 8GB、キャリア基板 Turing Pi 2.5、llama.cpp、Turing Pi社) 25Wモードで4Kコンテキストの7モデルすべてが完全GPUオフロードに成功しました[31]。一方でOSやランタイムとKVキャッシュが同じメモリを奪い合います[31]。Qwen3 8BではFP16 KVキャッシュが32Kで4,608MBを占有しました[31]。

    改造で何が解放されるかを比べる

    Jetson Orinは公式の電力上限解放や設定ファイルの書き換えで性能を引き出せます[14][17]。公式更新やビルド調整に加え、NVMeスワップやGUI停止でも動作制限を緩和できます[10][12][20]。

    nvpmodel.confの書き換え [14]

    • 配布元: 個人ブログ(note)[14]

    • 対応する版: AGX Orin Dev Kit[14]

    • 手間: chmod 666で権限を開け、MODE_30Wを複製して再起動します[14]。

    • 解放される中身: CPUやGPU、メモリの周波数を独自に変更できます[14]。

    • 効き目(前後の数字): —

    • 危うさ: chmod 666により広く権限を開けます[14]。

    • 向く人・用途: —

    Super mode(ソフトウェア更新) [16] [17]

    • 配布元: NVIDIA公式[16]

    • 対応する版: JetPack 6.2、Orin Nano 4GB/8GB、Orin NX 8GB/16GB[16]

    • 手間: ソフトウェアを更新します[17]。

    • 解放される中身: 電力目標が15Wから25Wに上がり、GPUが625から1050 MHz、CPUが1.5から1.7GHzに上がります[17]。

    • 効き目(前後の数字): INT8が33 TOPSから67 TOPS(スパース)になり、Llama 3.1 8Bで1.1–1.6倍のtok/sになります[16][17]。

    • 危うさ: —

    • 向く人・用途: —

    NVMe swapの作成 [10] [12] [13]

    • 配布元: Jetson AI Labチュートリアル等[10][13]

    • 対応する版: Orin Nano 8GB[10]、AGX Orin 64GB[12]

    • 手間: fallocateコマンド等で作成します[13]。

    • 解放される中身: 共有RAM不足を補うスワップ領域(16GBや50GB)をNVMe上に確保します[10][12]。

    • 効き目(前後の数字): 34B–70Bのモデルが動きます[12]。

    • 危うさ: ページングの遅さがあり、大きなモデルはさらに遅くなります[12][13]。

    • 向く人・用途: ページングの遅さを許容できるバッチ用途[12]

    dustynv/ollamaコンテナ導入 [9] [19]

    • 配布元: dustynv(Jetson AI Lab)[9][19]

    • 対応する版: JetPack 6.1/6.2、L4T 36.4.0以降[19]

    • 手間: コンテナを起動しJETSON_JETPACK=6を設定します[19]。

    • 解放される中身: Ollama 0.5.8以降でGPUを認識せずCPUで動く問題を回避できます[19]。

    • 効き目(前後の数字): gpt-oss:20bでeval 33.80 tok/sで動きます[9]。

    • 危うさ: NanoLLMより速度が約半分になります[9]。

    • 向く人・用途: —

    sm_87向けllama.cppネイティブビルド [20]

    • 配布元: 個人ブログ[20]

    • 対応する版: Orin Nano Super、JetPack 7.2、CUDA 13.2[20]

    • 手間: オプションに-DGGML_CUDA=ONと-DCMAKE_CUDA_ARCHITECTURES=87を指定してビルドします[20]。

    • 解放される中身: Orin向けアーキテクチャsm_87でCUDA推論を実行できます[20]。

    • 効き目(前後の数字): —

    • 危うさ: —

    • 向く人・用途: —

    GUI停止とデーモン無効化 [10]

    • 配布元: Jetson AI Lab[10]

    • 対応する版: Orin Nano 8GB[10]

    • 手間: GUIを停止しnvargus-daemonとzramを無効化します[10]。

    • 解放される中身: 共有RAMの空き容量を増やします[10]。

    • 効き目(前後の数字): 約800MB空きます[10]。

    • 危うさ: —

    • 向く人・用途: —

    • MAXN_SUPERモードの適用で推論速度が向上しました[36]。(Jetson AGX Orin 32GB、JetPack 7.2、MAXN_SUPER、Doruk Sönmez氏)64GBを想定した2モデル構成の映像AIを実行しました[36]。Cosmosのスループットが約65%向上し、トークン生成までの時間が約6倍短縮しています[36]。待機時の空きRAMも5.3GBから約10GBに増えました[36]。

    • 設定ファイルの書き換えで動作周波数を個別に調整できました[14]。(AGX Orin Dev Kit、個人ブログ note)管理者権限を付与してnvpmodel.confにMODE_CUSTOMを追加しました[14]。CPUやGPU、メモリの周波数を書き換えられます[14]。設定内容を反映させるには再起動が必要です[14]。

    • sm_87向けビルドと最大性能モードでLLMを稼働させました[20]。(Orin Nano Super、JetPack 7.2、CUDA 13.2、個人ブログ)sm_87向けのオプションを指定してllama.cppをネイティブビルドしました[20]。動作モードにはMAXN_SUPERとjetson_clocksを設定しています[20]。Qwen2.5 7B Q4_K_Mをsystemdで動かしました[20]。

    試した人の構成と前後の数字

    Jetson Orinの実測値は動作モードや推論ソフトの選択で変化します[2][36]。報告された速度や消費電力は測定者が本人か第三者かで分かれています[32][36]。

    • MAXN_SUPERにより空きメモリが倍増し推論速度が向上します[36]。(Jetson AGX Orin 32GB、JetPack 7.2、MAXN_SUPER、Cosmos、第三者のDoruk Sönmez氏による測定)[36]。待機時の空きRAMは5.3GBから約10GBへ増加しました[36]。映像AIのCosmosでスループットが約65%向上し、生成開始までの時間を約6倍短縮しています[36]。

    • 冷却器の改造と40W運用で15.6GiBのメモリを活用できます[37]。(Seeed J4012・Orin NX 16GB、MAXN SUPER 40W、llama.cpp、作者のDavid Noel Ng氏による自己申告)[37]。外付けクーラーを改造して熱を抑え、持続的な動作環境を整えました[37]。CUDAで使えるメモリは約15.6GiBに達し、エージェント用サーバーとして動作します[37]。

    • 小規模モデルの選択により10W台で実用的な生成速度を出せます[30]。(Orin Nano 8GB、Ollamaとllama.cpp、Q4_K_M、作者本人による自己申告)[30]。Llama 3.2 7Bでは生成14.2 tok/sに対して消費電力は14.8Wでした[30]。3Bモデルでは生成速度が28.7 tok/sへ伸び、消費電力は11.2Wに下がります[30]。

    • 超軽量モデルを並列処理すると低電力で高い総出力を得られます[34]。(Orin Nano 8GB、JetPack 6、L4T 36.4.4、15Wモード、Ollama、Q4_K_M、企業NavyaAIによる自社測定)[34]。Gemma 3 270Mで16同時接続時に8.0Wの消費電力で合計158.1 tok/sを記録しました[34]。一方でGemma 3 4B以上のモデルでは複数人の同時利用が実用になりませんでした[34]。

    • 文脈長を拡大するとKVキャッシュのメモリ圧迫が急増します[31]。(Orin Nano 8GB、Ubuntu 24.04.5、JetPack 7.2.1、CUDA 13.2、25Wモード、llama.cpp、第三者のTuring Pi社による測定)[31]。Qwen3 1.7Bで39.42 tok/s、Qwen3 8Bで12.64 tok/sを記録しました[31]。Qwen3 8BのKVキャッシュは4K時の576MBから32K時には4,608MBまで膨らみます[31]。

    Ollama

    • 報告された速度: Qwen3 0.6Bで38.84 tok/s[32]

    • 消費電力・メモリ: 16同時で8.0W、アイドル時1.5W[34]

    • 測定の種別: 自己申告[32]、自社測定[34]

    • 向く人・用途: 0.5〜1BのQ4_K_M利用[32]

    llama.cpp

    • 報告された速度: 1.5B Q4_K_Mで約25 tok/s[4]

    • 消費電力・メモリ: メモリ約1.5GB[4]

    • 測定の種別: 自己申告[4]

    • 向く人・用途: ソースからビルドしてCUDAで動かす人[40]

    vLLM

    • 報告された速度: Cosmos-Reason2-2Bで56 TPS[2]

    • 消費電力・メモリ: ピークメモリ 6.9GB[2]

    • 測定の種別: 第三者測定[2]

    • 向く人・用途: 複数クライアントの同時利用[33]

    MLC

    • 報告された速度: 1.5B q4f16で20–40 tok/s[4]

    • 消費電力・メモリ: —

    • 測定の種別: 自己申告および引用[4]

    • 向く人・用途: 1.5Bや3Bモデルを動かす人[4]

    危うさと向かない人

    Jetson Orinは公式の告知がないまま33%から101%値上げされ、開発キット全3種で在庫切れが起きています[23][25]。設定変更による性能低下やソフトの不具合も存在し、手軽さや即応性を求める用途には向きません[18][動画6 17:04]。

    • 国内の販売店ではOrin Nano開発キット8GBが96,800円で販売終了しました[27]。モジュール単体の価格はOrin Nano 8GBが111,650円、Orin NX 16GBが272,800円です[27]。上位のAGX Orin開発キットは32GBが325,160円、64GBが814,330円に達します[27]。

    • 個人ブログの2022年の記事によると、AGX Orinでは再起動の挙動に不安定さがあります[15]。画面の表示が残った状態では再起動に失敗します[15]。ディスプレイの電源をOFFにしておかないと正常にリブートしません[15]。

    • メーカーフォーラムの報告によると、Orin NXでSecure Bootを有効にすると動作クロックが下がります[18]。JetPack 6.2の環境で、ISPやVI、NVCSI、EMCのクロックを落とします[18]。

    • 更新によってGPUが認識されずCPUで動く問題が発生します[19]。(Orin Nano、JetPack 6.1/6.2、L4T 36.4.0以降、Ollama、リポジトリのissue)[19]。Ollama 0.5.8以降ではGPUを検出できずCPUで動いてしまいます[19]。正常に動いた最後の版は0.5.7でした[19]。dustynv/ollamaコンテナとJETSON_JETPACK=6の設定で回避できます[19]。

    • 複数人による中規模以上のモデル利用には向きません[34]。(Orin Nano 8GB、$499、JetPack 6、L4T 36.4.4、15Wモード、Ollama、企業NavyaAIの測定)[34]。Gemma 3の4B以上のモデルは複数ユーザーの同時利用で実用になりませんでした[34]。標準設定は単一ユーザー向けのため、同時利用には並列設定の調整を要します[34]。

    • 長い文脈を扱うLLMの処理には向きません[31]。(Orin Nano 8GB、Turing Pi 2.5、JetPack 7.2.1、llama.cpp、Turing Pi社の測定)[31]。本体のメモリ上ではOSやランタイムとKVキャッシュが領域を奪い合います[31]。Qwen3 8Bを動かした検証では、16K以上のプロンプト処理で失敗しました[31]。

    • 即座の画像処理やハード制御を求める用途には向きません[動画6 16:42][動画6 17:04]。(Jetson Orin Nano、動画「This mini GPU runs LLM that controls thi」)[動画6 17:04]。Orin Nanoでの画像処理には1枚あたり3〜4秒かかります[動画6 17:04]。毎秒1枚以上を処理できるRTX 4060に比べて遅くなります[動画6 14:18]。さらに検証ではGPIOが動作せず、モーターの制御にも失敗しました[動画6 16:42]。

    商品

    価格は 2026-11-13 19:21 時点の各店の表示です(送料・ポイントは含みません)。SwitchBot の製品は公式ストアへのリンクです。Amazon は検索結果へのリンクです。部品は種類が多いため、店の検索結果へのリンクにしています。

    動画で使われている商品

    動画の中でメーカーと型番まで分かった機器だけを載せています(国内の店か AliExpress で同じ型番の商品があったものだけ)。

    NVIDIA Jetson Orin Nano Super (動画1 0:02 で使用・ローカルAIサーバーとして使用)

    NVIDIA Jetson Orin Nano Developer Kit (動画2 0:25 で使用・エッジAI処理用シングルボードコンピュータ)

    Samsung 970 EVO Plus 1TB (動画2 2:54 で使用・OSとデータのストレージとしてSDカードから移行)

    Raspberry Pi 4 Model B (8GB) (動画2 7:10 で使用・Llama3.2実行の比較基準として使用)

    NVIDIA Jetson Orin Nano Super (動画3 0:03 で使用・エッジデバイスでのローカルAI実行)

    Raspberry Pi 5 (8GB) (動画4 01:37 で使用・低予算でのAI推論テスト)

    NVIDIA Jetson Orin Nano (8GB) (動画4 01:47 で使用・エッジAI・ロボティクス向けGPU搭載機での推論)

    NVIDIA Jetson Orin Nano Developer Kit Super (動画5 0:27 で使用・ローカルAI実行用ボード)

    NVIDIA Jetson Orin Nano Super (動画6 15:14 で使用・ロボット搭載の小型GPUサーバーとして使用)

    NVIDIA Jetson Orin Nano (動画7 0:21 で使用・AIアシスタントの実行プラットフォーム)

    そのほかの商品

    Jetson Orin Nano 開発キット

    探す: 楽天市場 ・ Yahoo!ショッピング ・ Amazon

    NVMe SSD

    探す: 楽天市場 ・ Yahoo!ショッピング ・ Amazon

    USB のマイク

    探す: 楽天市場 ・ Yahoo!ショッピング ・ Amazon

    出典

    出典の一覧(30 件)

    関連の記事

    【宣伝】SwitchBot 購入はこちらから

    SwitchBot公式ページ
    クーポン「AF-4903」で5%引き(アフィリエイトクーポンになりますのでご協力お願いします)
    割引の詳しい仕組みに関してはこちらのページを参照ください。
    製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。


    この記事は山村商店にも載せています。最新の内容・動画の再生位置・商品の値段はそちらで見られます。

     
     
    ミニPC・SwitchBot・農業 IoT・AI の実用情報を雑多に記事化します。

    あなたへのおすすめ