メインコンテンツへスキップ
見出し画像

物体検出モデル(UHD)をBlenderのGeometryNodes上で動かす

    BlenderのGeometryNodes上で物体検出モデルを動かすことができました。

    Blender上で物体検出モデルを動かせました#GeometryNodes #b3d pic.twitter.com/7hEfGaryfD

    — Melville (@MelvilleTw) June 16, 2026

    概要

    今回動かしている物体検出モデルはPINTO氏が公開している「UHD」というモデルです。

    これはたった入力64x64ピクセルの正方形から人物を推定するという野心的なモデルなのですが、入力の小ささもさることながらアーキテクチャー的にも高速な処理のための工夫が施されており、GitHubに掲載されているデモではESP32-S3のようなエッジデバイス環境下でもリアルタイム動作しているのが確認できます。

    BlenderのGeometryNodesはあくまで3Dジオメトリを取り扱うノードツールであって機械学習モデルを実行するものではないため、環境としてはなんならエッジデバイス以下ではあるのですが、そんな環境でもある程度高速に動作してくれるであろうことを期待してこのモデルを採用しました。

    実際、今回の私の実装では、リアルタイムとまでは言わないまでもノートパソコン(Apple M3 MacBookAir)で約450msで推論が完了することが確認できました。

    画像
    この計測では448msで推論+可視化が完了

    下準備(テクスチャの用意)

    今回PINTO氏が公開しているUHDのウェイト(最も小さいバリアントの「ultratinyod_res_anc8_w16_64x64_opencv_inter_nearest_static.onnx」)をそのまま利用させていただきました。

    GeometryNodesではテクスチャーの読み込みが行えますので、UHDのウェイトをまずテクスチャーに変換しました。

    画像
    変換はCodexとかClaudeに頼んだらやってくれます。ありがたいですね

    テクスチャーは全部で94枚で、32bit浮動小数点数で表現されたTIFF画像です。

    GeometryNodes上でTIFFの値を意図通りに読むためには色空間を「リニア Rec.709」にする必要があります。

    画像
    画像エディター上で変更可能

    ノードを並べる(全体像)

    まずは全体から眺めていきます。

    UHDのアーキテクチャーを構成するパーツ(レイヤー)として必要なのは以下の10種です。

    画像
    Input, Conv, ReLU, Sigmoid, MaxPool, Add, Multiply, Concat, Resize, Reduce Mean

    これらを適切に設定・配置すればモデルを動かせます。

    画像
    横並びに配置するとこうなる

    流石にこれだと画面に収まりきらなかったので、同じものをくねくね折ってもうちょっと読みやすく(?)したものがこちらです。

    画像
    ギリギリレイヤー名が読めるかも

    たくさん並んでいますが、大半が「Conv」と「ReLU」です。

    例としてモデルのはじめの部分を見てみると、ConvとReLUの繰り返しであることが確認できます。

    画像
    一番先頭。Inputレイヤーから始まり、ConvとReLUを交互に繰り返す

    一方、モデルの終わりの部分では途中で処理が4つに分岐し、それぞれがボックスの座標や大きさと品質などを計算したのち、可視化処理へと渡します。

    画像
    最終的にtx, ty, tw, th, obj, quality, classの7種の値それぞれ512個ずつが得られます。

    あまりアーキテクチャーの話に深入りしすぎるとUHDの解説になってしまうのでこの辺に留めます。

    ノードを並べる(レイヤーごと)

    この記事を開いた人がいちばん気になっているのはGeometryNodes上でどのように機械学習モデルを実装しているか、だと思うのでそれを説明します。

    まず、InputからConvに"Tensor"という名前の深緑色のソケット間をつないで情報を渡していることが確認できますが、このソケットが伝達するのはBlender 5.0で新たに導入された「バンドル」というタイプの値です。

    画像
    "Tensor"と名前のついた深緑色のソケットは、「バンドル」を受け渡す

    バンドルは、いろんなタイプの値をひっくるめて一つのソケットで受け渡しができるという便利なもので、逆に言うと「ひっくるめる」ことしかせず、それ以上でもそれ以下でもありません。(なので、面倒を承知であればバンドルを使わずにたくさん線を繋ぐことでも実現可能です。)

    今回のプロジェクトではバンドルは「Points」という名前のジオメトリと「Size」という名前の整数値をまとめたものをバンドル化して扱うという取り決めになっています。

    また、機械学習モデルでは大量の値を掛けたり足したりすることでタスクを解くわけですが、その大量の値に相当するものとしてはポイントジオメトリの各ポイントの半径を使う、という取り決めになっています。

    なお、SizeはTensorが扱う縦横の空間サイズです。

    例えば、以下はInputグループの中身ですが、まず64×64×3個、つまり12288個のポイントを生成し、その半径として入力画像テクスチャーから取得した色を設定しています。

    そしてSizeには64を格納します。

    画像
    「Input」グループ

    GetXYCという補助的なグループを使っていますが、これはインデックスをX座標、Y座標、チャンネルインデックスに変換するもので、このプロジェクト全体でよく使われているものです。

    ここでは、0から12287までのインデックスから各ポイントが担っているX座標、Y座標、チャンネルインデックスをそれぞれ算出してテクスチャーを読んでいます。

    画像
    「GetXYC」グループ

    次に、いちばん肝心なグループであるConvグループの中身を見てみます。

    画像
    「Conv」グループ

    丁寧に説明しても隅々まで丁寧に読んでくれる人は一握りだと思うので要点だけ書くと、Convは今回Pointwise(KernelSizeが1)なConvと、Depthwise(1層ごとに独立に畳み込む)なConvを、ひとつのグループ内で条件分岐させる形で実装しています。

    Pointwiseな場合はPointwise専用の処理、Depthwiseの場合はDepthwise専用の処理を走らせた方が速い(実験で確認済み)ので、Convグループ内にあるConvSubグループで実際にその分岐を行っています。

    画像
    「ConvSub」グループ

    どうやって畳み込み演算を実現しているかについてですが、全部解説すると記事の長さが倍になるでは済まないぐらい長くなってしまうので、雑にいうと「インデックスサンプル」「フィールド蓄積」「インデックスでの評価」「リピートゾーン」あたりを駆使して順当に(力技で、ともいう…)やっています。(実際GeometyNodesに慣れていないと説明しても意味不明だと思いますし、逆にGeometyNodesに慣れている人ならこの説明でおよそ伝わると思います)

    さらに興味がある人向けには、GitHubにBlender用のファイルを置いておいたのでこちらからダウンロードして実際に中身を見ながら実行してみていただければと思います。

    とはいえ、せっかくなのであともう一つぐらいレイヤーの中身を見てみましょう。以下はReLUグループの中身です。

    画像
    「ReLU」グループ

    非常にシンプルなのは別にSetValueに複雑さを押し込めている訳ではなくて、本質的に簡単な処理だからですね。

    実際、SetValueグループの中身も、単純にバンドルを開いて半径を設定してバンドルに戻しているだけです。

    画像
    「SetValue」グループ

    こんな感じで「Sigmoid」「MaxPool」「Add」「Multiply」「Concat」「Resize」「Reduce Mean」なども実装すればモデルは完成です。

    可視化する

    赤枠を囲っていたのは、これもBlenderの機能(カーブのメッシュ化など)を駆使して行っています。実際には、以下のような実装です。

    画像
    算出したパラメーターをもとに矩形のカーブを作り、必要なもの以外削除してからメッシュ化

    まとめ

    というわけで、GeometryNodes上で物体検出モデルを動かすことができました。

    正直GeometryNodes上で動いたからといって特に実用上嬉しいことがあるかというと、ありません。

    しかし、GeometryNodesで手を動かしながらレイヤー同士を組み立て(そしてレイヤー自体も組み立て)ていくことで、ブラックボックスのように思えるニューラルネットワークも実際には大量の掛け算や足し算などが組み合わさっているだけなのだというところが実感でき、教育的には一定の価値があるだろうと思っています。

    途中にも貼りましたが、今回紹介したGeometryNodesを含んだBlendファイルはGitHub上で公開しています。


    あなたへのおすすめ