メインコンテンツへスキップ
見出し画像

複数モデル垂直統合用オペレーションセット「Dynamic ROI Align」の設計

    1. はじめに

    Dynamic ROI Align という、おそらく誰も聞いたことが無いであろうネーミングの設計に関して、それがどういうものなのか、どういう意図をもって設計されたものなか、を今回は記事にしようと思います。

    Dynamic ROI Align は僕が勝手に名付けた設計です。まずは全体像を下図のとおり共有しておきます。

    画像
    Dynamic ROI Align ONNX の全体像

    全体像だと小さくて見にくいと思いますので、拡大しておきます。

    画像
    メタデータ
    画像
    Dynamic ROI Align の入出力定義

    この記事の読者の方々はある程度基礎知識を持っている方々だとは思いますが、機械学習モデルの文脈での ROI が何を意味するのかを ChatGPT に簡単にまとめてもらいましたので、下記の用語解説部分だけはAI執筆です。それ以外はオーガニックに手書きします。


    物体検出における ROI は、Region of Interest の略で、
    日本語では 「注目領域」 や 「関心領域」 という意味です。

    簡単に言うと、

    画像全体の中で、物体がありそうなので詳しく見る範囲

    です。

    たとえば、人を検出する場合、画像全体を細かく見るのではなく、

    画像全体
    ┌────────────────────┐
    │                    │
    │      ┌──────┐      │
    │      │ 人?  │<-ROI │
    │      └──────┘      │
    │                    │
    └────────────────────┘
    

    このように「ここに人がいそう」という四角い領域を ROI と呼びます。

    物体検出では ROI は主に次のような意味で使われます。

    1. 検出対象がありそうな候補領域
    Faster R-CNN などでは、まず物体がありそうな領域をたくさん作り、それぞれを ROI として扱います。

    2. 後段の分類・位置補正に使う領域
    ROI の中身を見て、「これは人か?車か?背景か?」を分類したり、バウンディングボックスの位置を微調整したりします。

    3. 処理対象を絞るための領域
    画像全体を処理すると重いので、「この範囲だけ見ればよい」という意味でも ROI が使われます。

    まとめると、

    ROI = 画像の中で、物体検出モデルが注目して詳しく調べる四角い領域

    と考えると分かりやすいです。


    つまり、古典的な物体検出モデルの Faster R-CNN で使用されていた ROI です。従来のモデルは物体検出のアーキテクチャそのものに ROI の設計が組み込まれていました。そのせいでアーキテクチャが極めて複雑になっていて、当時としては精度が高めでしたが速度はとても遅かったです。

    2016年の論文は下記です。

    • Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

    https://arxiv.org/pdf/1506.01497

    アーキテクチャが複雑過ぎて、ONNXに変換しようとすると Graph が壊れたり、正常に推論できなかったり、すでに使用できなくなってしまっているカスタムオペレーションが埋め込まれたりします。構造全体が If文の条件分岐 や出力テンソルの形状が不定になる NonZero オペレーションだらけになり、ハードウェアフレンドリーな構造にはなりません。

    どれほど良くない構造か、その深淵をお見せします。下図がその一部です。あまりにも冗長なオペレーションが多すぎて米粒のような表示になってしまってツラいです。(ほぼ見えない)

    画像
    Faster R-CNN を単純にONNX化した様子

    拡大します。めまいがする接続密度です。。。

    画像
    Faster R-CNN のごく一部を拡大

    Faster R-CNN の ROI は設計思想としては悪くないと僕は考えています。ただ、無理やりアーキテクチャに垂直統合してしまっていた過去の論文実装のままでは推論パフォーマンスもモデルの汎用性も著しく低くなっていたと感じています。

    そこで独自に設計した Dynamic ROI Align は ROI処理系アーキテクチャの複雑性の問題と ROI の低汎用性の問題を同時に解決する ために生み出しました。もしかすると、僕が考えるようなことは何年も前に誰かが提案済みの可能性は否定できませんが、設計の差はあまり単純ではないと思います。

    次章以降の有料セクションでどれほど従来設計との違いがあるかを説明していきます。

    2. Dynamic ROI Align 設計の狙い

     
     

    PINTO

     
     
    Hobby programmer. Intel Software Innovator Program member.