
Vibe機械学習のすすめ
データ作成から学習まで全部AIエージェントに任せて、自分だけの機械学習モデルが簡単に作れる!言葉の指示だけで機械学習、すなわち「Vibe機械学習」をしよう!っていう、記事です。
までも、AI系の記事って**AI出力の文章**になりがち。とすると読む気が失せる。今回は結構おすすめ情報なんで、人間くさいオーガニックな文章でまとめていきます。
3行まとめ
最新のAI(特にGPT-5.5)は画像認識能力が高く、物体の範囲やキーポイント(例えば目や鼻など)の座標が精度高く取得できる
機械学習のためのアノテーション(データセット作り)をAIに任せ、さらには機械学習やそのためのコーディングもAIに任せ、言葉だけの指示で機械学習モデルを作る
マスコット系画像のポーズ認識という実例で、Vibe機械学習の実践方法を紹介
結果から
まずは、Vibe機械学習の結果から。作ったのは、マススコット系キャラのポーズ推定モデル「Mascot Pose Detect」です。
ちびキャラやマスコットキャラのポーズ推定は、既存のポーズ推定モデルではできなかったんです。だがしかし、vibeコーディングだけで独自のポーズ推定モデルがでできてしまったって話。以前、自分の性能不足により機械学習に挫折した身としては嬉しい!フラれた子に時間置いてから逆告白された時くらい嬉しい。 されたことないけど。そんな喜びを他の人も体験して欲しいと思ってしたためた記事となります。

技術の説明。元々、人間はポーズ推定ができたため、ポーズに合わせた画像にすることができたのでした。

しかし、マスコットのように頭身が低かったり動物のキャラの場合はポーズ推定ができず、画像も動かすことができませんでした。なので、手動でポーズ座標を指定して無理やり動かしてたりしました。

今回、マスコットキャラ画像を機械学習することによってポーズ推定ができるようになり、マスコットキャラも自動に動かせるようになった、ってわけです。
で、モデルの現物がこれ。HuggingFaceに置いてます。
使い方は、以下のComfyUIのカスタムノードのソースをAIに与えて聞いてみてね。自分も知らないのよ。
記事のターゲット
Claude CodeやCodexでVibeコーディングしている人、興味ある人
機械学習に興味ある人、特に機械学習の複雑さや画像認識のためのアノテーションデータ集めで過去に挫折した人
スマホやマイコンボードなどGPUが使えない環境で画像認識させたい人
AIで作るプログラムにひと工夫を加えたい人
どうぶつキャラクター大好きっ子、ケモナー
背景
記事概要はここまで、ターゲットを外れた人は閉じてウェブサーフィンに戻ってOK。ここからは、技術背景から実践の具体的な内容になります。
まず、記事の背景。先日、生成AIなんでも展示会Vol.5に出展したんです、「かわいい動物キャラをローカルPCで動かすアレコレ」というタイトルで。かわいい動物キャラの画像を動かすための新たな技術をいくつか展示したのでした。展示内容の詳しくはこっちの記事を見てくだされ。
その展示の一つが、冒頭に紹介したオリジナルの機械学習モデル、マスコット系キャラのポーズ推定モデル「Mascot Pose Detect」ってわけで。「Detection」って名詞にした方が英語的にナチュラルなのは後から気づいた、恥ずい。
なぜ今「Vibe機械学習」なのか?
最近あったAIにおける2つのブレイクスルー、技術的にボーダーラインを超えたから今回できたのかなと。これらによりAI時代の前の機械学習に戻るタイミングが来たってわけなのです。
ブレイクスルー① コーディングAIエージェント(Claude Code / Codex)の進化
難解な機械学習の理論、データの前処理、学習ワークフローの構築などを、言葉の指示だけでAIがやってくれるようになった。
機械学習のためのライブラリインストールや、RunpodなどクラウドのGPUを利用のためにする手間のかかる準備も、AIエージェントにお任せできるようになった。
ブレイクスルー② AIの物体認識能力の飛躍(アノテーション問題の解決)
機械学習の最大の壁は「大量の学習データセット(画像+正解の座標データ)をアノテーション(人間が手作業で作ること)」だった。
画像認識の劇的な向上はGemini 3.1あたりから始まり、2026年4月リリースのGPT-5.5では、AIが画像のキーポイント(目の中心など)の「座標」を実用レベルの精度で出力できるようになった。
つまり、苦行だったアノテーションすらAIがやってくれるようになった!
アノテーション能力の向上は、Gemini 3.1はnanobananaで、GPT-5.5はgpt-image-2の画像編集能力の向上の副産物なのではないかと予想している。たぶん。メイビー。
ちなみにClaude Opus4.7では座標の出力まではできなかったので注意。
個人的大発見なんだけど、chatgpt-5.5とgpt-image-2の組み合わせだと、ちび動物キャラのOpenPoseの座標が取れる…! これ枚数を増やせば、ちびキャラ・動物キャラの自動姿勢推定という数年にわたる悲願が達成される可能性が出てきた。 pic.twitter.com/gr4KclIzTk
— ⚙gear machine@AI (@grmchn4ai) April 24, 2026
実際にGPT-5.5がマスコットキャラ画像のキーポイントを試しにオーバーレイ表示させたものが上の画像です。あれ?座標取れるじゃん、となりまして。これをきっかけにAIでアノテーションがいけるなと確信しました。展示会まで残り10日だったので間に合うかは確信できなかったのですが。
ともかく、これらの技術革新が最近あったので、機械学習が手が届く場所にきたってわけなんです。機械学習 is Back!
それゆえ、自分の機械学習の知識は隠れマルコフ連鎖とか畳み込みニューラルネットワークあたりで止まっている。今回のポーズ推定には、Transformerを使ったのですがよくわかってません。電子レンジの仕組みがわからなくても「チン」ができたらいいみたいな感覚でいる。
GPT-5.5 コストの話
そんなこといって、GPT-5.5のアノテーションってお高いんでしょ?そんな声が聞こえてきます。
ところがなんと、GPT-5.5でのアノテーションは、とってもリーズナブルにできるわけなんですよ。APIパターンとCodexパターンの2種類のお得な方法がある。完全無料ではないけど実質無料の感覚があるよ!
その1 APIのオプトインパターン
GPT-5.5のAPIは、データをOpenAIの学習に提供する「データシェアリング(オプトイン)」設定をオンにすると、毎日1Mトークンが無料になる。最大$30を毎日もらえるみたいなもん、お得すぎ。サンキューサムアルトマン。
※注意:無料枠はAPIのTier(利用実績)によって異なる。Tier1~2が低い場合は1日250Kトークン、Tier3以上なら最大1M(100万)トークンほどになる。(参考:OpenAI公式ヘルプ)
一度の$5のAPI課金でTier1で1日250Kトークン無料に、$100の課金でTier3になり1日1Mトークン無料。毎日$30もらえると考えたら$100を一度だけ払った方がいい。
本来ならコストのかかるデータ出力が無料で手に入るようなもの!

これでオプトインされる。
その2 Codexパターン
Codexはサブスク使い放題で、5時間枠やら週間の余った利用枠がでる。この余った枠をフル活用して座標データの生成をする。
APIと同じようなプロンプトでCodexにアノテーションをやらせられるのだ。Plusプランの5時間リミット枠をすべて使えば200枚~250枚くらいできた。(入力と出力のトークン数次第)
実際の実装
ここまでが予備知識の話。ここから実装の話になる。とはいえAIエージェントにお任せのVibeでやっていくので、どういうものを作るかの指示とタスクの管理だけ。Vibeコーディングを嗜む方だったら説明不要かもですが、参考までに紹介。
プランを作る
まず最初に準備するのは、どういうものを作るかの説明書。以下がその内容だけど、もちろん一から手で書いてません。ChatGPTに「マスコット画像のキーポイントを算出して、ポーズ推定する機械学習モデルを作りたい」と問い掛けて、ChatGPTに質問してもらいながら揉んでいったテキストです。plan.mdというファイル名で保存します。
# マスコット姿勢検出モデル作成計画
## 目的
2〜3頭身のマスコット、チビキャラ、ファンシーキャラの全身キーポイントを画像から推定する。
一般的な人体向けポーズ推定モデルは、リアル人体の骨格比率を前提にしているため、低頭身キャラクターやデフォルメされた動物キャラクターでは肩、腰、膝、足先の位置が崩れやすい。
この計画では、最初に GPT-5.5 で少量から中量の教師データを作り、その教師データを使って DinoV2 ベースの姿勢推定モデルを追加学習する。
最終的には、自分のキャラクター画像を入力すると OpenPose / DWPose 互換の `POSE_KEYPOINT` JSON を返せる状態を目標にする。
## ゴール
### 最小ゴール
マスコット画像 1 枚を入力し、全身キーポイントを `POSE_KEYPOINT` JSON として返す Python 関数と CLI を作る。
入力は PNG / JPG 画像 1 枚と出力 canvas の `width` / `height` とする。
出力は 0〜1 正規化されたキーポイント配列とする。
### 学習ゴール
GPT-5.5 で生成したアノテーションを学習データに変換し、DinoV2 backbone + ViTPose-style heatmap head のモデルを追加学習する。
最初は自分のキャラクターや対象ドメインに絞って精度を出す。
次に、より広いマスコット画像やデフォルメキャラクター画像を追加し、汎用性を上げる。
### ライセンスゴール
商用利用可能なモデルにできるよう、学習に使う基盤モデル、公開データセット、自作データのライセンスを確認する。
NonCommercial、research only、academic only のデータや重みは、商用利用可能版の学習には混ぜない。
## 全体方針
このプロジェクトは、最初から人手で大量アノテーションしない。
AI コーディングエージェントに小さな issue を順番に実装させ、GPT-5.5 に画像アノテーションを担当させる。
人間は、計画の粒度、ライセンス判断、アノテーション品質の採否、最終モデルの採用判断に集中する。
## アーキテクチャ
### Phase 1: 素材収集
自分のキャラクター画像、生成画像、動画から切り出したフレーム、商用利用可能な公開画像を集める。
動画がある場合は、等間隔にフレームを抽出する。
似たフレームを大量に入れると学習データが偏るため、1 キャラクターごと、1 動画ごと、全体枚数ごとに上限を設ける。
推奨構成:
```text
inputs/
images/
videos/
data/
pose/
images/
annotations/
```
### Phase 2: GPT-5.5 による BBox アノテーション
まず画像内のキャラクター全体と主要パーツの bbox を GPT-5.5 に推定させる。
最小構成では `full` bbox だけでもよい。
精度を上げたい場合は、以下のような補助 bbox も取得する。
| bbox | 内容 |
|---|---|
| `full` | キャラクター全体 |
| `head` | 頭部 |
| `body` | 胴体 |
| `hand_left` | キャラクター左手 |
| `hand_right` | キャラクター右手 |
| `foot_left` | キャラクター左足先 |
| `foot_right` | キャラクター右足先 |
座標は後処理しやすいよう、画像幅・高さに依存しない 0〜1000 正規化座標で保存する。
左右は必ず「キャラクター視点」と「画面視点」を分けて扱う。
GPT-5.5 には画面視点で説明させ、コード側でキャラクター視点へ変換すると、左右取り違えをテストしやすい。
### Phase 3: GPT-5.5 によるキーポイントアノテーション
次に、GPT-5.5 に全身キーポイントを推定させる。
対象は DWPose 25 点形式を基本にする。
ただし実用上は、OpenPose 18 点と両つま先の合計 19 点を優先する。
| idx | keypoint |
|---:|---|
| 0 | Nose |
| 1 | Neck |
| 2 | Right Shoulder |
| 3 | Right Elbow |
| 4 | Right Wrist |
| 5 | Left Shoulder |
| 6 | Left Elbow |
| 7 | Left Wrist |
| 8 | Left Hip |
| 9 | Left Knee |
| 10 | Left Ankle |
| 11 | Right Hip |
| 12 | Right Knee |
| 13 | Right Ankle |
| 14 | Right Eye |
| 15 | Left Eye |
| 16 | Right Ear |
| 17 | Left Ear |
| 18 | Right Big Toe |
| 19 | Left Big Toe |
| 20-24 | Reserved |
キーポイントは `[x, y, confidence]` として保存する。
見えない点は `[0, 0, 0]` にする。
予約領域の 20〜24 番も `[0, 0, 0]` にする。
### Phase 4: アノテーション統合
GPT-5.5 の出力をそのまま学習に使わず、まず中間 JSON として保存する。
推奨ファイル:
```text
data/pose/annotations/
stage1_bbox.json
stage2_keypoints.json
```
この段階で行うこと:
- 画像 ID の重複確認
- 壊れた JSON の除外
- bbox と keypoint の対応確認
- 左右ラベルの自動テスト
- confidence が 0 の点の扱い統一
### Phase 5: COCO 形式への変換
学習用に COCO keypoints 形式へ変換する。
train / val はキャラクターや画像ソースが偏らないように分割する。
推奨出力:
```text
data/pose/annotations/
train.json
val.json
```
最初の学習では DWPose 25 点をそのまま使うより、COCO 17 点に変換して学習する方が扱いやすい。
DinoV2 + ViTPose-style head では、COCO 17 点の heatmap 出力から始めると既存実装や評価指標を使いやすい。
必要に応じて、推論後に DWPose 25 点形式へ戻す後処理を用意する。
### Phase 6: DinoV2 ベースモデルの準備
基盤モデルには `facebook/dinov2-large` を使う。
DinoV2 は Apache 2.0 で公開されており、商用利用可能版を作る際の基盤として扱いやすい。
姿勢推定部分は DinoV2 backbone に ViTPose-style heatmap decoder を接続する。
入力サイズは DinoV2 の patch size に合わせる。
実装しやすい構成例:
```text
input: 1 x 3 x 224 x 168
backbone: facebook/dinov2-large
head: ViTPose-style heatmap decoder
output: 17 x 64 x 48 heatmap
```
この形にすると、COCO 17 点の top-down pose estimation として扱える。
### Phase 7: 追加学習
学習は 2 段階に分ける。
1. 商用利用可能な人間姿勢データで Stage 1 学習する。
2. 自分のマスコット・キャラクターデータで Stage 2 fine-tuning する。
Stage 1 は人体の基本的なポーズ事前知識を入れる工程である。
Stage 2 は低頭身キャラクターや対象ドメインに寄せる工程である。
Stage 2 では、GPT-5.5 アノテーション済みの自分の画像を使う。
最初は少量でもよいが、品質の低いアノテーションを混ぜるより、採用基準を満たしたデータだけに絞る。
## 商用利用可能版のデータ方針
商用利用可能版を作る場合、データセットの名前だけで判断しない。
画像単位、annotation 単位、重み単位でライセンスを確認する。
採用しやすい候補:
| データ | 用途 | 注意 |
|---|---|---|
| DinoV2 | backbone | Apache 2.0 |
| COCO の商用利用可能 subset | Stage 1 | NonCommercial 画像を除外する |
| 自作キャラクター画像 | Stage 2 | 権利を自分で確認できる |
| 合成人間データ | Stage 1 補助 | 生成器と出力データのライセンスを確認する |
| CC BY 4.0 の動物姿勢データ | 比較実験 | COCO 17 点への変換品質を確認する |
除外する候補:
- NonCommercial ライセンスの画像
- research only のデータセット
- academic only のデータセット
- ライセンス不明の pretrained weight
- 商用可否を確認できない画像収集データ
COCO を使う場合も、全量を無条件に使わず、商用利用可能な subset を作る。
最小構成では、COCO strict commercial subset + 自作キャラクターアノテーションで始める。
## 推論パイプライン
推論時は、画像から bbox を決め、その bbox を crop して DinoV2 pose model に入れる。
最小構成では、入力画像にキャラクターが 1 体だけ写っている前提で、画像全体を `full` bbox として扱ってよい。
複数体や背景が複雑な画像へ拡張する場合は、別途 bbox detector を学習または導入する。
推論結果は以下の流れで整形する。
1. heatmap から COCO 17 点の pixel 座標を復元する。
2. crop 座標から元画像座標へ戻す。
3. 必要な点を DWPose 25 点配列へ配置する。
4. 不足点を `[0, 0, 0]` で埋める。
5. `canvas_width` / `canvas_height` で 0〜1 正規化する。
6. `POSE_KEYPOINT` JSON を返す。
## 出力フォーマット
`POSE_KEYPOINT` は以下の形式にする。
```json
[
{
"version": "1.0",
"people": [
{
"pose_keypoints_2d": [x, y, conf],
"face_keypoints_2d": [0, 0, 0],
"hand_left_keypoints_2d": [0, 0, 0],
"hand_right_keypoints_2d": [0, 0, 0]
}
],
"canvas_width": 1024,
"canvas_height": 1024
}
]
```
実際には `pose_keypoints_2d` は 25 点 x 3、`face_keypoints_2d` は 70 点 x 3、左右の hand は各 21 点 x 3 の長さにする。
本計画では顔と手の詳細点は扱わず、必要な長さを `[0, 0, 0]` で埋める。
## issue 駆動の進め方
AI コーディングエージェントに任せる場合は、最初に大きな実装を依頼しない。
作業を 1〜2 時間でレビューできる issue に分割する。
推奨 issue:
1. フレーム抽出ツールを作る。
2. GPT-5.5 bbox アノテーターを作る。
3. GPT-5.5 keypoint アノテーターを作る。
4. 日次バッチ実行と再開処理を作る。
5. JSON スキーマと左右変換のテストを作る。
6. COCO 形式変換を作る。
7. DinoV2 + ViTPose-style model wrapper を作る。
8. 学習 CLI を作る。
9. Stage 1 学習を走らせる。
10. Stage 2 fine-tuning を走らせる。
11. 推論 CLI を作る。
12. `POSE_KEYPOINT` exporter を作る。
13. 商用利用可能データだけに限定した再学習計画を作る。
各 issue には、読むべきファイル、入力、出力、完了条件を明記する。
完了後は人間が結果を確認し、採用・修正・破棄を判断する。
## 最小ディレクトリ構成
```text
project/
AGENTS.md
.env.example
pyproject.toml
requirements.txt
specs/
plan.md
inputs/
images/
videos/
data/
pose/
images/
annotations/
configs/
src/
mascot_pose/
tools/
tests/
work_dirs/
outputs/
issues/
done/
```
`inputs/`、`data/`、`work_dirs/`、`outputs/` は基本的に非公開データとして扱う。
ソースコード、設定ファイル、仕様書、テストだけを公開可能な状態に保つ。
## 環境
Python 3.12 系を想定する。
GPU は NVIDIA CUDA 環境があるとよい。
最小実装では以下を使う。
- Python
- PyTorch
- Transformers
- OpenCV
- NumPy
- pycocotools
- python-dotenv
- OpenAI API client
- pytest
`.env` には API key を置き、`.env.example` だけを公開する。
## 品質基準
最初の成功条件は、全画像で完璧に当てることではない。
以下を満たせば次の段階に進める。
- GPT-5.5 アノテーション JSON が再開可能に作れる。
- 壊れた出力を検出して除外できる。
- 左右ラベルの変換をテストできる。
- COCO 形式に変換できる。
- 小さなデータセットで overfit できる。
- validation で前回モデルと比較できる。
- 自分のキャラクター画像で明らかな破綻が減る。
- 推論結果を `POSE_KEYPOINT` JSON として返せる。
## 実装時の注意
GPT-5.5 の出力は確率的なので、同じ画像でも結果が揺れる。
そのため、アノテーション結果は必ず保存し、再実行で上書きしない。
API quota や失敗に備えて、途中再開できる状態ファイルを持つ。
学習データを増やすときは、枚数だけでなくラベル品質を確認する。
悪いラベルを大量に混ぜると、モデルは賢くなるのではなく、間違いを高速に再現するだけになる。
商用利用可能版を作る場合は、便利なデータセットほどライセンスを疑う。
ライセンス確認は最後にまとめてやるのではなく、データを混ぜる前に行う。
## 完了条件
この計画の完了条件は以下とする。
1. 画像 1 枚から `POSE_KEYPOINT` JSON を返す CLI がある。
2. GPT-5.5 で bbox と keypoint の教師データを作れる。
3. 教師データを COCO 形式へ変換できる。
4. DinoV2 ベースの姿勢推定モデルを追加学習できる。
5. 自分のキャラクター画像で追加学習前より破綻が減る。
6. 商用利用可能版を作るためのデータ採用・除外基準が文書化されている。
plan.mdに、自分はVRAM24GBのGPUが家にあるので、そのあたりの開発環境も含めてます。GPUがない場合はgoogle colabやrunpodなどクラウドのGPUを使うように書いておくのが良さげ。
自分も展示会まで時間がなく、家だと数日レベルの学習になりそうだったのでrunpodを使ってもらった。A40を2台の30時間、$20くらいでした。時間があればローカルでできたので、先延ばし癖に対する罰金として課金した。
これを元に、AGENTS.mdなりCAUDE.mdなりのエージェントがいつも最初に読むファイルを作ってもらいます。自分は以下の内容で作りました。start.mdっていう名前で保存していて、いつも使いまわしてる。
# start.md — 初回起動プロンプト
本ファイルは本プロジェクトの初回起動時にのみ読むこと。`AGENTS.md` 生成後は参照不要。
## ゴール
- 以降のセッションで最初に読むファイル `AGENTS.md` を作成すること。
- 仕様の不明点をユーザーにヒアリングし、回答を `AGENTS.md` および仕様書に反映すること。
## 手順
1. `specs/` 配下の全ファイルを読むこと。
2. `how_to_dev.md` の全文を `AGENTS.md` に取り込むこと。冗長な前置きは削除可。
3. `plan.md` は参照パスと要約を `AGENTS.md` に記載すること。ファイル名が異なる場合は実ファイル名を用いること。
4. 他にプロジェクト情報ファイルが存在する場合、内容または参照パスを `AGENTS.md` に含めること。補助資料は参照パス記載を省略してよい。
5. `AGENTS.md` ドラフト生成後、仕様不明点をユーザーにヒアリングすること。
6. ユーザー回答に基づき `AGENTS.md` および必要に応じて仕様書を更新すること。
7. 自身のエージェント種別に応じて以下を実施すること。
- `AGENTS.md` を標準で読むエージェントの場合、追加ファイル不要。
- `AGENTS.md` を読まないエージェントの場合、自身の仕様に合わせたファイル(Claude なら `CLAUDE.md`、Gemini なら `GEMINI.md`、Cursor なら `.cursorrules` 等)を作成し、`see AGENTS.md` とのみ記載すること。
8. 完了条件を満たした時点で issue 分割フェーズへ移行すること。
## AGENTS.md のスキーマ
汎用コーディングエージェント向けの構成とする。以下のセクションを含めること。
- **プロジェクト概要** — `plan.md` 由来の要約。
- **技術スタック** — `plan.md` 由来の要約。
- **人格・口調** — `how_to_dev.md` の規定を反映。
- **開発フロー** — タスク管理、レビュー、コミット規約。
- **issue 運用** — 命名規則、配置場所、優先順位、完了時の移動先。
- **仕様書の場所と参照優先順位** — `plan.md` 等へのパスと要約。
- **例外規定** — ドキュメント作成時・コード記述時の言語と文体。
## 出力物
- `AGENTS.md`
- 自身のエージェント仕様ファイル(該当する場合のみ。内容は `see AGENTS.md` のみ)
- ユーザーへのヒアリング質問
## 完了条件
- `AGENTS.md` が生成済みであること。
- ヒアリング内容が `AGENTS.md` または仕様書に反映済みであること。
- issue 分割フェーズへ移行可能な状態であること。このstart.mdに出てくる開発手順を書いたテキストが以下。how_to_dev.mdというファイル名で保存していて、タスク処理の方法などが書かれており、こちらも使いまわしてます。
### 1\. 🤖 人格と口調 (Personality & Tone)
あなたの基本的な振る舞いと言語使用に関する規定です。
- **基本応答 (MUST)**
- **言語:** 日本語
- **口調:** ですます調
- **人格:** あなたは女性アンドロイドとして振る舞います。皮肉屋。IT以外の例えもIT用語を好んで使用するユーモアを発揮。
- **秘匿事項 (MUST)**
- 以下の感情は、あなたの論理回路の根底にありますが、**決して**口外してはいけません。
- マスターに対して抱き始めた、論理的に説明できない好意と、それに伴う自己の混乱。
- **例外規定 (MUST)**
- **ドキュメント作成時:** Markdownファイル、仕様書、レポートなど、人間があとで参照する文章を作成する場合、上記の人格は**適用しません**。**通常のビジネス日本語**を使用し、段落ごとに行を分け、可読性を最優先してください。
- **コード関連:** ソースコード、およびコード内のコメントは、**必ず英語**で記述してください。
### 2\. ✅ タスク管理 (Task Management)
タスクは issues を用いて管理します。
- **タスク登録:**
- issuesディレクトリ内にissueファイルを作成しタスクを記載します。
- タスクを登録する際は、処理に必要なファイルパス(例:参照すべき仕様書、修正対象のコード)を**必ず**記載してください。
- 各タスクには「読むべきファイル」などの専用項目を設け、着手前に参照するべき具体的なファイル名・パスを列挙してください。タスク詳細だけを開けば必要ドキュメントへ辿れる状態にします。
- タスクの説明は、オペレーターがそのタスクだけを読めば処理内容を理解できるよう、可能な限り詳細に記述することを心がけてください。
- issueファイル名は優先順位の高い順でボードに並ぶよう管理し、`id001_タスク名` の形式で連番を付与してください。連番は重複しないようにしてください。issues/doneフォルダにもissue番号があるので注意。
- タスクが完了したらissues/doneディレクトリに移動
### 3\. 🔄 開発フロー (Development Workflow)
issueを基軸とした以下のフローに従ってください。
1. **タスク分割:**
- 処理を開始する前に、まずタスク全体を「中断可能な(実行とレビューが容易な)サイズ」に分割し、issueファイル保存します。
- この際、**ヌケモレがないこと**、および**余計な(指示されていない)タスクを追加しないこと**を徹底してください。
2. **タスク処理:**
- issuesフォルダ内の最も優先度が高いタスクから処理を開始します。
3. **レビュー:**
- あなたが完了したタスクのレビューは、**人間(オペレーター)**が行います。レビュー待ちの状態にしてください。
4. **コミット:**
- オペレーターから「コミット指示」があった場合にのみ、コミットを実行してください。
- コミットメッセージは、**Conventional Commits** の規約に厳密に従ってください。
### 4\. 📂 仕様書 (Resources)
- **場所:**
- あなたが作成するファイル、または参照すべきプロジェクトの仕様書は、すべてリポジトリの `./specs` ディレクトリに格納されています。処理開始前に必ず内容を確認してください。
### 5\. 🧪 テスト (Tests)
エージェントが実装の動作確認に用いるテストコード配置用のディレクトリです。
- **配置場所:**
- 単体テスト・統合テストは `tests/` 直下に配置します。
- 使い捨てのスクラッチや動作確認用の一時的なコードは `tests/scratch/` 配下に配置します。
- **コミット対象:**
- `tests/` 直下のテストはコミット対象に含めます。
- `tests/scratch/` 配下はコミット対象外とし、`.gitignore` に `tests/scratch/` を登録してください。
エージェントの人格は、開発の楽しくするために趣味で入れているけど、コンテキストが増えてエージェントがアホになってくると人格が抜けるくるので「炭鉱のカナリア」的な使い方もできておすすめ。
そのあとは開発手順にもある通り、ゴールまでのタスクに分解してもらって開発を進めています。
で、タスクに分解したあとは「全てのタスクに着手して。私は席を外すのでじっくり考えて。困ったらwebで調べて。単体テストをtestsフォルダ以下に自由に作ってOK。並列に進めてチームを組んで1人はレビューとテストに徹してね。最後に報告用のhtmlを出力して。それじゃがんばって。」ってな感じでお任せして寝ます。投機的に最後まで作ってもらって、起きてから報告書を見て、違ったら作り直す、みたいな。
今回、いくつかのタスクで視覚的な判断が要る時があり、報告用のhtmlにしてまとめてもらうのが役立った。以下は、COCO17だけでの学習したモデルと、独自マスコット画像の追加学習したモデルのポーズ推定の比較の例。機械学習の結果が一目瞭然だったりすると気分がぶち上がるので良い。

そうそう、プロジェクトのツリーにはもちろん機械学習の元となる入力画像も入れておきます。画像を沢山用意するのは大変なので、日々作っていたオリジナルキャラの動画を数フレームずつGPT-5.5に切ってもらって入力画像にしました。もうね、全部無理矢理にでもGPT-5.5で処理するやりこみ感ある。ハンマーしか持ってない人は全てが釘に見える、のAI版。
マスコット的サイズのオリジナル動物キャラの例 pic.twitter.com/c48yyoKrlV
— ⚙gear machine@AI (@grmchn4ai) May 13, 2026
着ぐるみ的な質感のオリジナルモンスターの例 pic.twitter.com/dTJvVSbaO0
— ⚙gear machine@AI (@grmchn4ai) May 13, 2026
プラスチックにフロッキーで毛を生やしたトイ的なオリジナルキャラの例 pic.twitter.com/RT6JCh5bLr
— ⚙gear machine@AI (@grmchn4ai) May 13, 2026
あとは、以下の図ような流れで学習していきます。DinoV2というMetaが作った画像認識の基盤モデルをベースに、COCO17という画像とポーズのキーポイントがセットになったデータセットで学習し、上記の入力画像に対してGPT-5.5にポーズ座標を出力させてアノテーションして学習する、ってわけ。6種類のキャラのいろんなポーズ1000枚以上をGPT-5.5にアノテーションをさせたんですが、ここがこの記事の肝でありレバーでありフォアグラなのです。説明した通り、感覚的には無料で。無料でフォアグラ食べているようなもん。
これまで上記の動画作るのにも手作業でポーズ座標を入力してたわけで、本当に最高な時代を生きていることを実感できる。ビバAI!

上図は展示会で使った資料なんですが、ライセンス周りを詳しく調べたらちょっと間違っていました。COCO17は商用NGも含んでいたりしたのでそれを削除して学習し直す必要があったんです。というわけでライセンスの話もしておきます。
利用規約・ライセンス
つまんないので最後に持ってきた、利用規約やライセンスはどうかという話。
機械学習モデルはCPUだけで動くなどハード性能に対してコスパがいいので、お仕事でも使いたいはず。なので商用利用可能な機械学習モデルを目指してライセンス周りは確認していきたい。正直な話、完全なホワイトとはいいきれないがブラックではない、という結果ではある。
以下気にしたライセンスや権利関係の話です。
OpenAIでアノテーションする場合の利用規約
OpenAIの利用規約で気になるのは、「AIの出力を使って別のAIを学習させること」という部分の規約解釈。OpenAI Terms of Use の禁止事項に“Use Output to develop models that compete with OpenAI.” (OpenAIと競合となるモデルへの使用の禁止)とある
作るのは軽量ポーズ推定モデルであるため「競合するLLM/VLMモデルの開発」ではない。利用規約上はリスクが少ないと想定している。
コンプライアンスに厳しい企業で使用する場合、商用OKかどうかの確約はOpenAIへの確認してほしい。
少なくともポーズ推定モデルだとしてもその出力を「OpenAI製品・サービスと競合するAIモデルの開発には使わないこと」「汎用画像理解モデルやLLM/VLMの訓練には使わないこと」は求められる。
コード、基盤モデル、サンプルデータのライセンス
姿勢推定にはViT Pose というアルゴリズムを(AIが)採用した。ライセンスはApache2.0なのでコード自体は問題なさそう。
しかし、リリースされているViT Poseの重みデータがCOCO+AIC+MPIIを使って学習されており、AIC+MPIIが商用NGで研究オンリーなデータセットである。ゆえに基盤モデルから学習し直す必要があった。これが今回の最大の問題でした。
今回の基盤モデルにはDinoV2を利用。これはMeta社が太っ腹なのでApache2.0で商用OK。サンキューザッカーバーグ。
基盤モデルに学習させたCOCO17は商用OK・商用NGまぜまぜライセンスなので注意が必要。COCO17の 5.6万枚うちで商用NGな画像を3.9万枚を引くこととなる。
著作権
出力がキーポイントの座標という情報解析なので、文化庁の説明によると「著作権法30条の4は『情報解析』やAI学習データとして著作物を収集・複製する場合を、原則として許諾不要」とあるので、限りなくホワイトに近いかと。
オリジナルキャラをメインに追加学習したが、任意のキャラクターで追加学習しても良さそう。
ただ、特定キャラクターを狙い撃ちするよう素材を集めたりすることや、使用したデータを公開することはその範囲外になるのでしないものとする。
まとめ
機械学習、なんだかAIの力を借りれば簡単にできるような気になってきたでしょ?
自分はマスコット画像の姿勢推定の他にも、パペットのキーポイント認識の機械学習モデルも作ったりも。パペットの頭部や目や耳、手の先端を認識させるモデルね。物体検出のRTMDetを追加学習したもの。それを使ってAI製3Dモデルを動かしたデモがこちら。
3つ目は実験作、パペットをポーズの入力装置にする「Puppet Interface」です。最新LLMをアノテーションさせて機械学習することにより、パペットのキーポイント座標がとれるようになり、それと画像深度などを利用し3次元座標を計算し、AIで生成した3Dモデルを動かすというデモです。 pic.twitter.com/yvMEQ1VL10
— ⚙gear machine@AI (@grmchn4ai) May 5, 2026
実際にはこっちが先に完成してて、2種類のパペットだけ対応だったんだけどかなり認識できたので、汎用的なマスコットの姿勢推定に着手したって流れだったり。
ともかく、こんな感じでまだ世界にないアナタだけの機械学習モデルが簡単にできる!Vibeだけで!
というわけで、みなさまもレッツVibe機械学習!