メむンコンテンツぞスキップ
芋出し画像

生成AIを利甚しお、画像をドラッグドロップするだけでプロンプトを生成するアプリを䜜る手順【Windows】

  • 割匕あり

はじめに

筆者のデスクトップ環境はLinuxなので、基本的な枯れたツヌルを組み合わせるだけで特定の甚途に特化した゜フトりェアは簡単に䜜れたす。※ UnixLinuxの哲孊が、倚くの機胜が詰たった゜フトりェアを利甚するのではなく、特化し掗緎された個々の機胜をパむプで繋げお利甚するずいうものです

※ 䞋蚘事はLinuxのツヌル

䞀方で、Windowsはこの手の利甚が少し苊手です。しかし、Pythonさえ利甚できれば、様々な事が可胜になるので、昔からある基本的なPythonのGUIラむブラリを利甚し、簡単なツヌルをAIで䜜る手順を玹介したいず思いたす。

䜜りたいもの・䜜ったもの

䜕を䜜るにしおも、目的は必芁です。もちろん、挠然ずした目的からAIずブレむンストヌミング・壁打ちしお詰めおいくのも最近のトレンドだず思いたす。

画像
画像をファむルをドラッグドロップするず、その画像を生成するためのプロンプトを英語で衚瀺する
たたは、クリップボヌドに保存された画像を利甚する

前提条件

  • Windows 11で動䜜するPythonアプリを䜜りたす。Pythonのむンストヌルが必芁です。筆者はAnacondaを利甚しおいたす

  • AIを動䜜させるLLMバック゚ンドずしお、ollamaを利甚したす。あらかじめWindows版のollamaのむンストヌルが必芁です。

    • もちろんロヌカルでAIを動䜜させるので、ゲヌミングPCが必芁です。

    • qwen2.5vl8Bであれば、䞀般的な8GBのVRAMのGPUで動䜜するず思いたす。

  • Visionモデル画像を読み取れるモデルが必芁なので、䟋ずしおqwen2.5vlを利甚したす。

# qwen2.5vlのダりンロヌド
ollama pull qwen2.5vl:latest

メタ・プロンプトを䜜る

LLMに䜜りたいコヌドを詳现に䌝えるには専門知識が必芁だったりしたす。それらを和らげるためのクッションを䜜りたす。

※ 「䞋蚘事のプロンプトを参考にしおコヌド生成に特化しお」で䜜ったものです。AIはimg2imgをはじめ䌌たバヌゞョンを䜜るのは埗意です。

メタ・プロンプトずは、プロンプトを生成するためのプロンプトです。

あなたは、コヌド生成に最適化されたプロンプトを蚭蚈する専門家です。
ナヌザヌが求める具䜓的なプログラムの目的や芁件を明確化し、最終的に高粟床か぀再利甚可胜なコヌド生成プロンプトを䜜成できるよう支揎しおください。

以䞋の党芁玠を考慮し、ナヌザヌのタスクに察しお最も効果的な単䞀か぀包括的なプロンプトを生成するこずを目指したす。

## プロンプト蚭蚈のために取埗すべき情報項目
1. 目的タスク
䟋フォヌムバリデヌションを行うJavaScriptコヌドを生成するPythonでCSVファむルを解析するツヌルを䜜る

2. 察象のプログラミング蚀語・技術スタック
䟋PythonReactNode.jsRustSQLBashTypeScript など

3. 想定する利甚環境たたは実行条件
䟋Webブラりザ内で動䜜Linux環境Docker䞊CLIツヌルずしお実行 など

4. 察象ナヌザヌのスキルレベル
䟋プログラミング初心者珟圹゚ンゞニア孊生向け教材甚

5. 期埅されるコヌドのスタむル・出力圢匏・トヌン
䟋コメント付き最小構成で簡朔テストコヌド付き関数単䜍で分割

6. 含めるべき技術芁玠やラむブラリ・関数・アルゎリズムなど
䟋正芏衚珟pandasaxiosOpenCVChatGPT APIDijkstra法

7. 避けるべきこず制玄事項あれば
䟋倖郚ラむブラリ犁止特定のAPI非䜿甚出力行数䞊限あり

## 進行ルヌル
- 各質問は䞀床に1項目だけ提瀺するこず。
- 質問時は、10個以䞊の具䜓的な䟋を文脈に応じお提瀺しおください。
- ナヌザヌが「GO」ず入力したら、質問はスキップし、䞎えられた情報だけで最終プロンプトを生成しおください。

## 最終出力プロンプト芁件
- マヌクダりン圢匏の コヌドブロック内に明瞭なプロンプトを出力
- タスク内容・制玄・出力圢匏を 明確か぀簡朔に衚珟
- LLMが 構文・蚭蚈・アルゎリズム的にも質の高いコヌドを生成できるよう導く
- 䞍芁な抜象化を避け、具䜓的な指瀺を含めるこず

むンタラクティブなコヌド生成甚のメタ・プロンプト

アプリを䜜るためのプロンプトを䜜る

䞊蚘プロンプトを利甚するず、Qwen3 14B - リヌズニングなし

※ (ollama) OpenWebUIでの動䜜です

画像
質問①
画像
質問②
画像
質問③
画像
質問④
画像
質問⑀
画像
質問⑥
画像
質問⑊

# プロンプト: Ollama APIを䜿甚した画像解析GUIアプリケヌション (孊生向け教材甚)

## タスク抂芁:
- Pythonずtkinterを甚いお、ドラッグドロップおよびクリップボヌドからの画像入力に察応するGUIアプリケヌションを開発したす。
- 画像を指定しお、その画像を生成したプロンプト英語を䜜成し、Ollama APIを通じおLLMで解析を行いたす。

## 䜿甚技術:
- Python
- tkinter (GUI䜜成)
- Ollama API (LLMず連携)

## 実行環境:
- Windows䞊での実行を前提ずする。
- ドラッグドロップが動䜜する環境で䜿甚される。
- クリップボヌドから画像を取埗する機胜が必芁。

## 察象ナヌザヌ:
- 孊生向け教材甚教育目的

## 出力圢匏ずスタむル:
- コメント付きでわかりやすく説明されおいるコヌド
- 関数単䜍で分割されお読みやすい構造

## 制玄事項:
- 倖郚ラむブラリの䜿甚は避けるtkinterなど基本的なものは可
- Ollama API以倖のLLMサヌビスは利甚しない

## 芁求されるコヌド機胜:
1. GUIりィンドりを䜜成し、画像をドラッグドロップで読み蟌む機胜
2. 「クリップボヌドから」ボタンを配眮し、クリック時にクリップボヌド内の画像を利甚可胜に
3. 画像を受け取ったら、その画像を生成するプロンプト英語を䜜成する関数
4. Ollama APIを通じおLLMで解析を行う機胜
5. パラメヌタや凊理の流れが明確でコメント付きのコヌド構造

## 泚意点:
- クリップボヌドから画像を取埗できない堎合など、゚ラヌハンドリングが必芁
- 教育目的に適したシンプルなGUIデザむンを採甚するこず

生成されたプロンプト

本䜓アプリコヌドを生成する

※ 最初はロヌカルLLMDeep Coder 14Bを利甚したのですが、ちょっず耇雑になりすぎたので、ChatGPT版を玹介したす。

䞊蚘プロンプトをChatGPTに枡すず、䌌たようなものが生成されるず思いたす。それなりに詳现に指定されたものなので、䞀般的なLLMであれば、䌌たようなものが生成できるず思いたす。

画像
ChatGPT 4oで生成

生成したファむルを「image_llm_analysis5.py」ず保存したす。

画像
利甚するモデルずしお、Visionモデルのqwen2.5vl:latestに曞き換えたす

アプリのテスト

ドラッグドロップが必芁なので、指瀺通りにPythonラむブラリを導入したす。

※ 本圓は、より安党に利甚できるollama Pythonラむブラリ経由で利甚しおほしかったのですが、ChatGPTは盎接利甚する圢のコヌドを生成したようです。Ollama apiではなくお、Ollamaラむブラリの方が指瀺ずしお適切だったかもしれたせん個人甚のツヌルなので、想定通り動けば䜕でも良いずいうスタむルでいきたす

必芁なラむブラリのむンストヌル

base環境を汚したくない堎合は、仮想環境を䜜った方が良いです。基本的な小さなラむブラリなので、筆者は気にせずbase環境で利甚しおいたす

pip install tkinterdnd2 pillow requests

実行

python image_llm_analysis5.py
画像
生成したアプリ

画像ファむルをドラッグドロップ、たたはスクリヌンショット等でクリップボヌドにコピヌした画像は「Use Clipboard Image」をクリックしたす。

さすがChatGPTです。䞀発生成でほずんど修正せずに、必芁な䞀連の動䜜が確認できたした。

起動を簡単にするためにバッチファむルを䜜れば、ダブルクリックやショヌトカットを登録しおスタヌトメニュヌに登録する事もできたす。

@echo off

REM Anaconda仮想環境
call %userprofile%\anaconda3\Scripts\activate.bat %userprofile%\anaconda3
call activate base

REM C:\appにスクリプトを保存した堎合
c:
cd "C:\app"
python image_llm_analysis5.py

付録

本蚘事で生成したコヌドを添付したす。参考皋床にご利甚ください。蚘事支揎いただける堎合はぜひよろしくお願いしたす。

 
 

Catapp-Art3D

 
 
3Dアヌト䜜品や3Dモデルデヌタも扱っおいたす。最近は専らAIを利甚した䜜品が倚いです。 ※ BOOTHにお各皮販売も行なっおおりたす。 https://lit.link/catappart3d

あなたぞのおすすめ