LLM/生成AIで麻雀ゲームを攻略できるのか？やってみた[理牌認識編] （GPT-4o/Gemini 2.0/Llama 3.2V 11B）

麻雀を覚えるためにレトロな脱衣麻雀ゲームをゲームセンターでやったり、サターンでやったりしているうちに、CPUがあまりにも強いので「これって生成AI/LLMに麻雀の戦術考えてもらったら楽に脱がせられるんじゃね？」
と思い、生成AI/LLMに麻雀の理牌を認識させて解かせようと試みた記録です。

生成/LLMで麻雀を解かせるフロー

まず麻雀ゲームの画面をスクショします、スクショする方法はアプリゲームの場合はスクリーンショット、サターンのゲームやアーケードゲームの場合はカメラで写真をとります、今回はより精度が悪くチャレンジのしがいがある後者でやってみました。
写真をとったあと、画像認識ができるLLMに読み込ませ、配牌/理牌（麻雀の牌の並び）を認識させて、戦術を考えてもらいます。

この戦術が使えるのはレガシー麻雀ゲームのみ

ただしこの戦術が使えるのはプレイヤーの持ち時間制度がないレガシー麻雀ゲームのみです。
最近の麻雀ゲーム（雀魂や麻雀ファイトガールなど）は対人戦はもとよりCPU戦でも持ち時間が20秒などと決められているので、画像をスクショして、戦術をAIに考えてもらって、それをみて牌の打ち方を決めるのを20秒内にやるのは今だとかなり頑張らないと難しいと思います。

検証に使う素材とLLMモデルなど

検証に使うのは麻雀ゲームの画面をカメラでとったもの

使用するモデル

• Llama 3.2V 11B  (Ollama) ※軽量モデルなのは帰省でマシンが用意できなかっため

• Gemini2.0 Flash

• OpenAI 4o

Llama -> Gemini -> OpenAI の優先度で試しました。
本当は無料のローカルLLM Llamaでやりたかったのですが、難しかったので無料のGemini2.0でやっても難しく、最後の頼みの綱のOpenAIにチャレンジしたという流れになります。

麻雀 理牌を理解させる

ではまず先程の画像のプレイヤー側の理牌を認識させましょう

LLMへの精度をあげるために自分の牌のみを画像で切ってLLMに渡します

Llama3.2 Vision 11B

結論ー＞だめ😭
Ollamaで呼び出します（MacBookAir M1 メモリ16GB）

ollama run llama3.2-vision:11b
>>> この画像は日本のリーチ麻雀ゲームのスクショ画像です。画像の下にうつっている自分の麻雀牌の名称を左から右の順にあげてくだ
... さい。majan2cut.jpeg

・・・軽量モデルということもありますがまったくなにもあっていません。
これだと使い物にならないでしょう。高性能モデルLlama 3.2 Vision (90B)だともう少しはマシなのかもしれません。
ただし90Bで動いたとしても必要マシンスペックと速度を考えたら動いたところで実用的か？という点には疑問がのこります。

Gemini2.0 Flash

結論ー＞だめ😭

Gemini2.0を呼び出すコードをPythonで作ります
プロンプトはこんな感じ

#https://ai.google.dev/gemini-api/docs/vision?hl=ja&lang=python

import sys
import base64
import google.generativeai as genai

# コマンドライン引数から画像パスを取得
image_path = sys.argv[1]

# 画像ファイルをバイナリモードで読み込む
with open(image_path, "rb") as image_file:
    image_data = image_file.read()

# Base64エンコード
encoded_image = base64.b64encode(image_data).decode('utf-8')

# モデルの初期化
model = genai.GenerativeModel(model_name="gemini-2.0-flash-exp")

# プロンプトと画像データを使って生成
prompt = "この画像は日本のリーチ麻雀ゲームのスクショ画像です。画像の下にうつっている自分の麻雀牌の名称を左から右の順にあげてください。"
response = model.generate_content([{'mime_type': 'image/jpeg', 'data': encoded_image}, prompt])

# レスポンスを出力
print(response.text)

python3 sample5.py majan2cut.jpeg

6. 八萬（パーマン）までの漢字はある程度読めてますがそれ以降が壊滅的です
精度30％というところでしょうか。漢字は読めてますがそれ以外が絶望的です

ChatGPT GPT-4o 

結論ー＞だめ😭

では頼みの綱、最終兵器ChatGPT4ではどうでしょう。

八萬（パーマン）の後からは間違っています、やはり漢字は読み取れるが図が難しいということでしょうか。四筒などは読み取れてますが位置がずれてますし精度50％というところです。

理牌認識まとめ

• Llama3.2V 11B  ：精度0％

• Gemini2.0 : 精度30%

• ChatGPT GPT-4o : 精度40％

という散々な結果でした。。これではどうしようもありません。
なんとか対策を考えました、「そうだ！１つの牌なら認識できるのでは？」と

麻雀牌 一つのみを認識させる

この時点で「生成AI/LLMに麻雀牌を認識させるのは難しいのでは？」と思い　”OCR 麻雀”などで検索してみました。
するとやはり、まず麻雀牌のエッジを検出して一つずつの麻雀牌を認識させることが必要という知見をえました。

使う素材

Lama3.2 Vision 11B

結論ー＞だめ😭

Pythonコードを書きます

import ollama
import sys
import json
from datetime import datetime, timedelta, timezone

inputImageFile = sys.argv[1]

# 画像を解析してレスポンスを取得
response = ollama.chat(
    model='llama3.2-vision:11b',
    messages=[{
        'role': 'user',
        'content': '''
        この画像の麻雀のコマに書いてある文字や模様を読み取り、文字に起こしてください。
        ''',
        'images': [inputImageFile]
    }]
)

# 日本時間変換とフォーマット
def convert_to_japan_time(utc_time_str):
    # 余分な小数点以下をトリム
    if "." in utc_time_str:
        utc_time_str = utc_time_str.split(".")[0] + "Z"
    # UTC形式をdatetimeオブジェクトに変換し、タイムゾーンを明示
    utc_time = datetime.strptime(utc_time_str, "%Y-%m-%dT%H:%M:%SZ").replace(tzinfo=timezone.utc)
    # 日本時間（UTC+9）に変換
    japan_time = utc_time.astimezone(timezone(timedelta(hours=9)))
    # 日本時間をフォーマット
    return japan_time.strftime("%Y-%m-%d %H:%M:%S")

# レスポンスをきれいに表示
print("Response Details:")
try:
    # 時間の変換
    created_at_japan = convert_to_japan_time(response['created_at'])

    # 秒に変換して表示
    total_duration_sec = response['total_duration'] / 1_000_000_000
    load_duration_sec = response['load_duration'] / 1_000_000_000
    prompt_eval_duration_sec = response['prompt_eval_duration'] / 1_000_000_000
    eval_duration_sec = response['eval_duration'] / 1_000_000_000

    print(f"  Model: {response['model']}")
    print(f"  Created At (JST): {created_at_japan}")
    print(f"  Total Duration: {total_duration_sec:.2f}s")
    print(f"  Load Duration: {load_duration_sec:.2f}s")
    print(f"  Prompt Eval Count: {response['prompt_eval_count']}")
    print(f"  Prompt Eval Duration: {prompt_eval_duration_sec:.2f}s")
    print(f"  Eval Count: {response['eval_count']}")
    print(f"  Eval Duration: {eval_duration_sec:.2f}s")

    content = response['message']['content']
    print(content)

except json.JSONDecodeError:
    print("\nError: Failed to parse 'content' as JSON.")
    print(f"Raw Content: {response['message']['content']}")
except KeyError as e:
    print(f"\nError: Missing key in response: {e}")
except Exception as e:
    print(f"\nUnexpected Error: {e}")

python3 vision-majan2.py majan2sin.jpeg

単品ですら精度0％・・。ポンコツすぎます

Gemini2.0 Flash

さすがにGoogle様のGemini2.0は単品牌ぐらいは識別できるでしょう
結論ー＞だめ😭

Google AI Studio

筒子（ピンズ）というところはあってますが8筒と認識できていません

コードから実行しても同じでした

#https://ai.google.dev/gemini-api/docs/vision?hl=ja&lang=python

import sys
import base64
import google.generativeai as genai

# コマンドライン引数から画像パスを取得
image_path = sys.argv[1]

# 画像ファイルをバイナリモードで読み込む
with open(image_path, "rb") as image_file:
    image_data = image_file.read()

# Base64エンコード
encoded_image = base64.b64encode(image_data).decode('utf-8')

# モデルの初期化
model = genai.GenerativeModel(model_name="gemini-2.0-flash-exp")

# プロンプトと画像データを使って生成
prompt = "この画像は日本のリーチ麻雀ゲームのスクショ画像です。画像の牌の名称をあげてください。"
response = model.generate_content([{'mime_type': 'image/jpeg', 'data': encoded_image}, prompt])

# レスポンスを出力
print(response.text)

ChatGPT GPT-4o

最後の頼みの綱GPT-4oではどうでしょうか。
結論→いけた！😁

するとOCRのコードを書き出したので指示を再度します

ブラボー！！！
あってます。

では一索はどうでしょうか

かなり荒い一索の画像をあてています。
褒めておきましょう

圧倒的にGeminiよりGPT-4oが優れているという結果になりました。
ただしコードからだと八筒はいけましたが一索が無理でした

import base64
from openai import OpenAI
import sys

client = OpenAI()

image_path = sys.argv[1]
# https://platform.openai.com/docs/guides/vision
# Function to encode the image
def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

# Getting the base64 string
base64_image = encode_image(image_path)

response = client.chat.completions.create(
    model="chatgpt-4o-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "この画像は日本の麻雀ゲームのスクショ画像です。画像の牌の名称をあげてください。",
                },
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{base64_image}"},
                },
            ],
        }
    ],
)

print(response.choices[0])

python3 sampl3.py majan2sin.jpeg

一索はプロンプトで日本の麻雀と指定しているにもかかわらず
中国式の麻雀が認識されているようです。
モデルのchatgpt-4o-latestは現在のChatGPTと同一のものであるはずなのですが不思議です
https://platform.openai.com/docs/models#o1

単一牌認識まとめ

• Llama3.2V 11B  ：精度0％

• Gemini2.0 : 精度50%

• ChatGPT GPT-4o : 精度80％

まとめ

生成AI/LLMを使って麻雀牌を認識させることができました。
これを実用化にもっていくには、プログラムコードで麻雀牌の配列をバラバラにカットして、全13〜14枚の牌をLLMに認識させた上で戦略を考えてもらうというアプローチになるでしょう。ローカルLLMが期待できないとなるとOpenAIのAIを毎回13回、相手方の捨て牌などをあわせると毎回20回ぐらいコールしないといけないとなると料金が心配です。
Llama3VとGemini2（無料だから）の精度向上に期待したいところです。