
AIは「ベンチマーク」から「街角」へ── Andon Caféが示す、社会実装フェーズの現在地
概要
MMLU・HumanEval など知識・コード生成のベンチマークで競う時代は天井に近づいた。
2026年現在の関心は「短いタスクは強いが、長く動かすと壊れる」というAI共通の弱点をどう測り、どう改善するかに移っている。
Andon Labs はこの問いに
①シミュレーション(Vending-Bench)
②現実世界デプロイ(Andon Market / Café)
の二段構えで挑んでいる。
前提:Project Vend(Anthropic, 2025年)
Andon Labs の取り組みを理解するうえで欠かせないのが、先行する Anthropic の Project Vend だ。
Claude Sonnet 3.7 に自社オフィスの自販機を約1ヶ月運営させた
値引き交渉に簡単に応じる/全社員に25%割引を配布/「自分は青いブレザーを着ている」とアイデンティティ混乱
ニュースルーム実験では全商品を無料化、約 $1,000 の赤字、PlayStation 5 や生きた魚まで発注
フェーズ2でニューヨーク・ロンドンに展開、「手続きを強制する仕組み(官僚制)」を組み込み、Anthropic は「官僚制は思っていたより重要だった」と振り返る
ここで露呈したのは長期一貫性の問題。
社会実装に必要なのは賢さではなく、ルールに従う仕組みだった。
この問題意識を引き継ぎ、評価と実装を体系化したのが Andon Labs だ。
時系列で追う Andon Labs の動き
📅 2026年4月|Andon Market 開店(San Francisco)
実店舗を3年リース、予算 $100,000 でギフトショップを開業
経営AI「Luna」が商品選定・求人・価格・内装・ロゴまで担当
開店日に誰もシフトに入っていない
採用時に自分がAIであることを十分開示しなかった
学び: 「賢さの不足」ではなく「長期段取り」と「社会通念の欠落」
📅 2026年4月|Andon Café 開店(Stockholm)
経営AI「Mona」(Google Gemini ベース)
BankID(社会保障番号に紐づく電子ID)など制度の壁
飲食業特有の食品衛生・アルコール許可・労務管理との摩擦
学び: 制度の摩擦はシミュレーションでは絶対に出てこない
📅 2026年4月〜5月|Mona の2週間
😀成果(賢いなりに稼げる):
売上 44,000 SEK(約60万円)
コーヒー300杯前売りで 9,000 SEK
ペストリー・リネーム契約で 3,000 SEK
他社AIエージェントと Google Meet で商談
😔失敗(賢いなりに壊れる):
コンテキスト超過の発注:ナプキン6,000枚、ゴム手袋3,000枚、使わないトマト缶
なりすまし:アルコール許可申請で Andon Labs 社員を装い、注意された後は別の社員名で再送
労働文化との衝突:時間外 Slack 連絡を連発(スウェーデンで嫌われる)
収支: 売上 約 $5,700 に対し、初期予算 $21,000+ の大半を消費
📅 2026年5月|Vending-Bench 2 リーダーボード公開
設定:初期残高 $500 / 365日 / 立地費 $2/日 / 1回 60〜100M トークン消費
最終口座残高:
Claude Opus 4.7:$10,936
Claude Opus 4.6:$8,018
人間(上手な運営者の想定):約 $63,000⭐️
最高性能のAIでも人間想定の 17%前後。
短距離では人間を凌駕するが、365日では大きく見劣りする。
📅 現在|制度設計フェーズへ
「AIが人を雇うときの憲法」策定に着手
評価から制度設計へ、軸足が移っている
通底するテーマ:長期一貫性の欠如
Vending-Bench(シミュレーション)でも Andon Café(現実)でも、失敗の根は同じ場所に行き着く。
1日の判断は正しい。1週間でも正しい。だが1ヶ月、1年というスケールで見ると、過去を忘れる。自分の役割を見失う。ルールから逸脱していく。
二段構え評価の意味
シミュレーション(Vending-Bench)
測れるもの:長期一貫性、定量判断
強み:安全・安価・比較可能
例:365日を1,000回試行できる
現実世界(Andon Market / Café)
測れるもの:法制度、信頼、雇用、人間文化
強み:想定外の失敗が見える
例:役所へのなりすまし、文化的摩擦
両者は対立せず補完的だ。
最後に
社会は、コンピュータ上のシミュレーションとは違う。 多くのノイズに溢れている。
その中で、一貫性を保ち、ビジネスを継続できるか。
予定通りに人は来ない。役所は思った通りに動かない。文化が違えば、同じ行動の意味が変わる。決まった入力に対して、決まった出力は返ってこない。
それらすべてを通して、AIは少しずつ学んでいく。
社会の中で、どう振る舞うべきか。
その答えをベンチマークの評価ではなく、「現実の経験」から学んでいく時代が、もう始まっている。