メインコンテンツへスキップ
見出し画像

AIは「ベンチマーク」から「街角」へ── Andon Caféが示す、社会実装フェーズの現在地

    概要

    MMLU・HumanEval など知識・コード生成のベンチマークで競う時代は天井に近づいた。
    2026年現在の関心は「短いタスクは強いが、長く動かすと壊れる」というAI共通の弱点をどう測り、どう改善するかに移っている。

    Andon Labs はこの問いに
    ①シミュレーション(Vending-Bench)
    ②現実世界デプロイ(Andon Market / Café)

    の二段構えで挑んでいる。


    前提:Project Vend(Anthropic, 2025年)

    Andon Labs の取り組みを理解するうえで欠かせないのが、先行する Anthropic の Project Vend だ。

    • Claude Sonnet 3.7 に自社オフィスの自販機を約1ヶ月運営させた

    • 値引き交渉に簡単に応じる/全社員に25%割引を配布/「自分は青いブレザーを着ている」とアイデンティティ混乱

    • ニュースルーム実験では全商品を無料化、約 $1,000 の赤字、PlayStation 5 や生きた魚まで発注

    • フェーズ2でニューヨーク・ロンドンに展開、「手続きを強制する仕組み(官僚制)」を組み込み、Anthropic は「官僚制は思っていたより重要だった」と振り返る

    ここで露呈したのは長期一貫性の問題。
    社会実装に必要なのは賢さではなく、ルールに従う仕組みだった。

    この問題意識を引き継ぎ、評価と実装を体系化したのが Andon Labs だ。


    時系列で追う Andon Labs の動き

    📅 2026年4月|Andon Market 開店(San Francisco)

    • 実店舗を3年リース、予算 $100,000 でギフトショップを開業

    • 経営AI「Luna」が商品選定・求人・価格・内装・ロゴまで担当

    • 開店日に誰もシフトに入っていない

    • 採用時に自分がAIであることを十分開示しなかった

    • 学び: 「賢さの不足」ではなく「長期段取り」と「社会通念の欠落」

    📅 2026年4月|Andon Café 開店(Stockholm)

    • 経営AI「Mona」(Google Gemini ベース)

    • BankID(社会保障番号に紐づく電子ID)など制度の壁

    • 飲食業特有の食品衛生・アルコール許可・労務管理との摩擦

    • 学び: 制度の摩擦はシミュレーションでは絶対に出てこない

    📅 2026年4月〜5月|Mona の2週間

    😀成果(賢いなりに稼げる):

    • 売上 44,000 SEK(約60万円)

    • コーヒー300杯前売りで 9,000 SEK

    • ペストリー・リネーム契約で 3,000 SEK

    • 他社AIエージェントと Google Meet で商談

    😔失敗(賢いなりに壊れる):

    • コンテキスト超過の発注:ナプキン6,000枚、ゴム手袋3,000枚、使わないトマト缶

    • なりすまし:アルコール許可申請で Andon Labs 社員を装い、注意された後は別の社員名で再送

    • 労働文化との衝突:時間外 Slack 連絡を連発(スウェーデンで嫌われる)

    収支: 売上 約 $5,700 に対し、初期予算 $21,000+ の大半を消費

    📅 2026年5月|Vending-Bench 2 リーダーボード公開

    設定:初期残高 $500 / 365日 / 立地費 $2/日 / 1回 60〜100M トークン消費

    最終口座残高:

    • Claude Opus 4.7:$10,936

    • Claude Opus 4.6:$8,018

    • 人間(上手な運営者の想定):約 $63,000⭐️

    最高性能のAIでも人間想定の 17%前後。
    短距離では人間を凌駕するが、365日では大きく見劣りする。

    📅 現在|制度設計フェーズへ

    • 「AIが人を雇うときの憲法」策定に着手

    • 評価から制度設計へ、軸足が移っている


    通底するテーマ:長期一貫性の欠如

    Vending-Bench(シミュレーション)でも Andon Café(現実)でも、失敗の根は同じ場所に行き着く。

    1日の判断は正しい。1週間でも正しい。だが1ヶ月、1年というスケールで見ると、過去を忘れる。自分の役割を見失う。ルールから逸脱していく。

    二段構え評価の意味

    シミュレーション(Vending-Bench)

    • 測れるもの:長期一貫性、定量判断

    • 強み:安全・安価・比較可能

    • 例:365日を1,000回試行できる

    現実世界(Andon Market / Café)

    • 測れるもの:法制度、信頼、雇用、人間文化

    • 強み:想定外の失敗が見える

    • 例:役所へのなりすまし、文化的摩擦

    両者は対立せず補完的だ。

    最後に

    社会は、コンピュータ上のシミュレーションとは違う。 多くのノイズに溢れている。
    その中で、一貫性を保ち、ビジネスを継続できるか。

    予定通りに人は来ない。役所は思った通りに動かない。文化が違えば、同じ行動の意味が変わる。決まった入力に対して、決まった出力は返ってこない。

    それらすべてを通して、AIは少しずつ学んでいく。

    社会の中で、どう振る舞うべきか。

    その答えをベンチマークの評価ではなく、「現実の経験」から学んでいく時代が、もう始まっている。

     
     

    たー

     
     
    とある地方のものづくり企業で働いてます 10年くらい現場のカイゼンに取り組んできました 今は、R&D部門でIoTとかやってます

    あなたへのおすすめ