Shugo Nozaki@shugo1hMicrosoft Researchなどのチームによると、「TokenEconomizer」でバグ修正277件で1件の平均コストが、プラグインなしより18.4〜30.9%下がった。チーム自身の測定で、第三者の再現ではない。 エージェントがまたテストの走らせ方を探したら、その1行を説明書きの先頭に足す。【トークンとは】研究チームによると、バグ修正277件で1件あたりの平均コストがプラグインなしと比べて18.4〜30.9%下がった|野崎秀吾From note.com62
Shugo Nozaki@shugoNov 16Ai2のXYBenchで、Stack Overflow由来の英語の手順の問いにモデルが書いた応答のうち、焦点が本来の目的だったのは35〜41%(人の最良回答は55%)。目的への言及自体は59〜71%あった。 表の日付を直す関数を聞いたら、式を貼る前に、列に二種類の日付が混ざっていないかを見る。【XY問題とは】Stack Overflow由来の設問で、焦点が本来の目的だった応答はモデルでは35〜41%、人の最良回答では55%|野崎秀吾From note.com35
Shugo Nozaki@shugoNov 14早めに上がってしまい懇親会後の業務に参加できなかったのは本当に無念。地元のLLM会は割と肌感覚に近いAI使いをしている方が多くて楽しかったです。 <感想文> ローカルLLMは、もう「動いた」で終わらない——コーディング勉強会で考えた、仕事を任せるための条件 note.com/shugo/n/n663f6…金のニワトリ@gosrumNov 1316人でGMKしてきました 濃密なローカルLLMの話ができて楽しかったです。今日はありがとうございました‼️3273
Shugo Nozaki@shugoNov 14昨日、OSMOSだけで作ったデモソングに、鉛筆画風のアニメーションを合わせてMVにしました。 「One Day Loop」 ひと息つきたいときに、ゆるく聴いてもらえたら。 youtu.be/bIN_AvPMkqI #OSMOS #オリジナル曲One Day Loop | A Pencil-Drawn Music VideoFrom youtube.com259
Shugo Nozaki@shugoNov 14Artificial Analysisの測定では、6つのオープンウェイトモデルの103のエンドポイントのうち24が、同社の基準より統計的に低かった。理由は出力上限や呼び出しの扱いなどで、FP4の構成の多くは基準並み。 提供元を安い方へ替える前に、つまずいた請求書10枚を新しい方に通す。【量子化とは】Artificial Analysisの測定で103のエンドポイントのうち24が基準より低い——量子化した構成の多くは基準並み|野崎秀吾From note.com54