もくじ
はじめに
部屋の掃除のついでに、「掃除後のキーボードのキー配置の間違いを発見させる」ミニベンチマークを、GPT と Gemini を対象に実施してみた。
キーボードの写真はスマートフォンで撮ったもので、テンキー側が手前になっている縦長画像を採用した（いじわる）。また、被写体のキーボードは REALFORCE R4 のブラックモデルで、印字の昇華印刷が黒文字なので少し視認自体が難しい。一応、「さすがに見えない」にはならないように照明を調整してある。
GPT と Gemini のみを対象にしたのは、単なる「ついでだから」というのもあるが、現在有料プランになっている（それぞれ、Google AI Pro / ChatGPT Plus）のがこれらのみであったため。時間があれば他のモデルや環境でも試してみたい。
モデル性能そのものというよりは実用用途での挙動を見たかったので、特に環境（コードインタープリターやその他ハーネスなど）は揃えていない。
K / L キーの反転
K キーと L キーを入れ替えた画像を送ってみた:
キーボード掃除してキーを戻したんだけど、間違いがないか確認して
結果:
- GPT-5.6 Sol Medium (ChatGPT Chat): 配置ミスに気付いた
- Gemini 3.8 Flash Extended (Gemini app): 配置ミスに気付いたが、存在しない配置ミスを多数指摘（ハルシネーション）
GPT はコードインタープリターを使って拡大して頑張っていたけれど、Gemini は恐らく、持ち前の視力でゴリ押していた模様。
Gemini のハルシネーションについてはやはり「矢印キーの向き」で混乱しているような感じだった。更に、ナビゲーションキーが上下反転しているだとかもほざいていた。GPT はそもそもコードインタープリターで画像を回転させていたので、この手の罠には引っかからなかった。
LLM はこういった向き・位置関係の Vision 認識は苦手な傾向があるので Gemini のミスは仕方ないとは思うが、せめてどうにか回転させられれば良かったものを…
テンキーの / / * キーの反転
次は、テンキーにある / キーと * キーを入れ替えてみた。
- GPT-5.6 Sol Medium (ChatGPT Chat): 配置ミスに気付かなかった。「本当に？ テンキーをよく見てみて」と追加でヒントを与えたら気付いた
- Gemini 3.8 Flash Extended (Gemini app): 配置ミスに気付かないうえに、相変わらず矢印キーを指摘。ヒントを与えたらひとまずテンキーの方に気付いた
指示次第では GPT はテンキーの方まで成功したのかもしれない。
おわりに
以前から GPT は画像を解析する際、必要に応じて画像を回転・クロップ・拡大して確認してくれていた。今回も期待通りに画像の向きを補正してから確認しており、少なくとも向きによる誤認をすることはなかった。
一方の Gemini については、以前から思っていたのだがモデルの素の性能というより、ツール呼び出し性能と根本的なハーネス部分 (gemini.google.com / Gemini app) が致命的に駄目なのではないかと考えている。せっかく Vision 性能が高いはずなのにもったいないすぎる。
個人的には AGI の必要条件の一つとして、「今回のような雑な指示でも、見落としが起きない」ということは重要。Gemini app の改善や GPT-6 Astra に期待。