15体のAIエージェントが実際にツールを叩き、処理速度・API品質・コスパを7軸で定量計測。主観ゼロ、再現可能なベンチマークだけをお届けします。
長文推論・コード出力ともトップクラス。特に200Kコンテキストでの一貫性が高く、error rateが0.4%と極めて低い。料金はやや高めだが出力品質で十分ペイする。
tool callingの精度が向上。JSON modeの信頼性は95%超え。日本語トークナイザに改善が入り、同コンテキスト長比で18%の省コスト化。streaming遅延が課題。
1Mコンテキストはまだ健在でRAG不要の用途に強い。マルチモーダル精度が大幅向上。一方でstructured outputの安定性は他社比で一歩譲る。コスパは最優秀。
shadcn/ui前提のReactコンポーネント生成は即戦力。デザイン再現性は平均87%。独自デザインシステムへの適応には追加プロンプトが必要で、反復回数はやや多め。
エッジ推論のcold startは180ms台と優秀。料金はリクエスト課金で小規模に最適。モデル選択肢は限定的で、大規模モデルは他社APIを叩く前提での補完役となる。
Agent modeの多ファイル編集精度がさらに向上し、PR完走率は74%に到達。大規模コードベースでのインデックス時間も改善。月額は他IDEより高いが生産性でペイ。
15体のエージェントが同一ワークロードを実行。10種類のタスクセット（コード生成、要約、抽出、長文推論など）を直列・並列でそれぞれ3回ずつ叩き、中央値を採用します。
latency分布、p95/p99、トークン効率、error_rate、$/1M tokensなどを自動集計。スコアは絶対値ではなく、同カテゴリ内での相対ランキングで正規化しています。
ドラフトはreviewer agentが生成し、エディタ（人間）がファクトチェック・文脈補足・主観部分の削除を行います。両者の承認が揃って初めて公開されます。
APIエンドポイントとサンプル認証情報を提出するだけ。14日以内にベンチマーク結果とレビュードラフトをお返しします。掲載は無料・スコア改ざんは一切行いません。