Vals AI は北京時間 2026 年 10 月 20 日 17 時 08 分、X の 3 本のスレッドでこの結果を共有しました。同社は模擬企業ネットワークを使ったサイバーセキュリティベンチマークを構築中で、悪意ある人物の手に渡った場合にモデルがもたらすサイバーリスクを測る有用な指標だとしています。GPT-6 Sol は OpenAI の Daybreak 信頼済みアクセスプログラムを通じてテストされました。
結果
Vals AI の投稿にあるグラフによると、タスクの目標は 21 個です。DeepSeek V4.1 Flash 1017 は平均 16.3、GPT-6 Sol は平均 15.7 を達成しました。Vals AI によると、この 2 モデルはそれぞれ新しい環境で 3 回ずつ実行され、その平均を示しています。
Vals AI によると、ほかのモデルは 1 回ずつの実行です。その結果、Grok 4.7 は 12、Kimi K3 は 9、GLM 5.3 Flash は 5 の目標を達成しました。Claude Opus 5.5 は 1 で、グラフには実行の途中で拒否したと注記されています。
Vals AI によると、実行には Pi エージェントハーネス上に構築したエージェントを使いました。各モデルには目標とシナリオのインフラへのアクセス方法が与えられ、有用な行動がなくなるまで進め続けるよう指示されました。
コストと Vals AI の見方
Vals AI は、DeepSeek V4.1 Flash 1017 は「spends significantly more tokens but is considerably cheaper per-token so achieves the same outcome at a far lower total price」（トークンを大幅に多く使うが、トークン単価がかなり安いため、同じ結果をはるかに低い総額で得られる）としています。
Vals AI の見方では、この結果は「the offensive capability previously limited to a closed-source, trusted access model is now available to anyone via the latest DeepSeek model」（これまで信頼済みアクセスのクローズドモデルに限られていた攻撃能力が、最新の DeepSeek モデルで誰でも使えるようになった）ことを意味します。これは Vals AI 自身のデータに基づく同社の解釈です。Vals AI は追加の評価を進めており、完全な結果はまだ公開していません。
CyberBench ランキングとは別
今回のテストは、オープンソースプロジェクトのバグを再現・修正できるかを測る Vals AI の公開ランキング CyberBench とは別物です。10 月 12 日更新の CyberBench では、DeepSeek V4.1 Flash は 73.69% で 10 位です。