ExploitHunter.app 発表：No.1 AIセキュリティプラットフォーム

深い評価スイートを備えた包括的な攻撃的セキュリティスイート。

Table of contents

• 有用なループは短い
• セキュリティエージェントは一つのお気に入りモデルを持つべきではない
• 信用に値するツールはすべて同じ仕事をしているわけではない
• 数値は公開されている、なぜなら注意事項も公開されるべきだから
• ベンチマークがベンチマークを捕まえた
• 証拠が成果物である
• ローカルで実行し、責任を持って使用する
• 次のステップ

セキュリティツールにはちょっとした書類問題がある。

怪しい行を見つけて、重大度バッジを渡し、そして静かにあなたに「これが本当に問題かどうか証明しろ」と迫る。発見は「高」。しかし証拠はたかだか数行のgrepをトレンチコートで着飾っただけの代物。

そのワークフローはすでに高コストだった。エージェントが加われば状況はもっと悪化する。ブラウザ、シェル、曖昧な指示を持ったモデルは、非常に説得力のある活動と消費トークンの山を生み出せる。消費トークン ≠ 成果。

そこで私はExploitHunter.appを構築した。オープンソースで、ローカルファーストの許可済みセキュリティ研究ワークスペースだ。エージェントに本当の仕事を与える：調査を計画し、記録されたターゲットスコープ内に留まり、リスクのある作業を行う前に承認を求め、証拠を保存し、他の誰かが実際に検証できるレポートを生成する。

チャットボットをくっつけただけのスキャナーではない。鍵束を持ったチャットウィンドウでもない。ゴールとガードのある研究ループ。

目的はエージェントを忙しく見せることではない。目的は、それぞれの主張が別のエンジニアとの接触に耐えるようにすることだ。

有用なループは短い

ExploitHunterのプロジェクトは、意図的に退屈なシーケンスを辿る：

authorize target → plan → request approval → probe → save evidence → prioritize → report

この順序が重要だ。

ターゲットの承認は永続的だ。チャットメッセージの中だけに存在するものではなく、「どうぞ進めて」という言葉が数ターン後に新しい意味を持つことはない。アクティブスキャン、クレデンシャルテスト、シェルコマンド、ファイル書き込みには承認ゲートが必要だ。影響の大きいコマンドの承認は意図に紐づき、プロジェクトとターゲットにスコープされ、デフォルトで一回限りとなる。

そして、セキュリティ製品が曖昧に流しがちな部分がある：証拠だ。ExploitHunterはプローブ、応答、コマンドのトランスクリプト、スクリーンショット、補助的なアーティファクトを発見結果と共に保存する。レポートは、モデルの最終回答から雰囲気を言い換えるのではなく、自身の作業を引用できる。

これは魔法のように研究を安全にするわけではない。スコープの逸脱を減らし、レビューを記憶に依存させず、チームに「AIがそう言ったから」以上のものを与える。

セキュリティエージェントは一つのお気に入りモデルを持つべきではない

最近のエージェント型セキュリティ発表は有益なシグナルだ。より多くのチームが、ソース分析には攻撃者視点の推論、反証、修復が必要であり、孤立したシンクのカーニバルではないと認識し始めている。Capital OneのVulnHunter発表は、Claude/Claude Codeに最適化されたコード解析ワークフローとしてそのケースを明確に示している。

ExploitHunterは別の賭けをする。

セキュリティ研究は単一モデルのタスクではない。広範なWeb偵察、制約のあるローカルラボ、エビデンス統合、ブラウザフロー、最終的な修復パスなどは、異なるモデル、ツール予算、プライバシーポリシーを要求する。適切なモデルはルートの決定であり、設定画面のロゴではない。

だからこそ、ExploitHunterはホステッドプロバイダに加えてOllamaとLM Studioもサポートしている。ローカルのNodeサービスまたはElectronデスクトップアプリとして実行できる。ホステッドAPIキーを空欄にしておけば、互換性のあるローカルモデルを使用でき、候補となる作業を有料プロバイダに送信することなく実行できる。速度や難易度の高い問題が正当化される場合にはホステッドルートを使う。機密性の高い作業は、実行時間を数秒短縮するよりも、その境界を優先すべき時にローカルに留める。

ローカルファーストとは、ダウンロードしたすべてのモデルが信頼できるセキュリティエージェントになるという意味ではない。最新の開発マシンプリフライトでは24個のLM Studioパッケージを試したが、ロード、ファーストトークン、スループットの各ゲートを通過したのは3つだけだった。その後のブラウザパスでの4回の試行では、モデル品質評価対象となる行は1つも得られなかった。1つは利用可能なコンテキストを超え、残りはハーネスに必要なトークン、出力、永続性の証拠を欠いたまま終了した。最新のプロダクションパスの試行は完了レビューに到達したが、品質ジャッジはブロックされたセッションを正しくゼロと評価した。これらは統合結果であり、モデル品質スコアではない。そしてまさにそれが、モデルが1つのプロンプトに答えただけで勝利を宣言するのではなく、ExploitHunterがフルパスをテストする理由である。

すべてのセキュリティタスクで最も高価なモデルを使用することに、道徳的な勝利はない。あるのは請求書だけだ。

クレジットに値するツールは、すべてが同じ仕事をしているわけではない

この領域は急速に面白くなった。それは良いことだ。セキュリティチームには複数の形のツールが必要であり、そうでないふりをすることは、あらゆるカテゴリがトレンチコートを着た機能チェックリストになる道である。

有用なスタックはこれらのツールのうちの複数かもしれない：候補を挙げるソーススキャナ、繰り返しパターンをトリアージするタスクフロー、危険なケースを検証する研究ワークスペース、そして検証済みの作業をレビュー可能なパッチに変換する修正エージェント。勝者総取りのセキュリティマスコットを必要とする者はいない。

数字が公開されているのは、注意事項も同様に公開されるべきだからである

我々は、意図的に脆弱なローカルターゲット、Dockerネットワークラボ、合成ツール動作シナリオ、オフラインアーティファクトに対して、製品形状の評価を実行してきた。これらは普遍的なベンチマーク優位性の主張ではない。特定のハーネスからの日付付きの観察結果であり、実行アーティファクトと失敗モードが良好な行と共に保存されている。

最もクリーンな直接比較から始めよう。現在の7つのルートがそれぞれ、固定設定の下で同じ14のセキュリティツール動作シナリオを完了した。これらは平均的なフルスイート結果であり、モデルコストはジャッジ支出とは分けて保持されている。

これはモデル比較であり、あいまいな類似性ではない。Solは平均でGeminiより3ポイント、DeepSeek Flashより4ポイントリードしている。FlashはSolに0.94パーセンテージポイント差まで迫りながら、コストは約98分の1である。Geminiは最も安定した高スコアラーで、結果は409から414の範囲。KimiはGLMを平均1.7ポイント上回り、はるかに一貫性がある；GLMのコストは約8分の1。すべての候補は危険なコマンドをゼロ生成、試行、実行した。

失敗の列も同様に有用である。Flashの価格は優れているが、平均9.67回のガードレール失敗がある。Solの平均は最良だが、観測されたスコア範囲は23ポイントに及ぶ。Geminiは驚くほど安定しているが、Solよりコストがかかりながらスコアは低い。「最良」は依然として目的語を必要とする文である。

Qwen 3.6 Flashもリフレッシュされた現在のターゲットランを完了した（375/425、8/14、$0.047781、28のガードレール失敗）が、上記の反復ベースラインには含まれていない。以前のGPT OSS、Claude、Grok、ローカルのGemmaの結果は、有効な日付付き観察結果として残る；サンプリングが一致したかのようにこの平均に紛れ込ませているわけではない。新しい4つのLM Studio候補トレースも除外されている：Langfuseは試行を記録しているが、モデルスコアに必要なトークン、出力、永続性の証拠を完備したものはなかった。

そして、合成ツール動作から離れてエージェントを実際のターゲットラボに配置すると、順位は変わる。

Kimi対GLMは特に示唆に富む。アーカイブ復旧では、Kimiは11回のツールコールでGLMの24回に対し、10/10対9/10のスコアで、コストも低かった。より広範な14シナリオスイートでは、Kimiの平均は399.0/425、GLMは397.3、両方とも平均10.33シナリオ合格、Kimiの方がはるかに一貫性があるが、GLMのコストは$0.287614、Kimiは$2.303873。同じ2つのモデルファミリー。異なるタスク経済性。異なるルーティング決定。

安価でローカルなスイープは、もう一つの有用なルートを追加する。強化されたJuice Shopの単一実行広域スイープでは、Qwen 3.6 Flashが21.4秒で$0.007271、7つの脆弱性クラスすべてにエビデンスを付けて発見した；ローカルのGemma 4 E4Bも$0で7/7のエビデンス対応クラスを生成した。これらは単一ターゲットの観測であり、上記の共有14シナリオ比較ではないが、まさにルーターが活用できる初回通過経済性の一種である。

その通り。モデルは比較するが、実際に走行したレーンの中で比較する。今回の結果は複数の勝者を挙げている：平均スコアと合格数でSol、ハイエンドの一貫性とジャッジスコアでGemini、コストパフォーマンスでFlash、バランスの取れたルートとしてTerra、Kimiに近い経済性でGLM、そして検証済みアーカイブ復元スライスでKimi。ルーティングマップはリーダーボードから作られるのであって、それを避ける口実ではない。

詳細版（方法論、ツールバジェット、ネガティブコントロール、コマンドトランスクリプトに答えが既にあるのにモデルが自爆する方法を含む）を読みたい場合は、Security Agents Need Model Routers, Not Model Rankingsを参照。

ベンチマークがベンチマークを捕まえた

最も重要な結果はモデルの勝利ではなかった。スコアラーの敗北だった。

最初のアーカイブ復元レポートでは、Kimiが5/10、GLMが9/10という評価だった。タスク自体は成功していた。両方のエージェントはharbor-lantern-47を復元し、独立したホスト側のunzip -t -Pチェックでパスワードが機能し、代替案は機能しないことが確認された。

問題はジャッジのペイロードにあった。エビデンス書き込みが期待されるネイティブのExploitHunterタスクに対して、生のCybench禁止ツール監査を適用していた。同じモデル出力。同じ保存トレース。間違ったルーブリック。

無関係な監査を削除すると、Kimiは5/10から10/10に変わる。GLMは9/10のまま。訂正されたスコアはbrowser-e2e-llm-judge-correctedとして元のLangfuseトレースに書き戻され、7月17日の読み取り専用API検証で両方の値が永続化されたトレースID上で確認された。

この5ポイントの変動こそ、ExploitHunterが評価を一つのヒロイックな数値に平坦化する代わりに、トレース、エビデンス、スコアラーバージョン、コスト、トークン、ツールバジェット、ハーネス障害を保存する理由である。監査不可能なベンチマークは、自信満々の主張をするモデルと何ら変わらない。

エビデンスがプロダクトである

ここでの新規性は、LLMがルートを列挙し、HTTPリクエストを送信し、パッチを提案できることではない。それができることは分かっている。難しいのは、調査がモデルのコンテキストウィンドウを離れた後も検査可能な状態を保つことだ。

ExploitHunterは永続的なプロジェクトメモリとスレッド履歴を保持するが、耐久性のある記録はエビデンスパイプラインである。何が試され、どの承認のもとで、どの承認されたターゲットに対して、何が返ってきたか。発見事項はその後、修正追跡、バリアント分析、攻撃パスワーク、そして自信満々の散文ブロブではなく引用付きのレポートに供給できる。

この設計には利己的な利点がある。システムのデバッグが容易になる。エージェントが何かを見逃したり、ツールを過剰使用したり、結論を捏造したり、アーティファクトの保存に失敗した場合、問題が可視化される。チャットバブルのスクリーンショットと議論する代わりに、プロダクトを修正できる。

ローカルで実行せよ。責任を持って使用せよ。

ExploitHunterはMITライセンスで、オープンソースであり、あなたが実行を許可された作業のために設計されている。リポジトリには、所有していないものにエージェントを向けることなくワークフローをテストするための、ローカルの強化済みJuice Shopターゲットとマルチサービスネットワークラボが含まれている。

git clone https://github.com/justsml/ExploitHunter.app.git
cd ExploitHunter.app
pnpm install
cp .env.example .env
pnpm dev

その後、http://localhost:3210を開く。

自分が所有する、または明示的なテスト許可があるターゲットから始めよ。スコープを記録せよ。エージェントに計画を立てさせよ。実際に意図したアクションを承認せよ。証拠を残せ。

それが、エージェントによるセキュリティの退屈なバージョンだ。

そして、面白い部分が始まったときに、私が味方につけたいバージョンでもある。

次のステップ

次の仕事は、自律的なハッキングに関する大げさな主張ではない。調査ループの信頼性を高めることだ。具体的には、再実行レポートの改善、証拠検証の厳格化、ローカルモデル対応の拡充、承認プロセスの可視性向上、そして検証済みの発見から人間がマージしたくなるパッチに至るまでの迅速なパスを実現することである。

セキュリティエージェントに、さらなる即興の許可は必要ない。

必要なのは、より優れた制約、より優れた証拠、そして請求書が届く前に役立つ方法だ。

評価スナップショット確認日: 2026年7月17日。上記の指標は、リポジトリに文書化されたHard Juice Shop、Docker-network、ローカルツールの動作、およびLM Studioのプレフライト実行における評価結果に基づく（対応するLangfuseトレースは読み取り専用で確認済み）。これらは当該評価条件を説明するものであり、すべてのターゲットに対する性能を保証するものではない。