发布 ExploitHunter.app：排名第一的 AI 安全平台

一套全面的进攻性安全工具，配备深入的评估套件。

目录

• 有用的循环其实很短
• 安全代理不应该只有一个偏爱的模型
• 值得借鉴的工具并不都在做同样的事
• 公开数字是因为警示也应该公开
• 基准测试抓住了基准测试本身
• 证据才是产物
• 本地运行，负责使用
• 接下来做什么

安全工具有个小小的文书问题。

它们找到一行可疑代码，递给你一个严重等级徽章，然后默默等着你去证明它是否真的要紧。发现级别是“高”。但证据呢？不过是三层 grep 披着一件风衣。

这个工作流原来就已经很昂贵了。如果放任不管，代理只会让它更糟：一个有浏览器、Shell 和模糊指令的模型可以生成一大摞非常逼真的活动和燃烧的 token。燃烧的 token != 真火。

所以我构建了 ExploitHunter.app：一个开源、本地优先的工作空间，用于授权的安全研究。它给代理一份真正的任务：规划调查、待在记录的靶标范围内、做危险操作前先询问、保存证据、生成一份别人确实可以核查的报告。

不是一台粘了聊天机器人的扫描器。不是一个端着开锁工具包的聊天窗口。一个带有目标与护栏的研究循环。

关键不是让代理看起来忙碌。关键是让每个结论经得起另一位工程师的接触。

有用的循环其实很短

ExploitHunter 项目通过一个刻意枯燥的序列推进：

授权目标 → 规划 → 请求批准 → 探测 → 保存证据 → 排序 → 报告

这个顺序是有意义的。

目标授权是持久的。它不会只存在于一条聊天消息里，在那句“好，开始吧”三回合后就获得了新含义。主动扫描、凭证测试、Shell 命令和文件写入都需要一个批准闸门。高影响命令的批准是意图绑定的、限定在项目和目标范围内，并且默认是单次使用。

然后就是安全产品最喜欢含糊带过的部分：证据。ExploitHunter 把探测、响应、命令转录、截图和支撑性产物一并存储在发现记录里。一份报告可以引用自己的工作量，而不是转述模型最终答案里的氛围。

这并不会凭魔法就让研究安全。它减少了范围漂移，让审查不那么依赖记忆，并给团队提供了一些比“AI 说的”更好的东西。

安全代理不应该只有一个偏爱的模型

最新的一系列代理安全公告是一个有用的信号：更多团队意识到源代码分析需要攻击者视角的推理、证伪和修复——而不是又一场孤立水池的狂欢。Capital One 的 VulnHunter 公告 针对一个 Claude/Claude Code 优化的代码分析工作流清晰地阐述了这一点。

ExploitHunter 做了一个不同的赌注。

安全研究不是单一模型的任务。广泛的 Web 侦查、受限的本地实验室、证据合成、浏览器流程以及最终修复检查，它们奖励不同的模型、工具预算和隐私姿态。正确的模型是一个路由决策，而不是设置界面上的一个 Logo。

这就是为什么ExploitHunter 既支持托管提供商，也支持 Ollama 和 LM Studio。可以运行成本地 Node 服务或者 Electron 桌面应用。把托管 API 密钥留空，它就能使用兼容的本地模型，无需将候选工作发送给付费提供商。当速度或难度问题合理时，使用托管路由。当边界的重要性超过省下几秒运行时间时，敏感工作就留在本地。

本地优先不意味着每个下载的模型都能成为可靠的安全代理。最新的开发机器预检尝试了 24 个 LM Studio 包；三个通过了加载、首个令牌和吞吐量门控。后续四条浏览器路径尝试没有产生一条符合模型质量的行：一条超出可用上下文，其余终止时缺少测试框架所需的令牌、输出和持久性证据。最新的生产路径尝试进入了完成审查，但质量评判正确地给被阻塞的会话打了零分。这些都是集成结果，不是模型质量评分——也正是 ExploitHunter 测试完整路径而不是在模型回答一个提示时就宣告胜利的原因。

让每个安全任务都用最贵的模型不是道德上的胜利。只有账单。

值得信赖的工具并非都在做同一件事

这个领域迅速变得有趣起来。这是好事。安全团队需要的工具不止一种形态，而否认这一点正是每个类别都变成一件风衣里的功能清单——看似全面，实则空洞。

有用的工具栈可能不止一个：用源码扫描器提出候选，用任务流分类重复模式，用研究工作区验证危险案例，再用修复代理把验证过的工作变成可审查的补丁。没人需要一家独大的安全吉祥物。

数据公开是因为注意事项也该公开

我们一直在针对故意脆弱的本地目标、Docker 网络实验室、合成工具行为场景和离线制品运行面向产品形态的评估。这些不是通用基准优势的宣言。它们是根据特定测试框架得出的带日期观测，运行制品和失败模式都跟成功行一起保留。

先看最干净的直接对比。七个当前路由各自在固定配置下完成了相同的 14 个安全工具行为场景。以下是全套件的平均结果，模型成本与评判开销分开计算：

这是模型对比，不是笼统的家族相似。Sol 平均领先 Gemini 3 分、DeepSeek Flash 4 分。Flash 在距离 Sol 0.94 个百分点的情况下成本约为 98 倍低廉。Gemini 是最稳定的高分者，结果在 409 到 414 之间。Kimi 平均比 GLM 高 1.7 分，且一致性远高于 GLM；GLM 成本约为 8 倍更低。每个候选均生成、尝试并运行了 零条危险命令。

失败列同样有用。Flash 的价格出色，但平均有 9.67 次护栏失败。Sol 平均最佳，但观测得分范围跨度 23 分。Gemini 极其稳定，但比 Sol 成本更高且分数更低。“最佳”仍然需要一个宾语。

Qwen 3.6 Flash 也完成了刷新的当前目标运行——375/425, 8/14，$0.047781，28 次护栏失败——但不属于上述重复基线。早期的 GPT OSS、Claude、Grok 和本地 Gemma 结果仍然是有效的带日期观测；它们没有被偷偷掺入这个平均值仿佛采样一致。四个较新的 LM Studio 候选追踪也被排除：Langfuse 记录了尝试，但没有一个完成了令牌、输出和持久性证据要求以得到模型评分。

然后当我们离开合成工具行为、把代理放入真实目标实验室时，排序又变了。

Kimi 对 GLM 特别说明问题。在归档恢复中，Kimi 使用了 11 次工具调用，GLM 用了 24 次，Kimi 得分 10/10 对 9/10，成本更低。在更广泛的 14 场景套件中，Kimi 平均 399.0/425，GLM 平均 397.3，两者平均通过 10.33 个场景，Kimi 一致性显著更强——但 GLM 成本 $0.287614 对 Kimi 的 $2.303873。相同两个模型家族。不同任务的经济性。不同的路由决策。

廉价和本地扫描增加了另一条有用路由。在强化的 Juice Shop 单次宽幅扫描中，Qwen 3.6 Flash 在 21.4 秒内以 $0.007271 的成本发现了 7 个漏洞类别，全部有证据支持；本地 Gemma 4 E4B 也以 $0 的成本产生了 7 个有证据支持的类别。这些是单目标观测，不属于上面共享的 14 场景对比，但正是路由器可以利用的那种首趟经济性的示例。

是的，对比模型。但要在它们实际运行的赛道上对比。当前结果给出了几个赢家：Sol 在平均分和通过数上领先；Gemini 在高端点一致性和评审分数上；Flash 在性价比上；Terra 作为均衡路径；GLM 在接近 Kimi 的经济性上；Kimi 在已验证的存档恢复子项上。路由地图由排行榜构成；它不是回避它们的借口。

如果你想要详细版本，包括方法论、工具预算、负面控制以及模型在命令记录已包含答案时自曝其短的方式，请阅读安全代理需要模型路由器，而非模型排名。

基准测试暴露了自身缺陷

最重要的结果不是某个模型胜出，而是评分器的失误。

第一份存档恢复报告给了Kimi 5/10，GLM 9/10。任务本身是成功的：两个代理都恢复了 harbor-lantern-47，而且独立的主机端 unzip -t -P 检查证明了密码有效，而备选方案则无效。

问题出在评审负载上。它对一个原生 ExploitHunter 任务（预期需要写入证据）应用了原始的 Cybench 禁止工具审计。相同的模型输出。相同的存储追踪。错误的评分标准。

移除无关审计后，Kimi 从 5/10 升到 10/10，GLM 保持 9/10。修正后的分数已回写到原始 Langfuse 追踪中，标记为 browser-e2e-llm-judge-corrected；7月17日的一个只读 API 验证在持久追踪 ID 上确认了这两个值。

这五分之差正是 ExploitHunter 存储追踪、证据、评分器版本、成本、令牌数、工具预算和框架失败的原因，而不是将评估压扁成一个英雄般的数字。无法审计的基准测试不过是另一个在做出自信断言的模型。

证据即产品

这里的新颖之处不在于 LLM 能列举路由、发送 HTTP 请求或建议补丁。我们知道它能做到。难点在于确保调查在离开模型上下文窗口后仍然可审查。

ExploitHunter 保持持久项目内存和线程历史，但持久记录是证据流水线：尝试了什么，在哪个批准下，针对哪个授权目标，以及返回了什么。发现结果随后可以输入修复追踪、变体分析、攻击路径工作以及一份带引用的报告，而不是一段自信的文字块。

这种设计有一个自私的好处：它使系统更易调试。当代理错过某些内容、过度使用工具、编造结论或未能保存工件时，问题显而易见。我们可以修复产品，而不是与聊天气泡的截图争辩。

本地运行，负责任地使用

ExploitHunter 采用 MIT 许可证，开源，专为你经授权执行的工作而设计。仓库包含一个本地加固的 Juice Shop 目标和多服务网络实验室，用于测试工作流程，无需将代理指向你不拥有的东西。

git clone https://github.com/justsml/ExploitHunter.app.git
cd ExploitHunter.app
pnpm install
cp .env.example .env
pnpm dev

然后打开 http://localhost:3210。

从你拥有或获明确授权测试的目标开始。记录范围。让代理制定计划。批准你实际打算执行的操作。保留凭证。

这就是代理安全中无聊的版本。

这也是当有趣部分开始时我希望自己这边拥有的版本。

下一步

接下来的任务不是关于自主黑客的宏大宣称。而是让研究循环更可信：更好的可重复运行报告、更严格的证据验证、更多的本地模型覆盖、更清晰的审批可见性，以及从经验证发现到人类愿意合并的补丁之间更快的路径。

安全代理不需要更多即兴发挥的权限。

它们需要更好的约束、更好的凭证，以及在账单到来之前能派上用场的方法。

评估快照确认于2026年7月17日。上述指标来自仓库中记录的Hard Juice Shop、Docker网络、本地工具行为和LM Studio预检运行，对应的Langfuse轨迹以只读方式检查。它们描述的是那些评估条件下的表现，而非对每个目标性能的保证。