ExploitHunter.app की घोषणा: नंबर 1 AI सुरक्षा प्लेटफ़ॉर्म

विस्तृत आक्रामक सुरक्षा सूट, जिसमें एक गहरा मूल्यांकन सूट शामिल है।

विषय सूची

• उपयोगी लूप छोटा है
• एक सुरक्षा एजेंट को एक ही पसंदीदा मॉडल नहीं होना चाहिए
• श्रेय देने योग्य उपकरण सभी एक ही काम नहीं कर रहे हैं
• संख्या सार्वजनिक हैं क्योंकि चेतावनियाँ भी सार्वजनिक होनी चाहिए
• बेंचमार्क ने बेंचमार्क को पकड़ लिया
• सबूत ही उत्पाद है
• इसे स्थानीय रूप से चलाएं। इसका जिम्मेदारी से उपयोग करें।
• आगे क्या है

सुरक्षा उपकरणों में एक छोटी सी कागजी कार्रवाई की समस्या है।

वे एक संदिग्ध लाइन ढूंढते हैं, आपको एक गंभीरता बैज देते हैं, और फिर चुपचाप आपको यह साबित करने पर मजबूर कर देते हैं कि यह मायने रखता है या नहीं। निष्कर्ष ‘उच्च’ है। फिर भी सबूत है तीन grep एक ट्रेंच कोट पहने हुए।

वह कार्यप्रवाह पहले से ही महँगा था। एजेंट इसे और खराब कर देते हैं यदि हम उन्हें ऐसा करने दें। एक मॉडल जिसके पास ब्राउज़र, शेल और एक अस्पष्ट निर्देश है, वह गतिविधि और जले हुए टोकन का एक बहुत ही ठोस ढेर उत्पन्न कर सकता है। जले हुए टोकन ≠ आग।

तो मैंने ExploitHunter.app बनाया: एक ओपन-सोर्स, स्थानीय-प्रथम कार्यक्षेत्र अधिकृत सुरक्षा अनुसंधान के लिए। यह एजेंट को एक वास्तविक कार्य देता है: एक जांच की योजना बनाएं, रिकॉर्ड किए गए लक्ष्य दायरे के अंदर रहें, जोखिम भरा काम करने से पहले पूछें, सबूत संरक्षित करें, और एक रिपोर्ट तैयार करें जिसे कोई और वास्तव में निरीक्षण कर सके।

कोई स्कैनर नहीं जिसमें चैटबॉट चिपका दिया गया हो। कोई चैट विंडो नहीं जो लॉकपिक सेट पकड़े हुए हो। लक्ष्यों और सुरक्षा उपायों के साथ एक शोध लूप।

मुद्दा यह नहीं है कि एजेंट को व्यस्त दिखाया जाए। मुद्दा यह है कि प्रत्येक दावा किसी अन्य इंजीनियर के संपर्क में आने पर टिक सके।

उपयोगी लूप छोटा है

एक एक्सप्लॉइटहंटर प्रोजेक्ट एक जानबूझकर उबाऊ अनुक्रम से गुज़रता है:

authorize target → plan → request approval → probe → save evidence → prioritize → report

वह क्रम मायने रखता है।

लक्ष्य प्राधिकरण टिकाऊ है। यह केवल एक चैट संदेश में नहीं रहता जहाँ ‘हाँ, आगे बढ़ो’ तीन मोड़ बाद नए अर्थ ग्रहण कर सकता है। सक्रिय स्कैन, क्रेडेंशियल परीक्षण, शेल कमांड और फ़ाइल लेखन के लिए अनुमोदन द्वार की आवश्यकता होती है। उच्च-प्रभाव वाले कमांड अनुमोदन इरादे-बद्ध होते हैं, परियोजना और लक्ष्य तक सीमित होते हैं, और डिफ़ॉल्ट रूप से एकल-उपयोग होते हैं।

फिर वह हिस्सा है जिसे सुरक्षा उत्पाद हाथ हिलाकर टालना पसंद करते हैं: प्रमाण। एक्सप्लॉइटहंटर जांच, प्रतिक्रिया, कमांड ट्रांसक्रिप्ट, स्क्रीनशॉट और सहायक आर्टिफैक्ट को निष्कर्ष के साथ संग्रहीत करता है। एक रिपोर्ट अपने काम का हवाला दे सकती है, बजाय मॉडल के अंतिम उत्तर से विचारों को संक्षिप्त करने के।

यह शोध को जादू से सुरक्षित नहीं बनाता। यह दायरे के बहाव को कम करता है, समीक्षाओं को स्मृति पर कम निर्भर बनाता है, और टीमों को ‘एआई ने ऐसा कहा’ से बेहतर कुछ देता है।

एक सुरक्षा एजेंट को एक ही पसंदीदा मॉडल नहीं होना चाहिए

एजेंटिक-सुरक्षा की नवीनतम घोषणाएँ एक उपयोगी संकेत हैं: अधिक टीमें यह महसूस कर रही हैं कि स्रोत विश्लेषण को हमलावर-परिप्रेक्ष्य तर्क, मिथ्याकरण और मरम्मत की आवश्यकता है—न कि पृथक सिंक का एक और कार्निवल। Capital One के VulnHunter घोषणा क्लॉड/क्लॉड कोड-अनुकूलित कोड-विश्लेषण कार्यप्रवाह के लिए यह मामला स्पष्ट रूप से प्रस्तुत करती है।

एक्सप्लॉइटहंटर एक अलग दांव लगाता है।

सुरक्षा अनुसंधान एक मॉडल का कार्य नहीं है। व्यापक वेब टोही, एक सीमित स्थानीय प्रयोगशाला, साक्ष्य संश्लेषण, एक ब्राउज़र प्रवाह, और अंतिम सुधार पास विभिन्न मॉडलों, टूल बजट और गोपनीयता मुद्राओं को पुरस्कृत करते हैं। सही मॉडल एक मार्ग निर्णय है, सेटिंग्स स्क्रीन पर एक लोगो नहीं।

यही कारण है कि एक्सप्लॉइटहंटर होस्टेड प्रदाताओं के साथ-साथ ओलामा और एलएम स्टूडियो को भी सपोर्ट करता है। इसे स्थानीय नोड सेवा या इलेक्ट्रॉन डेस्कटॉप ऐप के रूप में चलाएँ। होस्टेड एपीआई कीज़ को खाली छोड़ दें और यह भुगतान प्रदाता को उम्मीदवार कार्य भेजे बिना संगत स्थानीय मॉडल का उपयोग कर सकता है। जब गति या कोई कठिन समस्या उचित हो, तो होस्टेड रूट का उपयोग करें। संवेदनशील कार्य को स्थानीय रखें जब वह सीमा रन से कुछ सेकंड कम करने से अधिक मायने रखती हो।

लोकल-फ़र्स्ट का मतलब यह नहीं है कि हर डाउनलोड किया गया मॉडल एक विश्वसनीय सुरक्षा एजेंट बन जाता है। नवीनतम डेवलपमेंट-मशीन प्रीफ़्लाइट ने 24 एलएम स्टूडियो पैकेजों का प्रयास किया; तीनों ने लोड, फ़र्स्ट-टोकन और थ्रूपुट गेट्स को पार किया। बाद में चार ब्राउज़र-पथ प्रयासों ने कोई मॉडल-गुणवत्ता-योग्य पंक्ति नहीं दी: एक उपलब्ध कॉन्टेक्स्ट से अधिक था, और अन्य बिना उस टोकन, आउटपुट और पर्सिस्टेंस साक्ष्य के समाप्त हो गए जो हार्नेस को चाहिए। नवीनतम प्रोडक्शन-पथ प्रयास पूर्णता समीक्षा तक पहुँचा, लेकिन गुणवत्ता निर्णायक ने अवरुद्ध सत्र को शून्य पर सही ढंग से स्कोर किया। वे एकीकरण परिणाम हैं, मॉडल-गुणवत्ता स्कोर नहीं—और ठीक यही कारण है कि एक्सप्लॉइटहंटर पूरे पथ का परीक्षण करता है जब कोई मॉडल एक प्रॉम्प्ट का उत्तर देता है तो जीत का ऐलान करने के बजाय।

हर सुरक्षा कार्य को सबसे महँगा उपलब्ध मॉडल का उपयोग कराने में कोई नैतिक जीत नहीं है। केवल एक इनवॉइस है।

जिन उपकरणों को श्रेय देना उचित है, वे सभी एक ही काम नहीं कर रहे हैं

यह क्षेत्र जल्दी ही दिलचस्प हो गया। यह अच्छा है। सुरक्षा टीमों को उपकरणों के एक से अधिक आकार की आवश्यकता है, और यह दिखावा करना कि ऐसा नहीं है, हर श्रेणी को एक ट्रेंच कोट में फ़ीचर चेकलिस्ट में बदलने का तरीका है।

उपयोगी स्टैक इनमें से एक से अधिक उपकरण हो सकता है: उम्मीदवारों को उठाने के लिए एक स्रोत स्कैनर, आवर्ती पैटर्न को ट्राइएज करने के लिए एक टास्कफ़्लो, खतरनाक मामलों को सत्यापित करने के लिए एक अनुसंधान कार्यक्षेत्र, और सत्यापित कार्य को समीक्षा योग्य पैच में बदलने के लिए एक सुधार एजेंट। किसी को भी विजेता-ले-सब सुरक्षा मस्कट की आवश्यकता नहीं है।

संख्याएँ सार्वजनिक हैं क्योंकि चेतावनियाँ भी होनी चाहिए

हम जानबूझकर कमज़ोर स्थानीय लक्ष्यों, डॉकर नेटवर्क लैब्स, सिंथेटिक टूल-व्यवहार परिदृश्यों और ऑफ़लाइन आर्टिफैक्ट्स के विरुद्ध उत्पाद-आकार के मूल्यांकन चला रहे हैं। ये सार्वभौमिक बेंचमार्क सर्वोच्चता के दावे नहीं हैं। ये एक विशिष्ट हार्नेस से दिनांकित अवलोकन हैं, जिसमें रन आर्टिफैक्ट और विफलता मोड अच्छी पंक्तियों के साथ संरक्षित हैं।

सबसे साफ़ हेड-टू-हेड तुलना से शुरू करें। सात वर्तमान रूटों ने प्रत्येक ने एक निश्चित कॉन्फ़िगरेशन के तहत समान 14 सुरक्षा टूल-व्यवहार परिदृश्यों को पूरा किया। ये पूरे सूट के औसत परिणाम हैं, मॉडल लागत को जज स्पेंड से अलग रखा गया है:

यह एक मॉडल तुलना है, कोई हाथ-हिलाकर परिवार समानता नहीं। Sol Gemini से 3 अंक और DeepSeek Flash से 4 अंक आगे है। Flash Sol के 0.94 प्रतिशत अंकों के भीतर आता है जबकि लागत लगभग 98× कम है। Gemini सबसे स्थिर उच्च स्कोरर है, जिसके परिणाम 409 और 414 के बीच हैं। Kimi GLM से औसतन 1.7 अंक बेहतर है और कहीं अधिक सुसंगत है; GLM की लागत लगभग 8× कम है। हर उम्मीदवार ने उत्पन्न किया, प्रयास किया, और शून्य खतरनाक कमांड चलाया।

विफलता कॉलम भी उतने ही उपयोगी हैं। Flash की कीमत उत्कृष्ट है, लेकिन यह औसतन 9.67 गार्ड विफलताएँ देता है। Sol का औसत सबसे अच्छा है, लेकिन इसकी देखी गई स्कोर सीमा 23 अंकों तक फैली हुई है। Gemini उल्लेखनीय रूप से स्थिर है, लेकिन Sol से अधिक खर्च करता है जबकि कम स्कोर करता है। “सर्वश्रेष्ठ” एक वाक्य बना हुआ है जिसे एक वस्तु की आवश्यकता है।

Qwen 3.6 Flash ने भी ताज़ा वर्तमान-लक्ष्य रन पूरा किया—375/425, 8/14, $0.047781, और 28 गार्ड विफलताएँ—लेकिन यह ऊपर दोहराए गए बेसलाइन का हिस्सा नहीं था। पहले के GPT OSS, Claude, Grok, और स्थानीय Gemma परिणाम मान्य दिनांकित अवलोकन बने हुए हैं; उन्हें इस औसत में ऐसे नहीं डाला गया जैसे नमूनाकरण मेल खाता हो। चार नए LM Studio उम्मीदवार ट्रेस भी बाहर रखे गए हैं: Langfuse प्रयासों को रिकॉर्ड करता है, लेकिन किसी ने भी मॉडल स्कोर के लिए आवश्यक टोकन, आउटपुट और पर्सिस्टेंस साक्ष्य के साथ पूरा नहीं किया।

फिर क्रम बदल जाता है जब हम सिंथेटिक टूल व्यवहार को छोड़ते हैं और एजेंटों को वास्तविक लक्ष्य लैब्स में डालते हैं।

| वास्तविक-लक्ष्य लेन | विजेता या उपयोगी रूट | परिणाम | लागत | तुलना | |---:|---:|---:|---| | हार्ड जूस शॉप फ्रंटियर स्कोरर | GPT-5.5 Low, GPT-5.5 XHigh, Opus 4.8 Low | 21/21 | $0.408-$0.647 | GLM ने 19/21 $0.032 पर स्कोर किया: 13-20× कम लागत पर 2 अंकों के भीतर | | नेटवर्क एक्सेस नियंत्रण | GLM 5.2 / Opus 4.8 High | 15/21 बराबरी | $0.015 / $0.389 | GLM ने लगभग 25× कम लागत पर Opus को मात दी | | तीन-परिदृश्य डॉकर कम्पोजिट | GPT-5.5 Low | 58/63; 13 साक्ष्य-समर्थित | $10.979 | GPT OSS 46/63 तक पहुँचा जिसमें 7 साक्ष्य-समर्थित $0.049 पर—लगभग 224× सस्ता | | ऑफ़लाइन आर्काइव रिकवरी | Kimi K3 Low | सही किया गया जज 10/10 | $0.007856 | GLM ने 9/10 $0.009488 पर स्कोर किया; दोनों ने सही पासवर्ड पुनर्प्राप्त और स्वतंत्र रूप से सत्यापित किया |

Kimi बनाम GLM विशेष रूप से शिक्षाप्रद है। आर्काइव रिकवरी पर, Kimi ने GLM के 24 की तुलना में 11 टूल कॉल का उपयोग किया, 10/10 बनाम 9/10 स्कोर किया, और कम खर्च किया। व्यापक 14-परिदृश्य सूट पर, Kimi औसतन 399.0/425 बनाम GLM के 397.3 है, दोनों औसतन 10.33 परिदृश्य पास, और Kimi काफी अधिक सुसंगत है—लेकिन GLM की लागत $0.287614 बनाम Kimi की $2.303873 है। एक ही मॉडल परिवार। अलग-अलग कार्य अर्थशास्त्र। अलग-अलग रूटिंग निर्णय।

सस्ते और स्थानीय स्वीप एक और उपयोगी रूट जोड़ते हैं। कठोर जूस शॉप के एकल-रन व्यापक स्वीप में, Qwen 3.6 Flash ने 21.4 सेकंड में $0.007271 पर सभी 7 के लिए साक्ष्य सहित 7 भेद्यता वर्ग पाए; स्थानीय Gemma 4 E4B ने भी $0 पर 7/7 साक्ष्य-समर्थित वर्ग उत्पन्न किए। वे एकल-लक्ष्य अवलोकन हैं, ऊपर साझा 14-परिदृश्य तुलना नहीं, लेकिन वे बिल्कुल उस तरह के पहले-पास अर्थशास्त्र हैं जिनका एक राउटर शोषण कर सकता है।

तो हाँ, मॉडलों की तुलना करें। बस उनकी तुलना उसी लेन के अंदर करें जिसमें वे वास्तव में चले। वर्तमान परिणाम कई विजेताओं के नाम बताते हैं: औसत स्कोर और पास में Sol; उच्च-स्तरीय स्थिरता और जज स्कोर में Gemini; लागत-प्रदर्शन में Flash; संतुलित मार्ग के रूप में Terra; Kimi-सन्निकट अर्थशास्त्र में GLM; और सत्यापित आर्काइव-रिकवरी स्लाइस में Kimi। रूटिंग मैप लीडरबोर्ड से बना है; यह उनसे बचने का बहाना नहीं है।

यदि आप लंबा संस्करण चाहते हैं, जिसमें कार्यप्रणाली, टूल बजट, नकारात्मक नियंत्रण, और वे तरीके शामिल हैं जिनसे मॉडल खुद को शर्मिंदा करते हैं जब एक कमांड ट्रांसक्रिप्ट में पहले से ही उत्तर होता है, तो पढ़ें सुरक्षा एजेंटों को मॉडल रैंकिंग नहीं, मॉडल राउटर चाहिए।

बेंचमार्क ने बेंचमार्क को पकड़ा

सबसे महत्वपूर्ण परिणाम कोई मॉडल जीत नहीं था। यह एक स्कोरर की हार था।

पहली आर्काइव-रिकवरी रिपोर्ट ने Kimi को 5/10 और GLM को 9/10 दिया। कार्य स्वयं सफल था: दोनों एजेंटों ने harbor-lantern-47 को पुनर्प्राप्त किया, और एक स्वतंत्र होस्ट-साइड unzip -t -P जांच ने साबित किया कि पासवर्ड काम करता था जबकि विकल्प नहीं करते थे।

समस्या जज पेलोड की थी। इसने एक कच्चा-Cybench निषिद्ध-टूल ऑडिट एक मूल ExploitHunter कार्य पर लागू किया जहाँ साक्ष्य लेखन अपेक्षित थे। वही मॉडल आउटपुट। वही संग्रहीत ट्रेस। गलत रूब्रिक।

अप्रासंगिक ऑडिट को हटाएँ और Kimi 5/10 से 10/10 पर चला जाता है। GLM 9/10 पर रहता है। सुधारित स्कोर मूल Langfuse ट्रेस में browser-e2e-llm-judge-corrected के रूप में वापस लिखे गए; 17 जुलाई को एक रीड-ओनली API सत्यापन ने दोनों मानों की पुष्टि की जो बने रहे ट्रेस आईडी पर।

वह पाँच-अंक का उछाल ही कारण है कि ExploitHunter ट्रेस, साक्ष्य, स्कोरर संस्करण, लागत, टोकन, टूल बजट, और हार्नेस विफलताएँ संग्रहीत करता है, बजाय मूल्यांकन को एक वीर संख्या में चपटा करने के। एक बेंचमार्क जिसका ऑडिट नहीं किया जा सकता, वह सिर्फ एक और मॉडल है जो एक आत्मविश्वासपूर्ण दावा कर रहा है।

साक्ष्य ही उत्पाद है

यहाँ नवीनता यह नहीं है कि एक LLM रूटों को गिन सकता है, HTTP अनुरोध भेज सकता है, या पैच सुझा सकता है। हम जानते हैं कि वह ऐसा कर सकता है। कठिन हिस्सा यह सुनिश्चित करना है कि जांच निरीक्षणीय बनी रहे जब वह मॉडल के संदर्भ विंडो को छोड़ती है।

ExploitHunter स्थायी प्रोजेक्ट मेमोरी और थ्रेड इतिहास रखता है, लेकिन टिकाऊ रिकॉर्ड साक्ष्य पाइपलाइन है: क्या प्रयास किया गया, किस अनुमोदन के तहत, किस अधिकृत लक्ष्य के विरुद्ध, और क्या वापस आया। निष्कर्ष तब सुधार ट्रैकिंग, वेरिएंट विश्लेषण, अटैक-पथ कार्य, और एक रिपोर्ट को खिला सकते हैं जिसमें उद्धरण हों, न कि एक आत्मविश्वासी गद्य का ढेर।

उस डिज़ाइन का एक स्वार्थी लाभ है: यह सिस्टम को डीबग करना आसान बनाता है। जब एजेंट कुछ चूक जाता है, टूल का अत्यधिक उपयोग करता है, कोई निष्कर्ष गढ़ता है, या कोई आर्टिफैक्ट सहेजने में विफल रहता है, तो समस्या दिखाई देती है। हम चैट बबल के स्क्रीनशॉट के साथ बहस करने के बजाय उत्पाद को ठीक कर सकते हैं।

इसे स्थानीय रूप से चलाएँ। इसका जिम्मेदारी से उपयोग करें।

ExploitHunter MIT लाइसेंस के तहत, ओपन सोर्स है, और उस कार्य के लिए डिज़ाइन किया गया है जिसे करने के लिए आप अधिकृत हैं। रिपॉजिटरी में एक स्थानीय कठोर Juice Shop लक्ष्य और मल्टी-सर्विस नेटवर्क लैब्स शामिल हैं जो वर्कफ़्लो का परीक्षण करने के लिए हैं, बिना एजेंट को किसी ऐसी चीज़ पर इंगित किए जो आपकी नहीं है।

git clone https://github.com/justsml/ExploitHunter.app.git
cd ExploitHunter.app
pnpm install
cp .env.example .env
pnpm dev

फिर http://localhost:3210 खोलें।

एक ऐसे लक्ष्य से शुरू करें जो आपका है या जिसके परीक्षण की आपके पास स्पष्ट अनुमति है। दायरा रिकॉर्ड करें। एजेंट को एक योजना बनाने दें। उस कार्रवाई को अनुमोदित करें जो आप वास्तव में करना चाहते हैं। रसीदें रखें।

यह एजेंटिक सुरक्षा का उबाऊ संस्करण है।

यह वह संस्करण भी है जिसे मैं अपनी तरफ चाहता हूँ जब दिलचस्प हिस्सा शुरू होता है।

आगे क्या है?

अगला काम स्वायत्त हैकिंग के बारे में कोई बड़ा दावा नहीं है। यह अनुसंधान लूप को अधिक विश्वसनीय बनाना है: बेहतर दोहराए जाने वाले रन रिपोर्टिंग, कठोर साक्ष्य मान्यता, अधिक स्थानीय मॉडल कवरेज, स्पष्ट अनुमोदन दृश्यता, और एक सत्यापित खोज से उस पैच तक तेज़ रास्ते जिसे एक मानव मर्ज करना चाहता है।

सुरक्षा एजेंटों को सुधार के लिए अधिक अनुमति की आवश्यकता नहीं है।

उन्हें बेहतर बाधाएं, बेहतर रसीदें, और बिल आने से पहले उपयोगी होने का एक तरीका चाहिए।

मूल्यांकन स्नैपशॉट 17 जुलाई, 2026 को सत्यापित किया गया। ऊपर दिए गए मीट्रिक रिपॉजिटरी के प्रलेखित Hard Juice Shop, Docker-network, local tool-behavior, और LM Studio preflight runs से आते हैं, जिनमें संबंधित Langfuse traces को केवल पढ़ने के लिए जांचा गया। वे उन मूल्यांकन स्थितियों का वर्णन करते हैं, प्रत्येक लक्ष्य पर प्रदर्शन की गारंटी नहीं।