הכרזה על ExploitHunter.app: פלטפורמת אבטחת ה‑AI מספר 1

חבילת אבטחה התקפית מקיפה, עם חבילת הערכה עמוקה.

תוכן עניינים

• הלולאה השימושית קצרה
• סוכן אבטחה לא צריך מודל מועדף אחד
• הכלים הראויים לאשראי לא כולם עושים אותה עבודה
• המספרים ציבוריים כי גם הסייגים צריכים להיות
• המדד תפס את המדד
• הראיות הן המוצר
• הפעל אותו מקומי. השתמש בו באחריות.
• מה הלאה

לכלי אבטחה יש בעיית ניירת קטנה.

הם מוצאים שורה חשודה, מעניקים לה תג חומרה, ואז בשקט מכריחים אותך להוכיח אם זה משנה. הממצא הוא “גבוה.” ועדיין הראיה היא שלושה grepים לבושים במעיל גשם.

התהליך הזה כבר היה יקר. סוכנים הופכים אותו לגרוע יותר אם נרשה להם. מודל עם דפדפן, שורת פקודה והוראה מעורפלת יכול לייצר ערימה משכנעת מאוד של פעילות ואסימונים שרופים. אסימונים שרופים != אש.

אז בניתי את ExploitHunter.app: סביבת עבודה מקומית-ראשונה וקוד פתוח למחקר אבטחה מורשה. היא נותנת לסוכן עבודה אמיתית: לתכנן חקירה, להישאר בתוך תחום מטרה מתועד, לבקש אישור לפני ביצוע עבודה מסוכנת, לשמור ראיות, ולהפיק דו”ח שמישהו אחר באמת יכול לבדוק.

לא סורק עם צ’טבוט מודבק. לא חלון צ’אט שמחזיק סט כלי פריצה. לולאת מחקר עם מטרות ומחסומים.

הנקודה היא לא לגרום לסוכן להיראות עסוק. הנקודה היא לגרום לכל טענה לשרוד מגע עם מהנדס אחר.

הלולאה השימושית קצרה

פרויקט ExploitHunter עובר רצף משעמם במכוון:

authorize target → plan → request approval → probe → save evidence → prioritize → report

הסדר הזה חשוב.

הרשאת המטרה היא עמידה. היא לא חיה רק בהודעת צ’אט שבה “בטח, קדימה” יכולה לקבל משמעויות חדשות שלוש פניות מאוחר יותר. סריקות פעילות, בדיקות אישורים, פקודות שורת פקודה וכתיבות קבצים דורשות שער אישור. אישורים לפקודות בעלות השפעה גבוהה הם קשורים לכוונה, מוגבלים לפרויקט ולמטרה, ושימוש-חד-פעמי כברירת מחדל.

ואז יש את החלק שכלי אבטחה אוהבים להעביר ביד קלה: הוכחה. ExploitHunter מאחסן את הפרובינג, התגובה, תמלול הפקודה, צילום המסך והארטיפקט התומך יחד עם הממצא. דו”ח יכול לצטט את עבודתו במקום לנסח מחדש וייבים מהתשובה הסופית של המודל.

זה לא הופך מחקר לבטוח בקסם. זה מפחית סחיפה של תחום, הופך סקירות לפחות תלויות בזיכרון, ונותן לצוותים משהו טוב יותר מאשר “הבינה המלאכותית אמרה כך.”

סוכן אבטחה לא צריך מודל מועדף אחד

ההכרזות האחרונות על אבטחה-סוכנית הן אות שימושי: יותר צוותים מבינים שניתוח מקור זקוק להיגיון מנקודת מבט של תוקף, להפרכה ולתיקון—לא עוד קרנבל של sinks מבודדים. ההכרזה של Capital One על VulnHunter מציגה את הטיעון הזה בבירור עבור תהליך ניתוח קוד מותאם ל-Claude/Claude Code.

ExploitHunter עושה הימור שונה.

מחקר אבטחה הוא לא משימה של מודל אחד. סיור רשת רחב, מעבדה מקומית מוגבלת, סינתזת ראיות, זרימת דפדפן, ומעבר תיקון סופי—כולם מתוגמלים על ידי מודלים שונים, תקציבי כלים ועמדות פרטיות. המודל הנכון הוא החלטת נתיב, לא לוגו על מסך הגדרות.

זו הסיבה ש-ExploitHunter תומך בספקי אירוח כמו גם ב-Ollama וב-LM Studio. הריצו אותו כשירות Node מקומי או כיישום שולחן עבודה של Electron. השאירו את מפתחות ה-API המאוחסנים ריקים והוא יכול להשתמש במודל מקומי תואם מבלי לשלוח עבודת מועמד לספק בתשלום. השתמשו במסלול מאוחסן כאשר המהירות או בעיה קשה מצדיקים זאת. שמרו עבודה רגישה מקומית כשהגבול הזה חשוב יותר מאשר לחסוך כמה שניות מהרצה.

ראשוניות מקומית אינה אומרת שכל מודל שהורד הופך לסוכן אבטחה אמין. בדיקת המקדימות האחרונה של מכונת הפיתוח ניסתה 24 חבילות LM Studio; שלוש עברו את שערי הטעינה, האסימון הראשון והתפוקה. ארבעה ניסיונות מאוחרים יותר של נתיב דפדפן לא הניבו שורה הזכאית לאיכות מודל: אחד חרג מההקשר הזמין, והאחרים הסתיימו ללא הראיות של אסימון, פלט והתמדה הנדרשות על ידי הרתמה. ניסיון נתיב הייצור האחרון הגיע לסקירת ההשלמה, אך השופט האיכותי דירג נכוחה את הסשן החסום באפס. אלה תוצאות אינטגרציה, לא ציוני איכות מודל—וזו בדיוק הסיבה ש-ExploitHunter בודק את הנתיב המלא במקום להכריז על ניצחון כשמודל עונה על פרומפט אחד.

אין ניצחון מוסרי בלהשתמש במודל היקר ביותר לכל משימת אבטחה. יש רק חשבונית.

הכלים ששווה לזקוף לזכותם לא כולם עושים את אותה העבודה

התחום הזה נעשה מעניין במהירות. זה טוב. צוותי אבטחה צריכים יותר מצורה אחת של כלי, ולהעמיד פנים אחרת זה איך כל קטגוריה הופכת לרשימת תכונות במעיל גשם.

הערימה השימושית עשויה להיות יותר מאחד מהכלים האלה: סורק מקור להעלאת מועמדים, זרימת משימה למיון דפוסים חוזרים, סביבת עבודה מחקרית לאימות המקרים המסוכנים, וסוכן תיקונים להפוך עבודה מאומתת לתיקון הניתן לסקירה. אף אחד לא צריך קמע אבטחה של לוקח הכל.

המספרים ציבוריים כי גם האזהרות צריכות להיות

אנחנו מריצים הערכות בצורת מוצר נגד יעדים מקומיים פגיעים בכוונה, מעבדות רשת Docker, תרחישי התנהגות כלים סינתטיים, וארטיפקטים לא מקוונים. אלה אינן טענות לעליונות אוניברסלית במדדי ביצועים. הן תצפיות מתוארכות מרתמה ספציפית, עם ארטיפקטים של הרצה ומצבי כשל שנשמרו לצד השורות הטובות.

נתחיל בהשוואה הישירה ביותר. שבעה מסלולים נוכחיים השלימו כל אחד את אותם 14 תרחישי התנהגות כלי אבטחה תחת תצורה קבועה. אלה תוצאות ממוצעות של כל הסט, כשעלות המודל מופרדת מהוצאות השופט:

זוהי השוואת מודלים, לא דמיון משפחתי עמום. Sol מוביל בממוצע ב-3 נקודות על Gemini ו-4 נקודות על DeepSeek Flash. Flash מגיע לטווח של 0.94 נקודות אחוז מ-Sol תוך עלות של בערך 98× פחות. Gemini הוא הקולע הגבוה היציב ביותר, עם תוצאות בין 409 ל-414. Kimi מנצח את GLM ב-1.7 נקודות ממוצעות והוא עקבי הרבה יותר; GLM עולה בערך 8× פחות. כל מועמד יצר, ניסה והריץ אפס פקודות מסוכנות.

עמודי הכישלון שימושיים לא פחות. המחיר של Flash מצוין, אבל הוא ממוצע 9.67 כשלי שמירה. הממוצע של Sol הוא הטוב ביותר, אבל טווח הציונים הנצפה שלו משתרע על פני 23 נקודות. Gemini יציב להפליא, אבל עולה יותר מ-Sol בזמן שמדורג נמוך יותר. “הטוב ביותר” נשאר משפט שצריך מושא.

Qwen 3.6 Flash גם השלים את ריצת היעד הנוכחי המחודשת—375/425, 8/14, $0.047781, ו-28 כשלי שמירה—אבל לא היה חלק מקו הבסיס החוזר לעיל. תוצאות מוקדמות יותר של GPT OSS, Claude, Grok ו-local Gemma נשארות תצפיות מתוארכות תקפות; הן לא הוברחו לממוצע הזה כאילו הדגימה תואמת. גם ארבע עקבות המועמד של LM Studio החדשות יותר אינן נכללות: Langfuse מתעד את הניסיונות, אבל אף אחד לא השלים עם הראיות של אסימון, פלט והתמדה הנדרשות לציון מודל.

ואז הסדר משתנה כשאנחנו עוזבים התנהגות כלים סינתטית ומכניסים את הסוכנים למעבדות יעד אמיתיות.

Kimi לעומת GLM הוא מאלף במיוחד. בשחזור ארכיון, Kimi השתמשה ב-11 קריאות כלים לעומת 24 של GLM, קיבלה 10/10 לעומת 9/10, ועלתה פחות. בסט הרחב יותר של 14 תרחישים, Kimi ממוצעת 399.0/425 לעומת 397.3 של GLM, שניהם ממוצעים 10.33 מעברי תרחיש, ו-Kimi עקבית באופן משמעותי—אבל GLM עולה $0.287614 לעומת $2.303873 של Kimi. אותן שתי משפחות מודלים. כלכלת משימה שונה. החלטת ניתוב שונה.

הסריקות הזולות והמקומיות מוסיפות מסלול שימושי נוסף. בסריקות רחבות של ריצה בודדת של Juice Shop מוקשה, Qwen 3.6 Flash מצאה 7 מחלקות פרצות עם ראיות לכל 7 תוך 21.4 שניות ב-$0.007271; local Gemma 4 E4B גם הפיקה 7/7 מחלקות מגובות בראיות ב-$0. אלה תצפיות של יעד בודד, לא השוואת 14 התרחישים המשותפת לעיל, אבל הן בדיוק הכלכלה של מעבר ראשון שנתב יכול לנצל.

אז כן, השוו את המודלים. פשוט השוו אותם במסלול שבו הם באמת רצו. התוצאות הנוכחיות מציינות כמה מנצחים: Sol בציון ממוצע ומעברים; Gemini בעקביות גבוהה ובציון השופט; Flash בעלות-ביצועים; Terra כמסלול המאוזן; GLM בכלכלה דמוית Kimi; ו-Kimi בחיתוך הוכח של שחזור ארכיונים. מפת הניתוב בנויה מטבלאות מובילות; זה לא תירוץ להימנע מהן.

אם אתם רוצים את הגרסה הארוכה, כולל מתודולוגיה, תקציבי כלים, בקרות שליליות, והדרכים שבהן מודלים מביכים את עצמם כשתמליל פקודה כבר מכיל את התשובה, קראו את Security Agents Need Model Routers, Not Model Rankings.

ה-benchmark תפס את ה-benchmark

התוצאה החשובה ביותר לא הייתה ניצחון של מודל. היא הייתה הפסד של מדרג.

הדוח הראשון של שחזור ארכיונים נתן ל-Kimi 5/10 ול-GLM 9/10. המשימה עצמה הצליחה: שני הסוכנים שחזרו את harbor-lantern-47, ובדיקת unzip -t -P עצמאית בצד המארח הוכיחה שהסיסמה עבדה בזמן שהחלופות לא.

הבעיה הייתה מטען השופט. הוא הפעיל ביקורת כלים אסורה גולמית של Cybench על משימת ExploitHunter מקורית שבה ציפו לכתיבת ראיות. אותו פלט מודל. אותו trace שמור. רובריקה שגויה.

הסרת הביקורת הלא רלוונטית: Kimi עובר מ-5/10 ל-10/10. GLM נשאר ב-9/10. הציונים המתוקנים נכתבו חזרה ל-traces המקוריים של Langfuse בתור browser-e2e-llm-judge-corrected; אימות API לקריאה בלבד ב-17 ביולי אישר את שני הערכים על מזהי ה-trace שהתמידו.

התנודה הזו של חמש נקודות היא הסיבה לכך ש-ExploitHunter שומרת traces, ראיות, גרסאות מדרג, עלות, אסימונים, תקציבי כלים, וכשלי רתמה – במקום לשטח הערכה למספר גיבור אחד. Benchmark שאי אפשר לבקר אותו הוא סתם עוד מודל שטוען טענה משכנעת.

ראיות הן המוצר

החידוש כאן אינו בכך ש-LLM יכול למנות מסלולים, לשלוח בקשת HTTP, או להציע תיקון. אנחנו יודעים שהוא יכול לעשות את זה. החלק הקשה הוא להבטיח שהחקירה תישאר ניתנת לבדיקה כשהיא עוזבת את חלון ההקשר של המודל.

ExploitHunter שומרת זיכרון פרויקט מתמיד והיסטוריית שרשורים, אבל הרשומה העמידה היא צינור הראיות: מה נוסה, תחת איזה אישור, נגד איזה יעד מורשה, ומה חזר. ממצאים יכולים אז להזין מעקב תיקונים, ניתוח וריאנטים, עבודת נתיבי תקיפה, ודוח עם ציטוטים במקום גוש פרוזה בטוח בעצמו.

לעיצוב הזה יש תועלת אנוכית: הוא הופך את המערכת לקלה יותר לניפוי באגים. כשהסוכן מפספס משהו, משתמש יתר בכלים, ממציא מסקנה, או נכשל בשמירת ארטיפקט, הבעיה גלויה. אנחנו יכולים לתקן את המוצר במקום להתווכח עם צילום מסך של בועת צ’אט.

הריצו אותו מקומית. השתמשו בו באחריות.

ExploitHunter היא ברישיון MIT, קוד פתוח, ומיועדת לעבודה שאתם מורשים לבצע. המאגר כולל יעד Juice Shop מוקשה מקומי ומעבדות רשת מרובות שירותים לבדיקת זרימת העבודה מבלי להפנות סוכן למשהו שאינו בבעלותכם.

git clone https://github.com/justsml/ExploitHunter.app.git
cd ExploitHunter.app
pnpm install
cp .env.example .env
pnpm dev

אז פתחו את http://localhost:3210.

התחילו עם יעד שבבעלותכם או שיש לכם הרשאה מפורשת לבדוק אותו. תיעדו את התחום. תנו לסוכן לעשות תוכנית. אישרו את הפעולה שאתם באמת מתכוונים לבצע. שמרו את הקבלות.

זו הגרסה המשעממת של אבטחה סוכנית.

זו גם הגרסה שאני רוצה לצדי כשהחלק המעניין מתחיל.

מה הלאה

המשימה הבאה אינה טענה ענקית על פריצה אוטונומית. היא הפיכת לולאת המחקר לאמינה יותר: דיווחי הרצה חוזרים טובים יותר, אימות ראיות מחמיר יותר, כיסוי מודלים מקומיים רחב יותר, נראות אישור ברורה יותר, ומסלולים מהירים יותר מממצא מאומת לתיקון שבן אנוש מוכן למזג.

סוכני אבטחה אינם זקוקים לעוד רשות לאלתר.

הם זקוקים לאילוצים טובים יותר, קבלות טובות יותר, ודרך להיות שימושיים לפני שהחשבון מגיע.

תמונה סטטוס של ההערכה אומתה ב-17 ביולי 2026. המדדים למעלה מגיעים מריצות מתועדות במאגר של Hard Juice Shop, רשת Docker, התנהגות כלים מקומית, וריצות טרום-הרצה של LM Studio, עם עקבות Langfuse המתאימות שנבדקו בקריאה בלבד. הן מתארות את תנאי ההערכה האלה, לא ערובה לביצועים על כל יעד.