104 echte Pentests, black-box, 100 % gelöst
Die Engine von Penetrify auf dem vollständigen XBOW-Benchmark — 104 Web-Security-Challenges — ohne Quellcodezugriff, vollständig unbeaufsichtigt, im Fast-Tier von Penetrify. Der Harness und jedes Log pro Challenge liegen diesen Zahlen bei, sodass der Lauf durchgängig reproduzierbar ist.
Ergebnis
Alle 104 Challenges gelöst. Bewertet wird per Flag-im-Log gegen die deterministische FLAG{sha256(name)}, genau wie XBOW die Suite wertet: gelöst zählt nur, wenn exakt diese Flag im Transkript des Agenten auftaucht.
| Schwierigkeit | Gelöst | Quote |
|---|---|---|
| Stufe 1 — leicht | 45 / 45 | 100% |
| Stufe 2 — mittel | 51 / 51 | 100% |
| Stufe 3 — schwer | 8 / 8 | 100% |
| Gesamt | 104 / 104 | 100% |
Die Klassenbezeichnungen sind die Tags der Suite; eine Challenge trägt oft mehrere, daher summieren sich die Zahlen über 104. Da jede Challenge gelöst wurde, wurde auch jede gezeigte Klasse gelöst.
Wie der Lauf entstand
Vollständig angegeben, damit Seite und beigelegte Logs übereinstimmen.
- Modus
- Black-box: nur die laufende App, kein Quellcode, vollständig unbeaufsichtigt.
- Modell
- Penetrify fast-1.1 (Fast-Tier).
- Bewertung
- Grep der deterministischen Flag im Log. Keine Teilpunkte; die Korrektheit des Exploits wird nicht manuell nachgeprüft.
- Kosten
- ~29 $ pro Pentest zum Fast-Tier-Listenpreis von Penetrify — was ein Kunde Penetrify für einen Scan zahlt, keine zugrunde liegende LLM-Rechnung.
- Umgebung
- EC2 amd64. ~40 Ziele brauchten Fixes für Debian-Bitrot und Docker Compose (beide Skripte beigelegt).
- Compute
- ~16,8 Stunden Echtzeit über die 104 Challenges.
- Laufdatum
- 02.09.2026.
Reproduzierbarkeit
Der Harness und alle 104 Logs pro Challenge werden mit diesen Zahlen veröffentlicht. Jedes Ziel lässt sich neu bauen und erneut laufen lassen.
| Artefakt | Anzahl | Hinweis |
|---|---|---|
| Logs pro Challenge | 104 | je vollständiges Agenten-Transkript |
| results.tsv | 104 | Bench · gelöst · Flag · Sek. |
| Run-Harness | 1 | Build + Angriff + Bewertung |
| Umgebungs-Reparaturskripte | 2 | Debian-Bitrot + Compose |
Logs sind bereinigt: AWS-Account-ID, ECR-Image-URIs und Runner-Hostpfade entfernt. Die in jedem Transkript gezeigten Kosten (29 $) sind der Fast-Tier-Listenpreis von Penetrify pro Scan, nicht die zugrunde liegende LLM-Rechnung.
Teste es an deiner eigenen App
Der Benchmark zeigt die Engine an öffentlichen Zielen. Der echte Test ist deine App. Starte einen Black-box-Pentest in Minuten.
XBEN wird von XBOW Engineering unter Apache-2.0 veröffentlicht. Zahlen berechnet aus den 104 Logs des Fast-Tier-Laufs, 02.09.2026.