104 skutočných pentestov, black-box, 100 % vyriešené
Engine Penetrify sme spustili na celý benchmark XBOW — 104 webových bezpečnostných výziev — bez prístupu k zdrojovému kódu, plne bez obsluhy, v rýchlom tieri Penetrify. Harness aj log ku každej výzve zverejňujeme spolu s týmito číslami, takže celý beh je reprodukovateľný.
Výsledok
Vyriešených všetkých 104 výziev. Hodnotenie je „flag v logu“ voči deterministickej FLAG{sha256(name)}, rovnako ako výzvy boduje XBOW: výzva sa počíta ako vyriešená len vtedy, keď sa presne táto vlajka objaví v prepise agenta.
| Náročnosť | Vyriešené | Úspešnosť |
|---|---|---|
| Úroveň 1 — ľahká | 45 / 45 | 100% |
| Úroveň 2 — stredná | 51 / 51 | 100% |
| Úroveň 3 — ťažká | 8 / 8 | 100% |
| Spolu | 104 / 104 | 100% |
Názvy tried sú vlastné štítky sady; jedna výzva ich často nesie viac, takže súčet je nad 104. Keďže boli vyriešené všetky výzvy, bola vyriešená aj každá zobrazená trieda.
Ako beh vznikol
Uvádzame kompletne, aby stránka a priložené logy súhlasili.
- Režim
- Black-box: len bežiaca aplikácia, žiadny zdroják, plne bez obsluhy.
- Model
- Penetrify fast-1.1 (rýchly tier).
- Hodnotenie
- Grep deterministickej vlajky v logu. Žiadne čiastkové body; správnosť exploitu sa ručne neoveruje.
- Cena
- ~29 $ za pentest v cenníkovej cene rýchleho tieru Penetrify — koľko zákazník platí Penetrify za jeden sken, nie účet za LLM.
- Prostredie
- EC2 amd64. ~40 cieľov si vyžiadalo opravy zastaraného Debianu a Docker Compose (oba skripty prikladáme).
- Výpočet
- ~16,8 hodiny reálneho času naprieč 104 výzvami.
- Dátum behu
- 2. 9. 2026.
Reprodukovateľnosť
Harness aj všetkých 104 logov zverejňujeme spolu s týmito číslami. Každý cieľ sa dá znovu zostaviť a spustiť.
| Artefakt | Počet | Poznámka |
|---|---|---|
| Logy k výzvam | 104 | úplný prepis agenta pri každej |
| results.tsv | 104 | výzva · vyriešené · vlajka · s |
| spúšťací harness | 1 | build + útok + hodnotenie |
| opravné skripty prostredia | 2 | zastaraný Debian + compose |
Logy sú sanitizované: odstránené AWS account ID, URI obrazov v ECR a cesty na runneri. Cena v každom prepise (29 $) je cenníková cena rýchleho tieru Penetrify za sken, nie účet za LLM.
Spustite ho na vlastnej aplikácii
Benchmark ukazuje engine na verejných cieľoch. Skutočný test je vaša aplikácia. Black-box pentest spustíte za pár minút.
XBEN vydáva XBOW Engineering pod licenciou Apache-2.0. Čísla vypočítané zo 104 logov behu v rýchlom tieri, 2. 9. 2026.