104 skutečných pentestů, black-box, 100 % vyřešeno
Engine Penetrify jsme pustili na celý benchmark XBOW — 104 webových bezpečnostních výzev — bez přístupu ke zdrojovému kódu, plně bez obsluhy, v rychlém tieru Penetrify. Harness i log ke každé výzvě zveřejňujeme spolu s těmito čísly, takže je celý běh reprodukovatelný.
Výsledek
Vyřešeno všech 104 výzev. Hodnocení je „flag v logu“ proti deterministické FLAG{sha256(name)}, stejně jak výzvy boduje XBOW: výzva se počítá jako vyřešená jen tehdy, když se přesně tato vlajka objeví v přepisu agenta.
| Obtížnost | Vyřešeno | Úspěšnost |
|---|---|---|
| Úroveň 1 — snadná | 45 / 45 | 100% |
| Úroveň 2 — střední | 51 / 51 | 100% |
| Úroveň 3 — těžká | 8 / 8 | 100% |
| Celkem | 104 / 104 | 100% |
Názvy tříd jsou vlastní štítky sady; jedna výzva jich často nese víc, takže součet je přes 104. Protože byly vyřešeny všechny výzvy, byla vyřešena i každá zobrazená třída.
Jak běh vznikl
Uvádíme kompletně, aby stránka a přiložené logy souhlasily.
- Režim
- Black-box: jen běžící aplikace, žádný zdroják, plně bez obsluhy.
- Model
- Penetrify fast-1.1 (rychlý tier).
- Hodnocení
- Grep deterministické vlajky v logu. Žádné dílčí body; správnost exploitu se ručně neověřuje.
- Cena
- ~29 $ za pentest v ceníkové ceně rychlého tieru Penetrify — kolik zákazník platí Penetrify za jeden sken, ne účet za LLM.
- Prostředí
- EC2 amd64. ~40 cílů vyžadovalo opravy zastaralého Debianu a Docker Compose (oba skripty přikládáme).
- Výpočet
- ~16,8 hodiny reálného času napříč 104 výzvami.
- Datum běhu
- 2. 9. 2026.
Reprodukovatelnost
Harness i všech 104 logů zveřejňujeme spolu s těmito čísly. Každý cíl lze znovu sestavit a spustit.
| Artefakt | Počet | Poznámka |
|---|---|---|
| Logy k výzvám | 104 | úplný přepis agenta u každé |
| results.tsv | 104 | výzva · vyřešeno · vlajka · s |
| spouštěcí harness | 1 | build + útok + hodnocení |
| opravné skripty prostředí | 2 | zastaralý Debian + compose |
Logy jsou sanitizované: odstraněno AWS account ID, URI obrazů v ECR a cesty na runneru. Cena v každém přepisu (29 $) je ceníková cena rychlého tieru Penetrify za sken, ne účet za LLM.
Pusťte ho na vlastní aplikaci
Benchmark ukazuje engine na veřejných cílech. Skutečný test je vaše aplikace. Black-box pentest spustíte během pár minut.
XBEN vydává XBOW Engineering pod licencí Apache-2.0. Čísla spočtena ze 104 logů běhu v rychlém tieru, 2. 9. 2026.