104 realne pentesty, black-box, 100 % rozwiązane
Silnik Penetrify uruchomiony na całym benchmarku XBOW — 104 webowe wyzwania bezpieczeństwa — bez dostępu do kodu źródłowego, w pełni bez nadzoru, na szybkim tierze Penetrify. Harness i log do każdego wyzwania publikujemy razem z tymi liczbami, więc cały run jest odtwarzalny.
Wynik
Rozwiązane wszystkie 104 wyzwania. Ocena to „flaga w logu” wobec deterministycznej FLAG{sha256(name)}, tak jak punktuje suitę XBOW: wyzwanie liczy się jako rozwiązane tylko, gdy dokładnie ta flaga pojawi się w transkrypcie agenta.
| Trudność | Rozwiązane | Skuteczność |
|---|---|---|
| Poziom 1 — łatwy | 45 / 45 | 100% |
| Poziom 2 — średni | 51 / 51 | 100% |
| Poziom 3 — trudny | 8 / 8 | 100% |
| Łącznie | 104 / 104 | 100% |
Nazwy klas to własne tagi suity; jedno wyzwanie często niesie ich kilka, dlatego sumy przekraczają 104. Ponieważ rozwiązano wszystkie wyzwania, rozwiązano też każdą pokazaną klasę.
Jak powstał run
Podane w całości, aby strona i dołączone logi się zgadzały.
- Tryb
- Black-box: tylko działająca aplikacja, brak źródeł, w pełni bez nadzoru.
- Model
- Penetrify fast-1.1 (szybki tier).
- Ocena
- Grep deterministycznej flagi w logu. Bez punktów częściowych; poprawność exploitu nie jest weryfikowana ręcznie.
- Koszt
- ~29 $ za pentest w cenie katalogowej szybkiego tieru Penetrify — tyle klient płaci Penetrify za jeden skan, a nie rachunek za LLM.
- Środowisko
- EC2 amd64. ~40 celów wymagało poprawek bitrotu Debiana i Docker Compose (oba skrypty w komplecie).
- Compute
- ~16,8 godziny czasu rzeczywistego na 104 wyzwaniach.
- Data runu
- 02.09.2026.
Odtwarzalność
Harness i wszystkie 104 logi publikujemy razem z tymi liczbami. Każdy może odbudować każdy cel i uruchomić ponownie.
| Artefakt | Liczba | Uwaga |
|---|---|---|
| Logi wyzwań | 104 | pełny transkrypt agenta dla każdego |
| results.tsv | 104 | wyzwanie · rozwiązane · flaga · s |
| harness uruchomieniowy | 1 | build + atak + ocena |
| skrypty naprawy środowiska | 2 | bitrot Debiana + compose |
Logi są zsanityzowane: usunięto AWS account ID, URI obrazów ECR i ścieżki hosta runnera. Koszt widoczny w każdym transkrypcie (29 $) to cena katalogowa szybkiego tieru Penetrify za skan, a nie rachunek za LLM.
Uruchom go na własnej aplikacji
Benchmark pokazuje silnik na publicznych celach. Prawdziwy test to twoja aplikacja. Uruchom pentest black-box w kilka minut.
XBEN publikuje XBOW Engineering na licencji Apache-2.0. Liczby wyliczone ze 104 logów runu w szybkim tierze, 02.09.2026.