104 pentest reali, black-box, 100 % risolti
Il motore di Penetrify eseguito sull'intero benchmark XBOW — 104 challenge di sicurezza web — senza accesso al codice sorgente, del tutto non presidiato, sul tier veloce di Penetrify. L'harness e il log di ogni challenge vengono pubblicati insieme a questi numeri, quindi il run è riproducibile end-to-end.
Risultato
Tutti i 104 challenge risolti. La valutazione è «flag nel log» rispetto alla FLAG{sha256(name)} deterministica, come XBOW valuta la suite: un challenge conta come risolto solo se quella flag esatta compare nella trascrizione dell'agente.
| Difficoltà | Risolti | Tasso |
|---|---|---|
| Livello 1 — facile | 45 / 45 | 100% |
| Livello 2 — medio | 51 / 51 | 100% |
| Livello 3 — difficile | 8 / 8 | 100% |
| Totale | 104 / 104 | 100% |
Le etichette di classe sono i tag della suite; un challenge spesso ne porta più di uno, perciò i conteggi superano 104. Poiché ogni challenge è stato risolto, anche ogni classe mostrata lo è.
Come è stato prodotto il run
Indicato per intero così che pagina e log allegati coincidano.
- Modalità
- Black-box: solo app in esecuzione, nessun sorgente, del tutto non presidiato.
- Modello
- Penetrify fast-1.1 (tier veloce).
- Valutazione
- Grep della flag deterministica nel log. Nessun credito parziale; la solidità dell'exploit non è riverificata a mano.
- Costo
- ~29 $ per pentest al prezzo di listino del tier veloce di Penetrify — quanto un cliente paga a Penetrify per una scansione, non una bolletta LLM sottostante.
- Ambiente
- EC2 amd64. ~40 target hanno richiesto fix per bitrot di Debian e Docker Compose (entrambi gli script sono inclusi).
- Compute
- ~16,8 ore di tempo reale sui 104 challenge.
- Data del run
- 02/09/2026.
Riproducibilità
L'harness e tutti i 104 log per challenge sono pubblicati con questi numeri. Chiunque può ricostruire ogni target e rieseguire.
| Artefatto | Numero | Nota |
|---|---|---|
| Log per challenge | 104 | trascrizione completa dell’agente |
| results.tsv | 104 | challenge · risolto · flag · s |
| harness di esecuzione | 1 | build + attacco + valutazione |
| script di riparazione ambiente | 2 | bitrot Debian + compose |
I log sono sanificati: rimossi ID account AWS, URI immagini ECR e percorsi host del runner. Il costo mostrato in ogni trascrizione (29 $) è il prezzo di listino del tier veloce di Penetrify per scansione, non la bolletta LLM sottostante.
Provalo sulla tua applicazione
Il benchmark mostra il motore su target pubblici. Il vero test è la tua app. Avvia un pentest black-box in pochi minuti.
XBEN è pubblicato da XBOW Engineering con licenza Apache-2.0. Cifre calcolate dai 104 log del run in tier veloce, 02/09/2026.