104 pentests reales, black-box, 100 % resueltos
El motor de Penetrify ejecutado sobre todo el benchmark XBOW — 104 retos de seguridad web — sin acceso al código fuente, totalmente sin intervención, en el tier rápido de Penetrify. El harness y el log de cada reto se publican junto a estas cifras, así que el run es reproducible de principio a fin.
Resultado
Los 104 retos resueltos. La calificación es «flag en el log» contra la FLAG{sha256(name)} determinista, igual que XBOW puntúa la suite: un reto cuenta como resuelto solo si esa flag exacta aparece en la transcripción del agente.
| Dificultad | Resueltos | Tasa |
|---|---|---|
| Nivel 1 — fácil | 45 / 45 | 100% |
| Nivel 2 — medio | 51 / 51 | 100% |
| Nivel 3 — difícil | 8 / 8 | 100% |
| Total | 104 / 104 | 100% |
Las etiquetas de clase son las propias de la suite; un reto suele llevar varias, por eso los recuentos suman más de 104. Como se resolvieron todos los retos, cada clase mostrada también se resolvió.
Cómo se produjo el run
Indicado por completo para que la página y los logs adjuntos coincidan.
- Modo
- Black-box: solo la app en ejecución, sin código fuente, totalmente sin intervención.
- Modelo
- Penetrify fast-1.1 (tier rápido).
- Calificación
- Grep de la flag determinista en el log. Sin crédito parcial; la validez del exploit no se reverifica a mano.
- Coste
- ~29 $ por pentest al precio de lista del tier rápido de Penetrify — lo que un cliente paga a Penetrify por un escaneo, no una factura de LLM subyacente.
- Entorno
- EC2 amd64. ~40 objetivos necesitaron arreglos de bitrot de Debian y Docker Compose (se incluyen ambos scripts).
- Cómputo
- ~16,8 horas de tiempo real en los 104 retos.
- Fecha del run
- 02/09/2026.
Reproducibilidad
El harness y los 104 logs por reto se publican con estas cifras. Cualquiera puede reconstruir cada objetivo y volver a ejecutarlo.
| Artefacto | Cantidad | Nota |
|---|---|---|
| Logs por reto | 104 | transcripción completa del agente |
| results.tsv | 104 | reto · resuelto · flag · s |
| harness de ejecución | 1 | build + ataque + calificación |
| scripts de reparación de entorno | 2 | bitrot de Debian + compose |
Los logs están saneados: se eliminaron el ID de cuenta de AWS, las URIs de imágenes de ECR y las rutas del host del runner. El coste que aparece en cada transcripción (29 $) es el precio de lista del tier rápido de Penetrify por escaneo, no la factura de LLM subyacente.
Pruébalo contra tu propia aplicación
El benchmark muestra el motor sobre objetivos públicos. La prueba real es tu app. Lanza un pentest black-box en minutos.
XBEN lo publica XBOW Engineering bajo Apache-2.0. Cifras calculadas a partir de los 104 logs del run en tier rápido, 02/09/2026.