Protocolo de retest: cómo diseñar su criterio de aprobación

Un protocolo de retest se arma con cuatro decisiones, y conviene tenerlas escritas antes de enviar la primera simulación: cuándo se vuelve a probar a la persona (la ventana), qué se repite y qué cambia (la misma categoría de engaño con otra plantilla), qué cuenta como superado (el criterio de aprobación) y qué pasa mientras la persona no lo supera (el piso de riesgo). El primer paso, y el que más se salta, es fijar la ventana: no se reprueba al día siguiente, cuando la lección todavía está fresca, sino unas tres semanas después, cuando ya se olvidó el correo puntual y lo que queda es lo aprendido, o lo que no.

Lo decimos así de directo porque "medir el cambio de comportamiento" se volvió una frase que repite media industria sin que casi nadie publique cómo lo hace. Y el cómo es justo lo que separa una validación real de un tablero que se ve bien. Volver a probar sin un protocolo escrito no valida nada: se convierte en otra simulación suelta que sube o baja la tasa de click de la semana. Este es el diseño, paso por paso.

Qué debe definir un protocolo de retest (los cuatro elementos)

Antes de los pasos, la lista de lo que hay que decidir, porque un protocolo incompleto falla justo donde más importa. Un protocolo de retest bien armado define cuatro cosas, y ninguna es opcional: la ventana de tiempo entre el fallo y la nueva prueba; la categoría del ataque que se repite, junto con su nivel de sofisticación; el criterio de aprobación, es decir, qué comportamiento cuenta como superar la prueba; y el piso de riesgo, que es el estado en el que queda la persona hasta que demuestra, más de una vez, que ya no cae.

El error común es tratar el retest como "mandar otro correo parecido y ver qué pasa". Eso mide una foto, no un cambio. La diferencia está en que cada uno de los cuatro elementos responde a una pregunta distinta: cuándo, qué, qué cuenta y hasta cuándo. Si falta cualquiera, el resultado deja de ser interpretable. Los cuatro pasos que siguen son cada una de esas decisiones.

Paso 1: fija la ventana (por qué a las tres semanas, no al día siguiente)

Fija la ventana en torno a tres semanas después del fallo, no al día siguiente. La razón es sencilla: si se reprueba a la persona mientras la lección todavía está fresca en la memoria, se mide el recuerdo del correo específico, no el aprendizaje. Al día siguiente casi cualquiera reconoce el mismo pretexto que acaba de fallar. Tres semanas después, ese recuerdo puntual ya se diluyó y lo que se mide es si la persona internalizó la señal de alerta o solo memorizó un ejemplo.

Hay evidencia revisada por pares que sostiene por qué esta distinción importa. Un estudio de Ho y colaboradores, presentado en el IEEE Symposium on Security and Privacy de 2025, encontró que completar la capacitación no predice por sí solo una menor probabilidad de caer en una simulación real. En la misma línea, el trabajo de Lain y colaboradores en el IEEE Symposium on Security and Privacy de 2022, un estudio de más de un año en una organización real, mostró que la vulnerabilidad al phishing es persistente y no se corrige con una sola intervención.

La conclusión práctica: el momento de la prueba no es un detalle logístico, es lo que decide si el número significa algo. Una ventana demasiado corta infla el resultado; una razonable lo vuelve honesto.

Paso 2: repite la categoría y la sofisticación, cambia la plantilla

En el retest, repite la categoría de engaño y su nivel de sofisticación, pero cambia la plantilla concreta. Si la persona falló ante un pretexto de autoridad ejecutiva, la nueva prueba también es de autoridad ejecutiva y de dificultad equivalente, pero con otro remitente, otro contexto y otro texto. La lógica es directa: se quiere saber si aprendió a reconocer el tipo de manipulación, no si recuerda ese correo en particular.

Cambiar la categoría rompería la medición. Si alguien cayó ante un pretexto financiero y el retest le llega como una falsa notificación de paquete, un resultado bueno o malo no dice nada sobre lo que se le enseñó. Mantener la sofisticación es igual de importante: bajar la dificultad para "asegurar" que apruebe convierte el retest en un trámite, y subirla de golpe mide otra cosa. La regla es paridad de categoría y de dificultad, con superficie distinta. Ese es el control que hace comparable el antes y el después. Aquí conviene tener claro qué mide cada indicador de una simulación, un punto que desarrollamos en qué es el retest y por qué prueba que la conducta cambió.

Paso 3: define la condición de aprobación (qué cuenta como superado)

Define por escrito, antes de enviar nada, qué comportamiento cuenta como superar el retest. Sin este criterio, el resultado queda a interpretación y deja de ser defendible ante un comité o una auditoría. La condición mínima y razonable: la persona no realiza la acción peligrosa, es decir, no entrega credenciales ni ejecuta lo que el correo le pide. Un criterio más exigente suma que además reporte el correo sospechoso, porque reportar es la conducta que de verdad protege a la organización.

El criterio de aprobación también aplica a la remediación que va entre el fallo y el retest. Un microaprendizaje breve, específico al ataque que falló, con un umbral claro de aprobación (por ejemplo, responder correctamente dos de tres preguntas sobre las señales que se pasó por alto), asegura que la persona pasó por la lección antes de la nueva prueba. Lo importante es que el umbral esté fijado de antemano y sea el mismo para todos: un criterio que se decide después de ver el resultado no es un criterio, es una justificación. Escribirlo por adelantado es lo que convierte el retest en una medición y no en una opinión.

Paso 4: fija el piso de riesgo hasta varias superaciones seguidas

Establece que quien falla queda en un estado de riesgo elevado, un piso, que no se levanta con un solo acierto sino con varias superaciones consecutivas. Aquí está la parte que casi ningún programa formaliza. Un retest aprobado una vez puede ser suerte: la persona quizá estaba atenta ese día, o el pretexto le resultó familiar por casualidad. La resiliencia no es un acierto puntual, es un patrón sostenido en el tiempo.

Por eso el piso de riesgo se diseña para exigir consistencia. Mientras la persona no acumule varias pruebas seguidas sin caer, su puntaje de riesgo se mantiene en el nivel elevado, y con él las salvaguardas que la organización decida asociar a ese nivel. Esto convierte el "ya pasó la prueba" en "demostró de forma repetida que cambió", que es lo único que justifica bajar la guardia. El piso también evita el efecto perverso de celebrar una mejora que fue casualidad. Cómo se traduce todo esto en indicadores que un comité entiende es algo que tratamos en tasa de reporte, tasa de click y retest: qué medir.

Por qué el criterio publicado importa más que "medir el cambio"

El valor de todo esto no está en tener un retest, sino en tener el criterio escrito y defendible. "Medimos el cambio de comportamiento" es una afirmación que hoy hace casi cualquier proveedor de la categoría. Lo que pocos publican es el protocolo concreto: cuánto esperan, qué repiten, qué cuenta como superado y cuántas veces seguidas hay que aprobar. Ese detalle es la diferencia entre una promesa de marketing y una metodología que un CISO puede auditar y defender ante su junta.

Hay una razón de fondo para que el criterio pese tanto. La discusión de la industria empezó a moverse desde "cuánta gente completó la capacitación" hacia "cuánto cambió el comportamiento medible", y ese giro solo tiene sentido si el cambio se mide con reglas fijas de antemano. Un cambio medido con criterios que se ajustan después no es medición, es narrativa.

El marco 90-5-5 de Cisco estima que cerca del 90 por ciento de las brechas involucran un factor humano, así que el comportamiento de las personas es donde se juega buena parte del riesgo. Y ese comportamiento se prueba mejor justo donde llega el ataque: más del 90 por ciento de los ciberataques exitosos comienzan con un correo de phishing, según CISA, así que el correo es el terreno natural para un protocolo que diga qué significa haberlo superado.

En la práctica, así es como en Fensivo aplicamos este protocolo dentro de un programa de gestión de riesgo humano (Human Risk Management, HRM): cada fallo dispara una remediación inmediata y, tres semanas después, un retest de la misma categoría con otra plantilla, con un criterio de aprobación fijo y un piso de riesgo que solo se levanta tras varias superaciones seguidas. Es la forma que tenemos de validar que la persona cambió y no solo que recordó un correo, y se puede ver en detalle en nuestros casos de uso.

Antes de tu próxima campaña de simulaciones, ¿podrías mostrarle a tu comité el criterio exacto con el que declaras que un empleado superó la prueba, o solo tienes una tasa que subió?

Fuentes y referencias

• Cisco, "The 90-5-5 Concept: Your Key to Solving Human Risk in Cybersecurity", 2025: https://blogs.cisco.com/security/the-90-5-5-concept-your-key-to-solving-human-risk-in-cybersecurity
• CISA, "4 Things You Can Do To Keep Yourself Cyber Safe": https://www.cisa.gov/news-events/news/4-things-you-can-do-keep-yourself-cyber-safe
• Ho, G. et al., "Understanding the Efficacy of Phishing Training in Practice", 2025 IEEE Symposium on Security and Privacy: https://ieeexplore.ieee.org/document/11023357
• Lain, D., Kostiainen, K. y Čapkun, S., "Phishing in Organizations: Findings from a Large-Scale and Long-Term Study", 2022 IEEE Symposium on Security and Privacy: https://ieeexplore.ieee.org/document/9833766