Qué es un canario: la prueba que vigila a tus pruebas
Tienes un control que revisa tu trabajo y siempre sale en verde. ¿Todo está bien, o el control no sabe ponerse en rojo? Desde fuera se ven igual. Un control que nunca viste fallar no protege nada. El canario es la prueba que lo comprueba: le das algo roto a propósito y miras si salta. Aquí va de dónde viene el nombre, qué significa para nosotros y cómo hacer el tuyo.
- 01Qué esDe dónde viene el nombre y qué es para nosotros
- 02Qué esLas dos preguntas de un canario
- 03DecidirCuándo necesitas uno
- 04Paso a pasoCómo hacer un canario
- 05CuidadoLo que un canario no te dice
- 06PromptsUn prompt para que Claude le ponga canario a tu control
- 07CuidadoLo honesto
Qué es un canario: de la mina al software
El nombre viene de los mineros, que bajaban un canario en una jaula: si había gases tóxicos, el pájaro caía antes que ellos. Era un aviso temprano. (Martin Fowler · Canary Release)
En el software se usa sobre todo para el lanzamiento canario: sacar una versión nueva primero a un grupo pequeño de usuarios y, si va bien, al resto. Si algo falla, lo sufren pocos.
En IActn usamos la palabra para otra cosa, y lo decimos claro porque es un término de la casa: un canario es la prueba que comprueba que un control sabe detectar lo que dice detectar. Mismo espíritu que el de la mina: un aviso antes de confiar a ciegas.
Piensa en el detector de humo. Tiene un botón de prueba. Nadie espera a un incendio para saber si suena: lo pulsas y escuchas. Un canario es ese botón para tus controles.
Las dos preguntas de un canario
Un buen canario prueba el control en los dos sentidos:
| Le das… | Tiene que… | Si no lo hace, el control… |
|---|---|---|
| Un caso roto a propósito | Ponerse en rojo | Es decoración: da verde pase lo que pase |
| Un caso sano, justo en el límite | Dejarlo pasar en verde | Grita siempre, y una alarma que grita siempre se aprende a ignorar |
No es una idea nuestra. La guía de evals de Anthropic pide probar tanto los casos en que algo debe pasar como aquellos en que no, y escribir una respuesta de referencia que apruebe para demostrar que la corrección está bien montada. Y el desarrollo guiado por pruebas, de Kent Beck, se resume en «rojo, verde»: primero ves fallar la prueba y después la haces pasar. (Anthropic Engineering · evals · Martin Fowler · TDD)
Cuándo necesitas un canario
- Cuando creas un control nuevo: un eval, un hook que bloquea algo, una alarma, una revisión antes de publicar.
- Cuando lo cambias: un arreglo pequeño puede dejarlo ciego sin que nada lo avise.
- Cuando un control lleva mucho tiempo sin fallar: puede ser que todo va bien, o que ya no mira.
Nuestro ejemplo real · esta guía
Antes de publicarse, esta página pasó un control que mide que el título no pase de 60 caracteres y la descripción de 160. Su canario tiene 29 casos: una descripción de 160 tiene que pasar, una de 161 no, sin descripción no, y un título de 61 tampoco.
Nuestro ejemplo real · una alarma
Cuando montamos una alarma que avisa si un informe automático sale con voseo, antes de fiarnos de ella la hicimos correr sobre un informe real que sabíamos que traía voseo, y comprobamos que el aviso llegaba de verdad.
Cómo hacer un canario
- Escribe el caso roto más pequeño posible. Solo el error que el control tiene que cazar, nada más. Si falla, sabrás por qué.
- Escribe el caso sano justo en el límite. Si el tope es 160, el caso sano tiene 160 exactos. Los errores viven en los bordes.
- Mide el resultado esperado, no lo supongas. Corre el control una vez sobre cada caso y anota qué da. El esperado que sale de tu cabeza falla justo cuando todo ha ido bien.
- Guárdalo junto al control y córrelo cada vez que lo cambies. Un canario que hay que acordarse de correr acaba sin correrse.
- Si para provocar el fallo tienes que inventar algo que nunca pasa en la realidad, para. Ese fallo no existe, y el control que lo vigila no protege de nada. Busca qué puede fallar de verdad.
Lo que un canario no te dice
Un canario en verde dice que el control sabe medir, no que lo que vigila esté bien. Son dos preguntas distintas: «¿mi alarma suena si hay voseo?» y «¿el informe de hoy tiene voseo?». La primera la contesta el canario; la segunda, el control corriendo sobre el informe de hoy.
Y el canario también puede estar mal: si su caso «roto» en realidad no está roto, dará rojo por el motivo equivocado. Cuando un canario diga algo imposible, mira primero el archivo que prueba y después el canario.
Un prompt para que Claude le ponga canario a tu control
Es nuestro, no de Anthropic.
¿Mi control sabe fallar?
Cuándo usarlo: cuando tienes un control, un eval o un hook y nunca lo has visto ponerse en rojo.
Lo honesto
- «Canario» con este sentido es un término de la casa. Fuera de IActn, si alguien dice canario casi seguro habla del lanzamiento canario. Aquí lo usamos para probar controles.
- La idea de fondo sí es conocida: probar en los dos sentidos y ver fallar antes de ver pasar. Lo que ponemos nosotros es el nombre y la costumbre.
- Un canario no te dice qué no estás vigilando. Prueba el control que tienes, no el que te falta.
Un verde solo demuestra algo si antes viste ese control ponerse en rojo. Dale a cada control un caso roto a propósito y uno sano en el límite, y guárdalos junto a él para correrlos cada vez que lo cambies.
¿Y ahora qué?
Tres formas de seguir, según lo que prefieras.
El mensaje para tu grupo
¿Le sirve a alguien de tu equipo o de tu grupo? Cópialo tal cual o ábrelo directo en WhatsApp.
Te paso esta guía: Qué es un canario. La prueba que comprueba que tus controles saben fallar. https://iactn.com/arsenal/que-es-un-canario/Fuentes, leídas el 30-09-2026
- Canary Release · Danilo Sato en el sitio de Martin Fowler. El origen del nombre (el canario de los mineros) y qué es un lanzamiento canario.
- Demystifying evals for AI agents · Anthropic Engineering. Probar los casos en que algo debe pasar y en que no, y la respuesta de referencia que demuestra que la corrección está bien montada.
- Test Driven Development · Martin Fowler. El «rojo, verde, refactorizar» de Kent Beck.