Nadie planifica una caída.

Ericsson confirmó ese mismo día que un certificado caducado en 2 versiones de software de sus nodos de red troncal SGSN-MME causó la caída. SoftBank dijo que el software llevaba 9 meses en funcionamiento. La recuperación consistió en volver a la versión anterior.

Qué muestra un check desde fuera El certificado estaba dentro del software del proveedor, así que un check de certificado TLS no lo habría visto. Las sondas desde fuera tampoco miden la ruta de datos móviles. Una página de estado lleva el mensaje a los clientes, y el registro de disponibilidad da base a los abonos.

• Check de certificado TLS

Fuente: Nota de prensa de Ericsson, 2018-12-06 · Nota de prensa de SoftBank, 2018-12-06 · MoneySavingExpert, 2018-12-07

Microsoft 365 Status escribió que había caducado un certificado de autenticación y que la solución aplicaría un certificado nuevo. Los usuarios no podían iniciar sesión.

Qué muestra un check desde fuera Microsoft no publicó si ese certificado estaba en un endpoint público, así que no se sabe si un check de certificado lo habría detectado. Un check HTTP del flujo de inicio de sesión desde varias regiones puede mostrar el fallo tras 2 checks fallidos consecutivos, estuviera donde estuviera el certificado. Una página de estado responde a la primera pregunta de tus clientes: si el fallo está en tu servicio o en Teams.

• Check HTTP(S)
• Check de certificado TLS

{
  "name": "Sign-in page",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://app.example.com/login", "expected_status": 200 }
}

Fuente: TechCrunch, 2020-02-03, citando a Microsoft 365 Status

El informe de incidente de Google señala un problema al actualizar las configuraciones de certificados que dejó caducar el certificado activo de los front-ends de Google Voice.

Qué muestra un check desde fuera Un check de certificado TLS sobre el endpoint público informa de la vida restante con días de antelación, desde un sistema ajeno a la rotación que falló. La rotación en sí sigue siendo tarea del operador.

• Check de certificado TLS

{
  "name": "Voice front-end certificate",
  "type": "ssl_cert",
  "interval_seconds": 900,
  "config": { "host": "voice.example.com", "port": 443, "warn_days": 21 }
}

Fuente: Informe de incidente de Google Workspace (PDF) · BleepingComputer, 2021-02-28

La Government Accountability Office de Estados Unidos constató que un certificado del dispositivo que inspeccionaba el tráfico de red cifrado había caducado unos 10 meses antes de que empezara la intrusión. Hasta su renovación, el tráfico no se inspeccionó.

Qué muestra un check desde fuera El dispositivo no era un endpoint público, así que un check de certificado no lo habría visto. El caso está aquí solo porque muestra que un certificado caducado puede pasar meses desapercibido cuando nadie vigila las fechas de caducidad. La respuesta mínima es un inventario de cada certificado que posees, con los públicos comprobados desde fuera.

• Check de certificado TLS

Fuente: GAO-18-559, 2018-08-30

Durante un mantenimiento, un comando pensado para evaluar la capacidad de la red troncal tiró todas las conexiones troncales, y una herramienta de auditoría no logró detenerlo. Los servidores DNS autoritativos de Meta retiran sus anuncios BGP cuando no alcanzan los centros de datos, así que desaparecieron de internet aunque seguían en marcha. Las herramientas internas de diagnóstico cayeron con ellos, y los ingenieros tuvieron que entrar en persona en los centros de datos.

Qué muestra un check desde fuera Tras 2 checks fallidos consecutivos, los checks DNS desde varias regiones informan de que el dominio ya no resuelve en ninguna parte, y los checks traceroute muestran que las rutas han desaparecido. Meta perdió sus propias herramientas junto con su red, y una vista desde fuera sigue funcionando justo en esa situación. Una página de estado tiene que estar en otro dominio, o al menos con otro operador de DNS, o desaparece también.

• Check de registro DNS
• Check traceroute

{
  "name": "Apex A record",
  "type": "dns",
  "interval_seconds": 60,
  "config": { "name": "example.com", "record_type": "A" }
}

Fuente: Meta Engineering, 2021-10-05 · Cloudflare, 2021-10-04

Un ingeniero usó el proceso de emergencia para un despliegue global de DNS en lugar del escalonado. Un script de 4 años alcanzó un timeout bajo carga, los servidores DNS no volvieron tras el reinicio y las herramientas de recuperación dependían de esos servidores. La página de estado solo estuvo accesible a ratos, algo que Salesforce atribuyó a la falta de autoescalado en la página, no al DNS.

Qué muestra un check desde fuera Los checks DNS desde varias regiones informan de la pérdida de resolución tras 2 checks fallidos consecutivos. Más importante aún: una página de estado hace falta justo cuando todo el mundo mira a la vez, así que tiene que funcionar fuera de tu propia plataforma y aguantar el tráfico de un incidente. Eso es una propiedad de una página de estado alojada aparte, no un mérito del check en sí.

• Check de registro DNS
• Check HTTP(S)

{
  "name": "App host record",
  "type": "dns",
  "interval_seconds": 60,
  "config": { "name": "app.example.com", "record_type": "A" }
}

Fuente: The Register, 2021-05-12 · The Register, 2021-05-19

La gestión de DNS de DynamoDB funciona con un planificador y varios ejecutores. Un ejecutor aplicaba un plan antiguo mientras un segundo aplicaba uno más nuevo y después borraba el antiguo en su paso de limpieza. AWS escribió que, al borrarse ese plan, todas las direcciones IP del endpoint regional se eliminaron de inmediato. Los efectos en cadena sobre EC2 y los balanceadores de carga alargaron la recuperación hasta la tarde.

Qué muestra un check desde fuera Los checks DNS y HTTP de tus propios endpoints desde varias regiones informan de la caída tras 2 checks fallidos consecutivos y muestran si tu región está afectada. La página de estado debe estar fuera de la región y de la plataforma en la que funcionan tus servicios. El registro de disponibilidad te da tu propia serie temporal para las preguntas de los clientes y para una solicitud de abono, en la que tienes que demostrar la caída.

• Check de registro DNS
• Check HTTP(S)

{
  "name": "API endpoint record",
  "type": "dns",
  "interval_seconds": 60,
  "config": { "name": "api.example.com", "record_type": "A" }
}

Fuente: Resumen post-evento de AWS, octubre de 2025

Akamai informó de que una actualización de configuración de software a las 15:45 UTC disparó un bug en el sistema DNS, y descartó un ataque.

Qué muestra un check desde fuera Un check DNS desde varias regiones muestra que tu propia zona ya no resuelve, sin esperar al comunicado del proveedor. La página de estado no debe depender del mismo DNS.

• Check de registro DNS

{
  "name": "Zone name servers",
  "type": "dns",
  "interval_seconds": 60,
  "config": { "name": "example.com", "record_type": "NS" }
}

Fuente: Akamai, 2021-07-22

Durante un procedimiento estándar, un ingeniero autorizado introdujo mal un parámetro y retiró más servidores de los previstos. Entre ellos había capacidad de los subsistemas de índice y de ubicación de S3, y hubo que reiniciar ambos por completo. AWS escribió que hasta las 11:37 PST no pudo actualizar el estado de cada servicio en el panel, porque la consola del panel dependía de S3. AWS comunicó por Twitter y con un banner durante 2 horas, y después repartió la administración del panel entre regiones.

Qué muestra un check desde fuera El caso deja clara una regla: nunca alojes la página de estado en la infraestructura cuyo estado muestra. Perstat sirve tu página de estado desde su propia infraestructura, no desde la plataforma vigilada. Los checks HTTP desde varias regiones habrían informado de que los endpoints de S3 fallaban tras 2 checks fallidos consecutivos. AWS ya lo sabía, así que aquí la ganancia está por entero en la comunicación independiente.

• Check HTTP(S)

{
  "name": "Asset storage",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://assets.example.com/health", "expected_status": 200 }
}

Fuente: Post-mortem de AWS, marzo de 2017

Un cambio de permisos en un clúster de ClickHouse hizo que una consulta devolviera metadatos de columna duplicados. El archivo de features de la gestión de bots dobló su tamaño y superó un límite fijo de 200 features en el proxy, y el proceso falló con un panic de Rust. La página de estado, alojada de forma independiente, cayó al mismo tiempo por una causa sin relación, lo que al principio hizo sospechar al equipo de un ataque coordinado.

Qué muestra un check desde fuera Si usas Cloudflare, los checks HTTP desde varias regiones con quórum informan tras 2 checks fallidos consecutivos de que tu sitio devuelve respuestas 5xx en todas partes. Eso responde si el problema es tuyo o del proveedor. Tu propia página de estado en infraestructura independiente atiende a tus clientes mientras el panel y la página de estado del proveedor no están disponibles. Solo Cloudflare podía solucionar el fallo.

• Check HTTP(S)

{
  "name": "Website behind the CDN",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://www.example.com/", "expected_status": 200 }
}

Fuente: Blog de Cloudflare, 2025-11-18

El 29 de mayo, una función para comprobaciones adicionales de política de cuotas llegó a Service Control sin feature flag y sin gestión de errores en la nueva ruta. El 12 de junio, un cambio de política produjo campos en blanco, y los binarios fallaron en todo el mundo con un error de puntero nulo. Google escribió que su primer informe de incidente llegó alrededor de una hora después de empezar los fallos, porque la propia infraestructura de Cloud Service Health estaba caída. También escribió que, para algunos clientes, la infraestructura de monitorización que ejecutaban en Google Cloud fallaba igualmente, lo que los dejó sin señal del incidente.

Qué muestra un check desde fuera Esa última frase defiende la monitorización externa con las palabras del propio operador: la monitorización en la misma plataforma cae con ella. Perstat comprueba desde fuera, desde hasta 6 regiones con quórum, y su infraestructura de sondas no funciona sobre la plataforma que vigila. Una página de estado en una infraestructura aparte habría informado a tus clientes durante esa hora.

• Check HTTP(S)
• Check de registro DNS

{
  "name": "Public API",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://api.example.com/health", "expected_status": 200 }
}

Fuente: Informe de incidente de Google Cloud, 2025-06-12 · The Register, 2025-06-16

Un script pensado para borrar instancias de una app retirada recibió IDs de sitio en lugar de IDs de app y borró sitios de clientes enteros durante 23 minutos, a partir de las 07:38 UTC. El primer ticket de un cliente llegó a las 07:46 UTC, a los 8 minutos, y el proceso de incidente grave arrancó a las 08:17 UTC. La primera actualización de la página de estado llegó a las 09:03 UTC, a los 85 minutos, y el primer comunicado externo amplio en redes sociales, el 7 de abril, a las 41 horas. La restauración llevó hasta 14 días y solo estaba automatizada en parte.

Qué muestra un check desde fuera Un check HTTP de la URL de tu propio tenant desde varias regiones informa de la caída tras 2 checks fallidos consecutivos, sin esperar a un ticket de soporte. Algunos clientes perdieron Statuspage y Opsgenie junto con sus sitios, así que la página de estado y las alertas no deben estar en el proveedor cuya caída deben mostrar. Ninguna monitorización habría acortado los 14 días.

• Check HTTP(S)

{
  "name": "Tenant site",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://yourteam.example.com/", "expected_status": 200 }
}

Fuente: Revisión post-incidente de Atlassian, 2022-04-29

El CEO escribió que la empresa renueva miles de dominios cada año con precisión, pero que el proceso de renovación automática de su dominio principal falló. El comunicado atribuyó la causa a un error humano y de proceso. Los clientes se quejaron públicamente en Twitter.

Qué muestra un check desde fuera Un check de dominio informa de la fecha de caducidad con días de antelación, desde un sistema que no depende de la renovación automática que falló. Un check DNS desde varias regiones habría informado de la pérdida de resolución tras 2 checks fallidos consecutivos. Una página de estado en otro dominio habría llevado el mensaje mientras marketo.com no resolvía, pero ningún check puede renovar el dominio.

• Check de dominio
• Check de registro DNS

{
  "name": "Company domain",
  "type": "domain",
  "interval_seconds": 300,
  "config": { "domain": "example.com", "warn_days": 30 }
}

Fuente: Base de conocimiento de Marketo (Adobe), P1 del 25 de julio de 2017 · The Drum, 2017-07-26

No está documentado si en 2003 hubo usuarios afectados, así que ese caso cuenta como pérdida de control, no como caída.

Qué muestra un check desde fuera Un check de dominio con aviso de caducidad en cada dominio que posees, incluidos aquellos en los que nadie piensa.

• Check de dominio

{
  "name": "Secondary domain",
  "type": "domain",
  "interval_seconds": 300,
  "config": { "domain": "example.co.uk", "warn_days": 30 }
}

Fuente: Slashdot, 1999-12-25 · The Register, 2003-11-06

Al reparar la replicación, un ingeniero borró el directorio de datos del primario en lugar del secundario. Las copias con pg_dump no existían, porque el script ejecutaba pg_dump 9.2 contra PostgreSQL 9.6 y fallaba. GitLab escribió que los avisos de jobs de cron fallidos se enviaban por correo, pero esos correos no tenían DMARC activado, así que el servidor receptor los rechazaba. Las instantáneas de disco no estaban activadas para los servidores de base de datos, y solo quedaba una instantánea LVM manual con 6 horas de antigüedad.

Qué muestra un heartbeat Un heartbeat funciona como interruptor de hombre muerto: el job de copia informa tras terminar con éxito, y Perstat alerta cuando ese aviso falta, se reciba o no un correo de error. El caso muestra también que las alertas no deben depender de un único canal que puede fallar a su vez, así que el escalado debe ir por varias vías y exigir una confirmación. Un heartbeat no comprueba si la copia se puede restaurar. Eso sigue siendo tarea de una prueba de restauración.

• Check heartbeat

{
  "name": "Nightly database backup",
  "type": "heartbeat",
  "config": { "period_seconds": 86400, "grace_seconds": 1800 }
}

Fuente: Post-mortem de GitLab, 2017-02-10 · The Register, 2017-02-01, sobre las 5 técnicas de copia

Un incendio en la noche del 10 de marzo de 2021 destruyó el centro de datos SBG2 de Estrasburgo y parte de SBG1, y de SBG1 a SBG4 quedaron fuera de servicio. En 2 sentencias de 2023, el tribunal consideró que no se daba la separación física de las copias prometida en el contrato. OVHcloud recurrió la primera sentencia y, según Blocks and Files, tenía intención de recurrir la segunda.

Qué muestra un heartbeat Un heartbeat demuestra que un job de copia se ejecutó, no dónde está la copia ni si se puede restaurar en otro emplazamiento. Los checks HTTP desde varias regiones habrían informado de la caída tras 2 checks fallidos consecutivos. Una página de estado alojada con otro proveedor habría llegado a los clientes.

• Check heartbeat
• Check HTTP(S)

{
  "name": "Off-site backup copy",
  "type": "heartbeat",
  "config": { "period_seconds": 86400, "grace_seconds": 1800 }
}

Fuente: Netcraft, 2021-03-09 · Blocks and Files, 2023-03-23

La función central de TI actualizó el software del procesamiento nocturno de cuentas, vio problemas y desinstaló la actualización sin probar las consecuencias. Las versiones eran incompatibles, el procesamiento por lotes se atascó y los apuntes se acumularon durante semanas. La FCA señaló que no se implantaron sistemas y controles adecuados para identificar y gestionar el riesgo de TI.

Qué muestra un heartbeat Un heartbeat por ejecución del lote informa del cierre nocturno ausente esa misma noche. Los checks HTTP sobre los portales de clientes dan la vista desde fuera, y el registro de disponibilidad da al regulador una serie temporal en lugar de estimaciones. Ninguna monitorización habría cambiado la reversión defectuosa ni las semanas de limpieza. El tamaño de la multa muestra qué entiende un regulador por controles ausentes.

• Check heartbeat
• Check HTTP(S)

{
  "name": "Nightly batch close",
  "type": "heartbeat",
  "config": { "period_seconds": 86400, "grace_seconds": 3600 }
}

Fuente: Financial Conduct Authority, 2014-11-20

Se desplegó código nuevo en 7 de 8 servidores. El octavo conservó código antiguo que reactivó una función sin uso desde 2003. Antes de la apertura, un sistema interno envió a un grupo de empleados 97 correos que hacían referencia al error del router, y, según la SEC, nadie actuó.

Qué muestra un check desde fuera No fue una caída de disponibilidad, pero justifica las alertas que exigen una confirmación. Perstat no habría detectado el fallo del software, así que el caso está aquí solo por la lógica de las alertas.

Fuente: U.S. Securities and Exchange Commission, 2013-10-16

BaFin citó caídas de la banca online y móvil y un acceso telefónico deficiente a la atención al cliente. También citó largos plazos de tramitación en embargos y herencias, cierres de cuentas y devoluciones de ahorros, así como deficiencias significativas en las cuentas protegidas frente a embargos. El comisario debía supervisar la eliminación rápida y completa de las restricciones e informar con regularidad.

Qué muestra un check desde fuera Los checks HTTP desde varias regiones registran la parte medible desde fuera: las caídas de la banca online y móvil. Un registro de disponibilidad que declara sus límites da a reguladores y clientes cifras en lugar de garantías. La parte mayor, los atrasos de tramitación y la atención telefónica, no es un tema de monitorización. Quien afirma disponibilidad debería poder demostrarla antes de que pregunte el regulador.

• Check HTTP(S)

{
  "name": "Online banking login",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://banking.example.com/login", "expected_status": 200 }
}

Fuente: BaFin, 2023-09-04 · BaFin, 2023-10-02 · heise online, 2023-10-02 · onvista (Reuters), 2023-07-03, sobre las cifras de la migración

La agencia tributaria de Baviera habló de una demanda muy alta y descartó un ataque. La interfaz para el software fiscal siguió funcionando.

Qué muestra un check desde fuera Los checks HTTP con tiempos de respuesta desde varias regiones muestran la degradación antes de la caída y dejan la serie temporal. Una página de estado con un aviso reduce el número de intentos de recarga. Era un problema de capacidad que el operador conocía, no un problema de detección, así que el caso está aquí como ejemplo del sector público en cuanto a alcance y necesidad de comunicar.

• Check HTTP(S)

{
  "name": "Tax portal",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://portal.example.com/", "expected_status": 200 }
}

Fuente: heise online, 2022-07-11 · Haufe, 2022-07-13

Según el informe de situación de 2017 del BSI, un ataque mundial de una variante de Mirai contra el puerto 7547 hizo que los routers de Telekom se bloquearan. Los routers no estaban infectados, pero respondían a las peticiones con un fallo.

Qué muestra un check desde fuera Eran dispositivos de consumo, así que el caso no tiene relación con el producto. Está aquí solo como ejemplo alemán del alcance de un fallo de infraestructura.

Fuente: BSI, Die Lage der IT-Sicherheit in Deutschland 2017, página 15 · The Register, 2016-11-28