Nessuno pianifica un disservizio.

Ericsson ha confermato lo stesso giorno che la causa del disservizio era un certificato scaduto in 2 versioni software dei suoi nodi di rete core SGSN-MME. SoftBank ha dichiarato che il software era in esercizio da 9 mesi. Il ripristino ha richiesto il ritorno alla versione precedente.

Cosa mostra un check dall’esterno Il certificato stava dentro il software del fornitore, quindi un check del certificato TLS non l’avrebbe visto. Nemmeno le sonde dall’esterno misurano il percorso dei dati mobili. Una pagina di stato porta il messaggio ai clienti, e il registro di disponibilità dà una base ai crediti.

• Check del certificato TLS

Fonte: Comunicato stampa di Ericsson, 2018-12-06 · Comunicato stampa di SoftBank, 2018-12-06 · MoneySavingExpert, 2018-12-07

Microsoft 365 Status ha scritto che un certificato di autenticazione era scaduto e che una correzione avrebbe applicato un nuovo certificato. Gli utenti non riuscivano ad accedere.

Cosa mostra un check dall’esterno Microsoft non ha reso noto se quel certificato stesse su un endpoint pubblico, quindi non si sa se un check del certificato l’avrebbe intercettato. Un check HTTP del flusso di accesso da più regioni può mostrare il guasto dopo 2 check consecutivi falliti, ovunque stesse il certificato. Una pagina di stato risponde alla prima domanda dei tuoi clienti: siamo noi o è Teams.

• Check HTTP(S)
• Check del certificato TLS

{
  "name": "Sign-in page",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://app.example.com/login", "expected_status": 200 }
}

Fonte: TechCrunch, 2020-02-03, che cita Microsoft 365 Status

Il rapporto sull’incident di Google indica un problema nell’aggiornamento delle configurazioni dei certificati, che ha lasciato scadere il certificato attivo nei front end di Google Voice.

Cosa mostra un check dall’esterno Un check del certificato TLS sull’endpoint pubblico riporta la durata residua con giorni di anticipo, da un sistema esterno alla rotazione che è fallita. La rotazione in sé resta compito dell’operatore.

• Check del certificato TLS

{
  "name": "Voice front-end certificate",
  "type": "ssl_cert",
  "interval_seconds": 900,
  "config": { "host": "voice.example.com", "port": 443, "warn_days": 21 }
}

Fonte: Rapporto sull’incident di Google Workspace (PDF) · BleepingComputer, 2021-02-28

Il Government Accountability Office degli Stati Uniti ha accertato che un certificato sul dispositivo che ispezionava il traffico di rete cifrato era scaduto circa 10 mesi prima dell’inizio dell’intrusione. Fino al rinnovo, il traffico non è stato ispezionato.

Cosa mostra un check dall’esterno Il dispositivo non era un endpoint pubblico, quindi un check del certificato non l’avrebbe visto. Il caso sta qui solo perché mostra che un certificato scaduto può restare inosservato per mesi, se nessuno guarda le date di scadenza. La risposta più piccola possibile è un inventario di ogni certificato che possiedi, con quelli pubblici controllati dall’esterno.

• Check del certificato TLS

Fonte: GAO-18-559, 2018-08-30

Durante una manutenzione, un comando pensato per valutare la capacità della backbone ha interrotto ogni connessione della backbone, e uno strumento di audit non è riuscito a fermarlo. I server DNS autoritativi di Meta ritirano i loro annunci BGP quando non raggiungono i data center, quindi sono spariti da Internet pur restando in funzione. Con loro sono spariti gli strumenti interni di diagnosi, e gli ingegneri hanno dovuto entrare di persona nei data center.

Cosa mostra un check dall’esterno Dopo 2 check consecutivi falliti, i check DNS da più regioni segnalano che il dominio non risolve più da nessuna parte. I check traceroute mostrano che le rotte sono sparite. Meta ha perso i propri strumenti insieme alla propria rete, e una vista dall’esterno continua a funzionare proprio in quella situazione. Una pagina di stato deve stare su un altro dominio, o almeno presso un altro operatore DNS, altrimenti sparisce anche lei.

• Check del record DNS
• Check traceroute

{
  "name": "Apex A record",
  "type": "dns",
  "interval_seconds": 60,
  "config": { "name": "example.com", "record_type": "A" }
}

Fonte: Meta Engineering, 2021-10-05 · Cloudflare, 2021-10-04

Un ingegnere ha usato la procedura d’emergenza break-fix per un rollout DNS globale invece di quella a fasi. Uno script vecchio di 4 anni è andato in timeout sotto carico, e i server DNS non sono tornati su dopo il riavvio. Gli strumenti di ripristino dipendevano proprio da quei server. La pagina di stato era raggiungibile solo a tratti, cosa che Salesforce ha attribuito alla mancanza di auto-scaling sulla pagina, non al DNS.

Cosa mostra un check dall’esterno I check DNS da più regioni segnalano la perdita di risoluzione dopo 2 check consecutivi falliti. Conta di più un altro punto: una pagina di stato serve proprio quando tutti guardano insieme, quindi deve girare fuori dalla tua piattaforma e reggere il traffico di un incident. È una proprietà di una pagina di stato ospitata a parte, non un merito del check in sé.

• Check del record DNS
• Check HTTP(S)

{
  "name": "App host record",
  "type": "dns",
  "interval_seconds": 60,
  "config": { "name": "app.example.com", "record_type": "A" }
}

Fonte: The Register, 2021-05-12 · The Register, 2021-05-19

La gestione DNS di DynamoDB usa un pianificatore e più esecutori. Un esecutore stava applicando un piano vecchio, mentre un secondo ne applicava uno più recente e poi cancellava il piano vecchio nel suo passo di pulizia. AWS ha scritto che, con la cancellazione di quel piano, tutti gli indirizzi IP dell’endpoint regionale sono stati rimossi all’istante. Gli effetti a catena su EC2 e sui load balancer hanno allungato il ripristino fino al pomeriggio.

Cosa mostra un check dall’esterno I check DNS e HTTP dei tuoi endpoint da più regioni segnalano il disservizio dopo 2 check consecutivi falliti e mostrano se la tua regione è coinvolta. La pagina di stato va collocata fuori dalla regione e dalla piattaforma su cui girano i servizi. Il registro di disponibilità ti dà una serie temporale propria per le domande dei clienti e per una richiesta di credito, dove il downtime devi dimostrarlo tu.

• Check del record DNS
• Check HTTP(S)

{
  "name": "API endpoint record",
  "type": "dns",
  "interval_seconds": 60,
  "config": { "name": "api.example.com", "record_type": "A" }
}

Fonte: Riepilogo post-evento di AWS, ottobre 2025

Akamai ha riferito che un aggiornamento della configurazione software alle 15:45 UTC aveva attivato un bug nel sistema DNS, e ha escluso un attacco.

Cosa mostra un check dall’esterno Un check DNS da più regioni mostra che la tua zona non risolve più, senza aspettare la dichiarazione del provider. La pagina di stato non deve dipendere dallo stesso DNS.

• Check del record DNS

{
  "name": "Zone name servers",
  "type": "dns",
  "interval_seconds": 60,
  "config": { "name": "example.com", "record_type": "NS" }
}

Fonte: Akamai, 2021-07-22

Durante una procedura standard, un ingegnere autorizzato ha inserito un parametro sbagliato e ha rimosso più server del previsto. Tra questi c’erano server dei sottosistemi di indice e di placement di S3, ed entrambi i sottosistemi hanno dovuto essere riavviati per intero. AWS ha scritto che fino alle 11:37 PST non ha potuto aggiornare lo stato dei singoli servizi sulla dashboard, perché la console della dashboard dipendeva da S3. AWS ha comunicato via Twitter e con un banner per 2 ore, e in seguito ha distribuito l’amministrazione della dashboard su più regioni.

Cosa mostra un check dall’esterno Il caso rende chiara una regola: mai ospitare la pagina di stato sull’infrastruttura di cui mostra lo stato. Perstat serve la tua pagina di stato dalla propria infrastruttura, non dalla piattaforma osservata. I check HTTP da più regioni avrebbero segnalato gli endpoint S3 in errore dopo 2 check consecutivi falliti. AWS lo sapeva già, quindi qui il guadagno sta tutto nella comunicazione indipendente.

• Check HTTP(S)

{
  "name": "Asset storage",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://assets.example.com/health", "expected_status": 200 }
}

Fonte: Post-mortem di AWS, marzo 2017

Un cambio di permessi su un cluster ClickHouse ha fatto restituire a una query metadati di colonna duplicati. Il file di feature del bot management è raddoppiato di dimensione e ha superato nel proxy un limite fisso di 200 feature. Il processo è fallito con un panic di Rust. La pagina di stato, ospitata in modo indipendente, è caduta nello stesso momento per un motivo non collegato, e all’inizio il team ha sospettato un attacco coordinato.

Cosa mostra un check dall’esterno Se usi Cloudflare, i check HTTP da più regioni con un quorum segnalano dopo 2 check consecutivi falliti che il tuo sito restituisce 5xx ovunque. Così sai se il problema è tuo o del provider. Una tua pagina di stato su un’infrastruttura indipendente serve i clienti mentre la dashboard e la pagina di stato del provider non sono disponibili. Solo Cloudflare poteva sistemare qualcosa.

• Check HTTP(S)

{
  "name": "Website behind the CDN",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://www.example.com/", "expected_status": 200 }
}

Fonte: Blog di Cloudflare, 2025-11-18

Il 29 maggio una funzione per controlli aggiuntivi sulle policy di quota è arrivata in Service Control senza feature flag e senza gestione degli errori sul nuovo percorso. Il 12 giugno una modifica di policy ha prodotto campi vuoti, e i binari sono andati in crash in tutto il mondo con un errore di null pointer. Google ha scritto che il suo primo rapporto sull’incident è arrivato circa un’ora dopo l’inizio dei crash, perché l’infrastruttura di Cloud Service Health era a sua volta fuori uso. Ha scritto anche che alcuni clienti avevano su Google Cloud la propria infrastruttura di monitoraggio, che stava fallendo a sua volta e li lasciava senza un segnale dell’incident.

Cosa mostra un check dall’esterno Quell’ultima frase è l’argomento a favore del monitoraggio esterno, con le parole dell’operatore stesso: un monitoraggio sulla stessa piattaforma cade con lei. Perstat controlla dall’esterno, da un massimo di 6 regioni con un quorum, e la sua infrastruttura di sonde non gira sulla piattaforma che osserva. Una pagina di stato su un’infrastruttura separata avrebbe informato i tuoi clienti durante quell’ora.

• Check HTTP(S)
• Check del record DNS

{
  "name": "Public API",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://api.example.com/health", "expected_status": 200 }
}

Fonte: Rapporto sull’incident di Google Cloud, 2025-06-12 · The Register, 2025-06-16

Uno script pensato per cancellare le istanze di un’app dismessa ha ricevuto ID di siti invece di ID di app. Dalle 07:38 UTC ha cancellato interi siti di clienti nell’arco di 23 minuti. Il primo ticket di un cliente è arrivato alle 07:46 UTC, dopo 8 minuti, e il processo per gli incident gravi è partito alle 08:17 UTC. Il primo aggiornamento della pagina di stato è arrivato alle 09:03 UTC, dopo 85 minuti, e la prima dichiarazione esterna ampia sui social il 7 aprile, dopo 41 ore. Il ripristino ha richiesto fino a 14 giorni ed era automatizzato solo in parte.

Cosa mostra un check dall’esterno Un check HTTP dell’URL del tuo tenant da più regioni segnala il disservizio dopo 2 check consecutivi falliti, senza aspettare un ticket di supporto. Alcuni clienti hanno perso Statuspage e Opsgenie insieme ai siti, quindi pagina di stato e alert non devono stare presso il provider di cui dovrebbero mostrare il disservizio. Nessun monitoraggio avrebbe accorciato i 14 giorni.

• Check HTTP(S)

{
  "name": "Tenant site",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://yourteam.example.com/", "expected_status": 200 }
}

Fonte: Post-incident review di Atlassian, 2022-04-29

Il CEO ha scritto che l’azienda rinnova con precisione migliaia di domini ogni anno, eppure il processo di rinnovo automatico del suo dominio principale è fallito. La dichiarazione ha indicato come causa un errore umano e di processo. I clienti si sono lamentati pubblicamente su Twitter.

Cosa mostra un check dall’esterno Un check del dominio riporta la data di scadenza con giorni di anticipo, da un sistema che non dipende dal rinnovo automatico che è fallito. Un check DNS da più regioni avrebbe segnalato la perdita di risoluzione dopo 2 check consecutivi falliti. Una pagina di stato su un altro dominio avrebbe portato il messaggio mentre marketo.com non risolveva, ma nessun check può rinnovare il dominio.

• Check del dominio
• Check del record DNS

{
  "name": "Company domain",
  "type": "domain",
  "interval_seconds": 300,
  "config": { "domain": "example.com", "warn_days": 30 }
}

Fonte: Knowledge base di Marketo (Adobe), P1 del 25 luglio 2017 · The Drum, 2017-07-26

Se nel 2003 ci siano stati utenti coinvolti non è documentato, quindi quel caso conta come perdita di controllo, non come disservizio.

Cosa mostra un check dall’esterno Un check del dominio con avviso di scadenza su ogni dominio che possiedi, compresi quelli a cui nessuno pensa.

• Check del dominio

{
  "name": "Secondary domain",
  "type": "domain",
  "interval_seconds": 300,
  "config": { "domain": "example.co.uk", "warn_days": 30 }
}

Fonte: Slashdot, 1999-12-25 · The Register, 2003-11-06

Mentre riparava la replica, un ingegnere ha rimosso la directory dei dati sul primario invece che sul secondario. I backup pg_dump non esistevano, perché lo script eseguiva pg_dump 9.2 contro PostgreSQL 9.6 e falliva. GitLab ha scritto che le notifiche per i job cron falliti venivano inviate via email, ma DMARC non era abilitato per quelle email, quindi il ricevente le rifiutava. Gli snapshot dei dischi non erano abilitati per i server del database, e restava solo uno snapshot LVM manuale vecchio di 6 ore.

Cosa mostra un heartbeat Un heartbeat funziona come dead man’s switch: il job di backup invia un segnale dopo il successo, e Perstat avvisa se il segnale manca, con o senza un’email di errore. Il caso mostra anche che gli alert non devono dipendere da un solo canale, che può fallire a sua volta. L’escalation dovrebbe quindi passare su più percorsi e richiedere una presa in carico. Un heartbeat non controlla se il backup si può ripristinare: quello resta compito di un test di ripristino.

• Check heartbeat

{
  "name": "Nightly database backup",
  "type": "heartbeat",
  "config": { "period_seconds": 86400, "grace_seconds": 1800 }
}

Fonte: Post-mortem di GitLab, 2017-02-10 · The Register, 2017-02-01, sulle 5 tecniche di backup

Un incendio nella notte del 10 marzo 2021 ha distrutto il data center SBG2 di Strasburgo e parte di SBG1. I data center da SBG1 a SBG4 sono andati offline. In 2 sentenze del 2023 il tribunale ha accertato che la separazione fisica dei backup, promessa per contratto, non c’era. OVHcloud ha presentato appello contro la prima sentenza e, secondo Blocks and Files, intendeva impugnare anche la seconda.

Cosa mostra un heartbeat Un heartbeat prova che un job di backup è girato, non dove sta la copia né se si può ripristinare in un altro sito. I check HTTP da più regioni avrebbero segnalato il disservizio dopo 2 check consecutivi falliti. Una pagina di stato ospitata presso un altro provider avrebbe raggiunto i clienti.

• Check heartbeat
• Check HTTP(S)

{
  "name": "Off-site backup copy",
  "type": "heartbeat",
  "config": { "period_seconds": 86400, "grace_seconds": 1800 }
}

Fonte: Netcraft, 2021-03-09 · Blocks and Files, 2023-03-23

La funzione IT centrale ha aggiornato il software per l’elaborazione notturna dei conti, ha visto problemi e ha disinstallato l’aggiornamento senza verificarne le conseguenze. Le versioni erano incompatibili, l’elaborazione batch si è bloccata e le registrazioni si sono accumulate per settimane. La FCA ha contestato la mancata adozione di sistemi e controlli adeguati per identificare e gestire il rischio IT.

Cosa mostra un heartbeat Un heartbeat per ogni esecuzione batch segnala la mancata chiusura notturna entro la stessa notte. I check HTTP sui portali dei clienti danno la vista dall’esterno, e il registro di disponibilità dà all’autorità di vigilanza una serie temporale invece di stime. Nessun monitoraggio avrebbe cambiato il rollback difettoso o le settimane di rimessa in ordine. L’entità della multa mostra cosa intende un’autorità di vigilanza per controlli mancanti.

• Check heartbeat
• Check HTTP(S)

{
  "name": "Nightly batch close",
  "type": "heartbeat",
  "config": { "period_seconds": 86400, "grace_seconds": 3600 }
}

Fonte: Financial Conduct Authority, 2014-11-20

Il nuovo codice è stato distribuito su 7 server su 8. L’ottavo ha mantenuto il codice vecchio, che ha riattivato una funzione inutilizzata dal 2003. Prima dell’apertura, un sistema interno ha inviato a un gruppo di dipendenti 97 email che citavano l’errore del router, e secondo la SEC nessuno ha agito.

Cosa mostra un check dall’esterno Non si è trattato di un disservizio di disponibilità, ma il caso mostra perché servono alert che richiedono una presa in carico. Perstat non avrebbe rilevato il difetto software, quindi il caso sta qui solo per la logica degli alert.

Fonte: U.S. Securities and Exchange Commission, 2013-10-16

La BaFin ha citato disservizi dell’online e del mobile banking e una scarsa raggiungibilità telefonica del servizio clienti. Ha citato anche lunghi tempi di lavorazione per pignoramenti e successioni, chiusure di conti e rimborso dei risparmi, oltre a compromissioni significative per i conti protetti da pignoramento. Il commissario doveva sorvegliare la rimozione rapida e completa delle restrizioni e riferire con regolarità.

Cosa mostra un check dall’esterno I check HTTP da più regioni registrano la parte misurabile dall’esterno: i disservizi dell’online e del mobile banking. Un registro di disponibilità che dichiara i propri confini dà a vigilanza e clienti numeri invece di rassicurazioni. La parte più grande, arretrati di lavorazione e servizio telefonico, non è un tema di monitoraggio. Chi dichiara una disponibilità dovrebbe poterla dimostrare prima che la vigilanza lo chieda.

• Check HTTP(S)

{
  "name": "Online banking login",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://banking.example.com/login", "expected_status": 200 }
}

Fonte: BaFin, 2023-09-04 · BaFin, 2023-10-02 · heise online, 2023-10-02 · onvista (Reuters), 2023-07-03, sui numeri della migrazione

L’ufficio delle imposte bavarese ha parlato di domanda molto alta e ha escluso un attacco. L’interfaccia per i software fiscali ha continuato a funzionare.

Cosa mostra un check dall’esterno I check HTTP con tempi di risposta da più regioni mostrano il degrado prima del disservizio e lasciano la serie temporale. Una pagina di stato con un avviso riduce il numero di ricaricamenti. Era un problema di capacità noto all’operatore, non un problema di rilevamento, quindi il caso sta qui come esempio del settore pubblico per portata e bisogno di comunicare.

• Check HTTP(S)

{
  "name": "Tax portal",
  "type": "http",
  "interval_seconds": 60,
  "config": { "url": "https://portal.example.com/", "expected_status": 200 }
}

Fonte: heise online, 2022-07-11 · Haufe, 2022-07-13

Secondo il rapporto sulla situazione 2017 del BSI, un attacco mondiale di una variante di Mirai sulla porta 7547 ha mandato in crash i router Telekom. I router non sono stati infettati, ma hanno risposto alle richieste con un guasto.

Cosa mostra un check dall’esterno Erano dispositivi consumer, quindi il caso non ha legami con il prodotto. Sta qui solo come esempio tedesco della portata di un guasto infrastrutturale.

Fonte: BSI, Die Lage der IT-Sicherheit in Deutschland 2017, pagina 15 · The Register, 2016-11-28