GignuxNote
Iscriviti
Back to home

Il down di Microsoft 365, ora per ora: che cosa è successo e perché

Trenta ore di posta, calendari e Copilot fuori uso in tutto il mondo, dal 12 al 13 novembre. La cronologia ricostruita sugli aggiornamenti di stato di Microsoft, la causa che l'azienda ha dichiarato finora e le domande a cui deve ancora rispondere.

Il down di Microsoft 365, ora per ora: che cosa è successo e perché

Fra giovedì 12 e venerdì 13 novembre Exchange Online, il servizio di posta che sta sotto Outlook, ha smesso di rispondere a una parte dei suoi utenti in tutte le regioni del mondo, e si è portato dietro tutto ciò che in Microsoft 365 dalla posta dipende: calendari di Teams, Copilot, i portali di sicurezza, la gestione dei dispositivi. Nel registro ufficiale l'incidente dura 30 ore e 5 minuti. L'azienda ha indicato una causa preliminare in due righe e ha promesso un rapporto completo nei prossimi giorni.

Avviso di metodo: gli orari e le citazioni di Microsoft vengono dagli aggiornamenti di stato degli incidenti EX1550543 (Exchange Online) e MO1550821 (Microsoft 365), nella copia integrale che l'Università della Pennsylvania pubblica per i propri utenti. Le ricadute su aziende ed enti pubblici sono quelle riportate da NBC News e BleepingComputer. Tutti gli orari sono in UTC: per l'ora italiana va aggiunta un'ora.

In breve

La cronologia

Giovedì 12 novembre: i server cominciano a sparire

Ora (UTC) Che cosa succede
10:05 Inizio dell'incidente secondo il registro finale di Microsoft. In quel momento nessuno lo sa ancora.
14:45-15:53 Un incidente separato su Teams nelle Americhe (TM1550488), attribuito a una contesa di risorse e chiuso in un'ora. Microsoft non lo ha collegato a quello principale.
16:20 Primo avviso pubblico su Exchange Online: «Stiamo indagando su un potenziale problema».
17:45 Individuati errori di connessione sulla parte di infrastruttura che riceve e smista le richieste di accesso degli utenti.
18:19 Prima diagnosi: «carico elevato in più regioni». Si riavviano i server e si devia il traffico.
18:27 Aperto MO1550821: il problema non riguarda più solo la posta ma l'intera suite.
18:43 I server diventano «indisponibili a intermittenza» e caricano quelli rimasti. Il traffico di Outlook viene redistribuito su scala mondiale.
19:30 Sospesi tutti i rilasci e le modifiche di configurazione. La diagnosi si rovescia: il carico non viene da più traffico, ma da «un gran numero di server inaspettatamente indisponibili».
19:43 I server colpiti falliscono i controlli automatici di integrità, ed è questo a metterli fuori servizio.
19:58 Sospettato un componente che elabora quei controlli. Microsoft dichiara di non aver trovato modifiche recenti che coincidano con l'inizio del guasto.
20:38 Molti server non rispondono più, al punto da impedire di verificare se le correzioni funzionano.
22:03 «Un processo centrale sui server colpiti viene sopraffatto». Sul profilo X del servizio l'ammissione: le azioni intraprese «non hanno dato il sollievo previsto».

È in queste ore che il guasto diventa visibile a tutti. Secondo Downdetector le segnalazioni arrivano da 74 Paesi e territori nel giro di un'ora, con un picco di 19.650 al minuto sommando Outlook, Microsoft 365, Teams, OneDrive e Copilot; per il solo Outlook il massimo è di circa 130.000 intorno alle 18:00.

La notte: i rimedi che non tengono

Ora (UTC) Che cosa succede
00:00 I server rimessi in linea «possono tornare a non rispondere appena ricominciano a ricevere traffico». Alcuni vengono ricostruiti su una configurazione software precedente.
01:12 Il processo che cede viene identificato: è quello che stabilisce le connessioni sicure. Per la prima volta compare una modifica sospetta: Microsoft comincia ad annullare «una recente modifica alla configurazione di rete che coincide con l'inizio del guasto».
02:58 La modifica correttiva «non sta attecchendo come previsto».
03:36 Prima smentita esplicita: nessuna indicazione di attività malevola.
04:12 Recuperi parziali in alcune regioni, ma non duraturi. Si passa a bloccare selettivamente alcuni tipi di traffico.
04:56 Macchine «bloccate in uno stato anomalo» impediscono la sincronizzazione delle correzioni. Si aggiungono macchine virtuali per fare capacità.
06:56 Le patch applicate dopo i riavvii danno un «successo marginale».

Venerdì 13 novembre: la risalita, regione per regione

Ora (UTC) Che cosa succede
07:25 La svolta: «risultati positivi» dopo una patch a un componente a monte di configurazione dell'autenticazione e dell'instradamento. Viene estesa partendo dalle regioni in orario di punta.
09:03 La capacità non è ancora tornata normale. La finestra di scadenza dei messaggi in coda viene allungata a 48 ore per non perdere posta.
11:01 Completate le azioni di recupero su parte dell'infrastruttura in Asia-Pacifico.
12:18-12:59 Progressi in Europa, poi in Nord America.
14:01 Le code di posta sono «significativamente ridotte e vicine ai livelli normali».
16:10 Fine dell'incidente secondo il registro ufficiale.
17:57 Arrivano le scuse e la causa preliminare.
20:01 Si stanno ancora smaltendo i messaggi in coda; nessuna stima per il ripristino completo.
04:17 (sabato 14) Stato finale: servizio ripristinato.

Chi è rimasto fermo

Microsoft ha sempre classificato l'evento come degrado del servizio, e in senso stretto ha ragione: le chiamate e le chat di Teams hanno continuato a funzionare, i file su SharePoint sono rimasti accessibili. Si è rotto tutto ciò che tocca Exchange. L'elenco ufficiale comprende Copilot (chat non caricabile, nessun accesso a posta, calendario e file di lavoro), la pianificazione delle riunioni di Teams, i portali Defender e Purview, l'iscrizione dei dispositivi su Intune, Planner, To Do, le API Graph, parti di Power Apps e Power BI, Universal Print e alcuni Cloud PC di Windows 365.

Fuori dal perimetro tecnico, NBC News ha raccolto interruzioni negli uffici pubblici di Regno Unito, Giappone, Norvegia, Grecia e Singapore, nella posta del servizio sanitario britannico e in diverse forze di polizia; a Manchester un processo è stato sospeso. Euronext ha chiesto alle società quotate di telefonare invece di scrivere, Air India e IndiGo hanno perso l'assistenza via email senza effetti sui voli, Maersk e Aviva hanno segnalato disagi, Workhorse ha rinviato la trimestrale. Associated Press ricorda che il bacino potenziale è quello dei circa 450 milioni di utenze a pagamento di Microsoft 365: è un tetto, non una stima dei colpiti.

Ciaran Martin, ex capo dell'agenzia britannica per la sicurezza informatica, l'ha definita un'interruzione che «ha l'aria di essere fra le più grandi di sempre». Il titolo Microsoft, venerdì, ha chiuso in rialzo dello 0,2%.

Perché è successo

Che cosa ha detto Microsoft

La dichiarazione delle 17:57 di venerdì è questa, per intero nella parte che conta:

Si è trattato di un problema tecnico non legato ad attacchi informatici né all'AI o agli agenti. L'incidente è stato introdotto da un problema durante un precedente potenziamento della capacità di rete, emerso in seguito a una recente modifica di rete.

Il campo «causa principale» del registro resta vuoto. È una spiegazione in due tempi: un difetto messo in rete tempo prima, durante un intervento per aumentare la capacità, e una modifica più recente che lo ha fatto scattare. Di nessuna delle due si conoscono data, natura o perimetro.

Il meccanismo, per come emerge dagli aggiornamenti

Mettendo in fila le comunicazioni, la catena è questa. Sui server che accolgono le connessioni degli utenti, il processo che negozia le connessioni sicure va in saturazione. Un server in quello stato smette di elaborare richieste e fallisce i controlli automatici di integrità; il sistema, correttamente, lo toglie dalla rotazione. Il suo traffico finisce sui server vicini, che si saturano a loro volta. Ogni server rimosso avvicina alla soglia i superstiti.

Questo spiega l'errore iniziale di diagnosi: dall'interno, una flotta che perde pezzi è indistinguibile da un'ondata di traffico, perché ciò che si misura è il carico per macchina.

Spiega anche perché il recupero è durato quasi un giorno intero. I client di posta di mezzo mondo riprovano a collegarsi senza sosta, e ogni server riacceso riceve da solo la pressione di molti: Microsoft lo ha scritto alla lettera a mezzanotte, quando i server tornati in servizio ricadevano appena esposti al traffico. Da qui i blocchi selettivi, i limiti per tipo di connessione e la scelta finale di riaprire per gradi. Nelle parole dell'azienda: «Data la scala della domanda, abbiamo ripristinato i servizi gradualmente, verificando la stabilità a ogni fase. Ha richiesto più tempo, ma ha garantito un ripristino stabile».

Che un guasto alla posta abbia spento Copilot e i portali di sicurezza dipende dall'architettura: in Microsoft 365 Exchange non è solo un prodotto, è il deposito di identità, calendari, etichette e criteri a cui gli altri servizi si rivolgono.

Quello che ancora non torna

C'è infine la questione della frequenza. Il 31 agosto un altro incidente partito da Exchange Online (EX1464935, poi MO1465074) si era allargato a Teams, SharePoint, Purview e Defender, con strascichi fino ai primi di settembre; la causa preliminare indicata allora era una configurazione centrale di autenticazione condivisa da più servizi. Origini diverse, stessa forma: un singolo strato comune che cede e trascina la suite.

Che cosa guardare adesso

Il rapporto preliminare è dovuto entro due giorni lavorativi, quindi fra martedì 17 e mercoledì 18 novembre; quello definitivo entro cinque. Lì andranno cercate tre cose: l'identità delle due modifiche di rete, il motivo per cui l'annullamento non si è propagato, e gli interventi strutturali promessi.

Per chi usa Microsoft 365 in azienda la lezione pratica è meno spettacolare del guasto. La posta non si è persa, ma per trenta ore non è stata un canale affidabile, e con lei sono venuti meno gli strumenti con cui di solito si gestisce un'emergenza: i calendari, le liste di distribuzione, i portali di amministrazione. Un piano di continuità che prevede di avvisare tutti via email ha bisogno di un secondo canale che non passi dallo stesso fornitore.

La settimana era cominciata con il titolo Microsoft in calo del 3% per i nuovi strumenti da ufficio di un concorrente, come abbiamo raccontato nel numero 23 della newsletter. Si è chiusa ricordando che per una suite da cui dipendono centinaia di milioni di postazioni il rischio più concreto resta l'infrastruttura su cui gira.

Articoli correlati

Vedi tutti →

Continua a leggere: i pezzi più vicini a questo per tema e categoria.