Microsoft

Microsoft объяснила сбой Microsoft 365 скрытым дефектом июльского обновления

Microsoft установила, что причиной глобального сбоя Microsoft 365 на прошлой неделе стало июльское обновление для серверов сетевых шлюзов. Согласно предварительному отчёту компании по итогам инцидента, ошибка более трёх месяцев оставалась незамеченной, пока её не спровоцировали резкий рост нагрузки и сокращение мощностей.

Microsoft объяснила сбой Microsoft 365 скрытым дефектом июльского обновления

Microsoft опубликовала отчёт для клиентов в центре администрирования Microsoft 365 15 ноября, сообщает The Register. Чарльз Ламанна, исполнительный вице-президент Microsoft по Copilot, агентам и платформе, в понедельник разместил сокращённую версию отчёта в X, сообщает ZDNET.

«Скрытый дефект приводил к тому, что при определённых условиях нагрузки серверы перегружались и переставали отвечать», — написал Ламанна.

Три фактора одновременно

Июльское обновление было создано специально для серверов сетевых шлюзов Microsoft 365. По словам Microsoft, оно прошло нагрузочное тестирование и работало по всему миру без проблем. Однако дефект вызывал конкуренцию за блокировки внутри одного из внутренних процессов Windows, что исчерпывало ресурсы процессора и памяти сервера.

Согласно отчёту, тестирование ошибку не выявило, поскольку нагрузочные тесты проводились в основном на менее мощном оборудовании с меньшим числом ядер. На более новых машинах с большим количеством ядер конкуренция за блокировки проявляется сильнее.

Затем совпали ещё два обстоятельства. Teams переключился на резервный шлюз, через который также проходит трафик Exchange Online, что увеличило нагрузку. В то же время из-за не связанной с этим проблемы, возникшей накануне, из работы были выведены почти 14% серверных мощностей шлюза.

Когда сервер переставал отвечать, трафик перенаправлялся на следующий исправный, который затем сталкивался с той же ошибкой. Как говорится в отчёте, в течение двух часов в худший момент не отвечали более 80% серверов.

Почему восстановление заняло так много времени

Накопившийся трафик снова перегружал серверы, как только они возвращались в строй. По словам Microsoft, её система автоматического восстановления не была рассчитана на столь масштабный сбой.

«Поскольку основной дефект кода был скрытой ошибкой, появившейся несколько месяцев назад, наши стандартные механизмы отката, поэтапного развёртывания и флагов функций не позволили быстро отменить изменение», — написал Ламанна.

Вместо этого инженеры написали обновление, которое вернуло соответствующий участок кода Windows в прежнее состояние. Его поочерёдно применяли к группам серверов. Teams, OneDrive, SharePoint и приложения Office удалось перевести с неисправных шлюзов, поэтому они восстановились раньше. С Exchange Online этого сделать не получилось из-за масштаба, поэтому Outlook не работал дольше всего.

Хронология из отчёта, опубликованная The Register, начинается с переключения Teams в 01:07 UTC 12 ноября. Первое обращение в службу поддержки поступило в 16:33 UTC. Microsoft начала применять исправление в 07:20 UTC 13 ноября и отправила клиентам последнее обновление в 04:15 UTC 14 ноября.

Более 1 000 инженеров и других сотрудников участвовали в созвонах по сбою под руководством Ламанны и главы облачного подразделения Скотта Гатри, сообщает Bloomberg. 13 ноября Microsoft принесла извинения и заявила, что причиной стали не кибератака и не ИИ-агенты.

Вопросы в Вашингтоне

Сбой затронул правительства, суды, больницы и компании. По данным Associated Press, Downdetector зафиксировал сообщения о проблемах из 74 стран и территорий. TNW писал о восстановлении сервисов и о последовавших за сбоем дебатах о суверенитете в Европе.

В прошлом месяце сбой Google Cloud в лондонском регионе затронул ряд сервисов, включая Revolut.

Председатель комитета Палаты представителей по внутренней безопасности Эндрю Гарбарино заявил Politico, что запросил у Microsoft и CISA дополнительную информацию.

«Нам нужно понять, что произошло и как сделать эти системы более устойчивыми», — сказал Гарбарино.

По данным The Register, Microsoft планирует опубликовать окончательный отчёт об инциденте 20 ноября.

Опубликовано 16 ноября 2026 - 14:22 Наверх