Одна GPS-карта отправила мобильную сеть Telstra в 2006 год и вызвала массовый сбой

Инцидент произошел 8 июля во время плановых работ с сервером Network Time Protocol, который синхронизировал время между элементами мобильной сети. После перезапуска установленная в нем GPS-карта начала передавать неправильную дату — система оказалась в 2006 году.

Для мобильной сети точное время необходимо при синхронизации оборудования и выполнении ряда внутренних операций. После появления ошибочных данных проблемы распространились на другие элементы инфраструктуры, а абоненты столкнулись со сбоями голосовой связи и мобильного интернета.

В наиболее тяжелый момент инцидент затронул около 45% голосовых вызовов и сеансов передачи данных Telstra. Большинство сервисов оператор восстановил к середине дня, но затем обнаружилась отдельная проблема со звонками на австралийский номер экстренных служб Triple Zero.

За время сбоя 58 835 таких вызовов прошли успешно, еще 604 завершились ошибкой. По каждому неудачному звонку Telstra начала проверять состояние абонента. Часть случаев пришлось передать полиции и экстренным службам.

Позже сама Telstra подробно описала, что на GPS-карте отсутствовало необходимое обновление программного обеспечения. Кроме того, в оборудование ранее внесли изменение для устранения другой неисправности, но его не отразили в документации. Сотрудники, проводившие обслуживание, поэтому не знали, как устройство поведет себя после перезапуска.

Опубликованный аудит Technology Audit Partners выявил и проблемы в организации работы. В Telstra не была четко закреплена ответственность за систему сетевого времени, а ее состояние и обслуживание оставались недостаточно прозрачными для специалистов.

Австралийские СМИ также сообщили, что два инженера, работавшие с этой системой, во время проведения работ находились на обязательном отдыхе.

После расследования Telstra усилила мониторинг системы синхронизации времени и начала пересматривать порядок контроля других критически важных компонентов сети.