마이크로소프트(MS)가 지난주 발생한 마이크로소프트 365(Microsoft 365, MS 365) 서비스의 대규모 장애 원인을 공개했다.
MS가 발표한 예비 사고 보고서에 따르면 지난 11월 12일부터 13일까지 발생한 서비스 장애는 약 3개월 전 배포된 윈도우 서버의 소프트웨어 결함이 원인으로, 네트워크 게이트웨이 서버의 80% 이상이 응답하지 않으면서 아웃룩과 익스체인지 온라인, 팀즈, 원드라이브 등 주요 서비스에 영향을 미쳤다.
문제가 된 결함은 지난 7월 네트워크 게이트웨이 서버에 적용된 소프트웨어 변경 사항에 포함돼 있었다. 여러 작업이 동일한 자원을 사용하기 위해 대기하는 과정에서 CPU와 메모리 자원이 고갈되고 서버가 응답하지 않는 현상이 발생했다.
MS는 해당 결함이 코어 수가 많고 최신 하드웨어를 사용하는 서버에서 더 심각하게 나타났지만, 기존 부하 테스트는 상대적으로 코어 수가 적은 서버를 중심으로 진행돼 사전에 발견하지 못했다고 설명했다. 다만 이번 결함은 MS 365의 네트워크 게이트웨이 환경에 한정된 것으로, 일반적인 윈도우 환경에는 영향을 미치지 않는다고 밝혔다.
장애가 본격적으로 발생한 배경에는 서버 부하 증가와 가용 용량 감소가 있었다. 장애 발생 약 15시간 전 팀즈의 네트워크 트래픽이 보조 게이트웨이에서 익스체인지 온라인과 공유하는 주 게이트웨이로 전환됐으며, 별개의 문제로 전체 게이트웨이 서버 용량의 약 14%가 이미 운영에서 제외된 상태였다.
이러한 상황에서 일부 서버가 응답하지 않자 자동 복구 시스템이 트래픽을 정상 서버로 우회시켰지만, 남아 있는 서버에도 동일한 결함이 존재해 부하가 집중될수록 장애가 확산됐다. 결국 약 2시간 만에 전체 게이트웨이 서버의 80% 이상이 응답하지 않는 상태에 빠졌으며, 지역별 장애 확산을 차단하기 위한 격리 장치도 정상적으로 작동하지 못했다.
복구 과정에서도 문제가 이어졌다. 서버를 재시작하더라도 대기 중인 요청이 한꺼번에 몰리면서 다시 응답하지 않는 현상이 반복됐으며, 문제가 된 코드가 이미 전체 시스템에 적용된 상태여서 일반적인 업데이트 롤백이나 기능 비활성화 방식으로는 해결하기 어려웠다.
이에 MS는 문제가 발생한 연결 처리 코드를 이전 상태로 되돌리는 수정 업데이트를 별도로 개발해 서버에 순차적으로 적용했으며, 약 24시간 만에 서비스를 정상화했다.
MS는 이번 사고 이후 트래픽 분산과 장애 감지 기능을 강화하고 복구를 위한 서버 용량을 추가했다고 밝혔다. 또한 현재 공개된 보고서는 예비 조사 결과로, 장기적인 재발 방지 대책을 포함한 최종 보고서를 11월 20일 발표할 예정이다. |