宕机超 12 小时，损失过亿，唯品会基础平台负责人被免职！

整理 | 朱珂欣

出品 | CSDN程序人生（ID：coder_life）

对于后端程序员来说，“高并发”并非新鲜的话题，经历过一次服务器宕机，职业生涯才“完整”。

但如果事故超过 12 小时，或许会直接造成职业生涯“宕机”！

3 月 29 日，#唯品会崩了#的话题登上热搜。

昨天，事件后续来了。

唯品会发布了关于 329 机房宕机故障处理公告：此次南沙机房重大故障，影响客户达 800 多万，判定为 P0 级故障，对负责人予以免职处理。

“崩”上热搜：损失超亿元，持续12小时

说起来，一切都还要追溯到 3 月末。

3 月 29 日，有多名网友反馈唯品会“崩了”，用验证码登录时显示网络错误，登不上去。

随后，唯品会官方微博表示：因系统短时故障，导致主站“加购”等功能或出现异常。

图源：微博截图

时隔 2 个多月，唯品会官方对故障事件做出了回应。

据悉，此次南沙机房重大故障的主要原因是南沙 IDC 冷冻系统故障导致机房设备温度快速升高宕机，造成线上商城停止服务。

故障影响时间持续 12 个小时，导致公司业绩损失超亿元，影响客户达 800 多万，公司将此次故障判定为 P0 级故障。（ P0 属于最高级别事故，比如崩溃、页面无法访问、主流程不通、主功能未实现，或在影响面上影响很大。）

与此同时，唯品会认为此次事故暴露出容灾应急预案和风险防范措施不到位，并决定对此次事件严肃处理。对应部门的直接管理者承担此次事故责任，基础平台部负责人予以免职做相应处理。

其实，类似 329 号机房宕机的事故并非首次发生。

但毋庸置疑的是，唯品会作为拥有大量用户的电商平台，服务器和网络设备的正常运行至关重要。任何一次宕机事件，都会导致平台无法提供正常的服务，因此，每一次故障背后的原因和影响都值得大家思考，并引以为戒。

腾讯旗下社交软件受到“牵连”

同样值得注意的是，受到此次机房事故影响的还有微信、QQ 等腾讯旗下社交软件，包括微信语音对话、朋友圈、微信支付，以及 QQ 文件传输、QQ 空间和QQ 邮箱在内的多个功能无法使用。

图源：微博截图

对此，腾讯微信团队在 3 月 29 日上午发布信息称：“今天凌晨部分用户使用微信、微信支付相关功能出现异常，经工程师抢修，系统正在逐步恢复，很抱歉给大家带来不便。”

与此同时，腾讯内部对此事件的评估为“一级事故”，并对几名高管进行了不同程度的批评、降级和和免职处罚处理。

高并发引起的服务器宕机，频繁发生

随着直播电商平台的发展，用户数的增多导致高并发的概率增大。

近年来，各大平台、热门 APP 的服务器，都似乎难逃卡顿、崩溃乃至宕机的宿命。

2017 年双十一凌晨，在数百万消费者的激情涌入天猫之际，出现了大量手机淘宝、手机天猫的用户无法付款和修改地址，订单、足迹、收藏夹、红包卡券等异常问题，直到 12 点 30 分，天猫的服务器才恢复正常。

2021 年 10 月 20 日晚上，就在淘宝电商大促“双十一”刚开始之际，不少用户发现淘宝出现了客服聊天窗口消息发不出、不能点确认收货等诸多问题。随后，#淘宝崩了# 话题迅速登上微博热搜榜，并占据榜首第一。

如今，即使互联网相关技术已经迭代多轮，却仍然存在许多大规模以及时间长的宕机事件发生。

针对这类问题，在 CSDN 之前报道的《“一天宕机三次”，为什么高并发这么难？》一文中提到，可以从两个方面进行解析：

一方面故障是不可避免的，有人为的故障（人是容易出错的——Human Error）和非人为的故障（机器 Failure）。这些是无计划的停机，还有有计划的停机，如发布新系统、升级维护、更新硬件等。这也是为什么行业中即使部分公司做得再好也只能说自己能做到多少个 9，而非 100% 的主要原因。
当前，我们所能努力的就是尽可能地做到多少个 9，这其中需要很强的技术实力支撑。

级别	可用性级别	通俗说法	年度停机时间	配套措施
基本可用性	99%	2 个 9	3d-15h-39m-29s	服务在一个数据中心里有冗余，简单基础的自动化运维
高可用性	99.9%	3 个 9	8h-45m-56s	大量的自动化故障工具，以及各种控制调度系统等基础设施要做好
具有故障自动恢复	99.99%	4 个 9	52m-35s	本地多机房（像 AWS 一样每个地方都有三个可用区）
极高可用性	99.999%	5 个 9	5m-15s	远程多机房，异地多活