微软新加坡服务器墙 发生时的故障上报流程与日志采集指导

1. 故障判定与初步信息收集

1) 确认影响范围：单台VM、子网还是整个新加坡区域。记录影响开始时间（UTC+8）。
2) 网络表现指标：使用 ping 测试记录丢包率和延迟，例如 10 个 ICMP 包丢包 40%，平均延迟 320ms。
3) 应用层症状：域名解析失败、HTTP 504、长尾 5xx 错误率提升到 12%。
4) 初步排查命令：ping, traceroute, curl -I, nslookup；记录每条命令输出作为证据。
5) 判断是否为“墙”类问题：如果全球多点都无法到达新加坡出口或路由异常，可能涉及上游运营商或黑洞策略。
6) 记录关联服务：CDN 回源失败、负载均衡健康检查异常、Azure DDoS 防护告警存在与否。

2. 日志分类与优先级采集

1) 网络层日志优先：收集 VM 上的 tcpdump 或 pktmon 抓包，覆盖故障窗口前后各 10 分钟。
2) 系统与内核日志：/var/log/syslog 或 /var/log/messages，特别关注网络设备和内核的错误信息。
3) 应用与 Web 服务器日志：nginx/access.log、error.log，记录 5xx 请求的完整头部。
4) 平台侧日志：Azure 活动日志、Network Watcher 流日志，导出为 JSON 供分析。
5) CDN 与 WAF 日志：边缘节点返回码、请求回源时间、WAF 阻断规则触发记录。
6) DDoS 防护告警：记录 Azure DDoS Protection 的告警 ID、流量峰值（Gbps）与清洗时间。

3. 采集方法与具体命令示例

1) 抓包命令示例：在 Linux 上使用 tcpdump -i eth0 -w /tmp/sg_issue.pcap host X.X.X.X and port 443。
2) 路径追踪：traceroute -n -w 2 -q 1 X.X.X.X 且保存输出以供运营商比对。
3) 平台 API 导出：使用 az network watcher packet-capture 或导出 NSG Flow Logs。
4) 应用日志导出：cp /var/log/nginx/access.log /tmp/access_故障窗口.log 并压缩。
5) 系统指标采集：使用 sar/iostat 收集 CPU、网络带宽、错误计数，采样间隔 10s。
6) 时间同步：确保所有日志均为 UTC 时间或标注时区，避免时间偏差误判。

4. 故障上报流程与联系方式模板

1) 内部告警：通过监控平台（例如 Zabbix/Prometheus Alertmanager）触发紧急工单并@网络团队。
2) 向微软 Azure 支持上报：提交 Support Request，选择“Networking/Connectivity”类别并附上抓包与 traceroute。
3) 上报内容模板：包含影响范围、开始时间、影响指标（丢包%、延迟ms、错误率%）、相关日志下载链接。
4) 紧急电话/聊天：对于影响业务的“墙”问题，使用 Azure 的技术支持电话并在案例中引用 Support Request 编号。
5) 与上游运营商沟通：如怀疑 BGP 或链路问题，向 ISP 提供 traceroute 与 BGP 路由表快照。
6) 协作流程：记录每一步责任人、响应时间与采取动作，形成事件时间线并在结束后做 RCA（根因分析）。

5. 真实案例：新加坡区域 BGP 黑洞导致回源中断

1) 案例概要：2025-04-12 09:12 开始，上海与上海外站点无法访问位于新加坡的 Azure VM；CTCC、ISP 路由对齐异常。
2) 证据数据：traceroute 显示在 ISP 路由器处丢包 100%，ping 丢包 100%，平均 RTT 无响应。
3) 流量峰值：Azure DDoS 告警显示异常流量峰值 3.2 Gbps，清洗后流量回落但路由仍异常。
4) 采取动作：提交 Azure SR-12345678，附上 tcpdump（大小 24MB）和 Network Watcher 流日志。
5) 处理结果：微软确认与上游运营商联动，恢复正常路由耗时 2 小时 40 分，业务逐步回归。
6) 经验总结：日志齐全、时间戳准确与路由追踪是加速响应的关键。

6. 实用表格：示例服务器配置与日志清单

1) 该表格给出受影响 VM 原始配置与需提交的日志清单作为模板。
2) 在上报时直接填写表格并附在工单里可提高处理效率。
3) 以下表格展示配置示例与文件路径。
4) 表格居中，边框宽度为 1，文字居中显示。
5) 请根据实际环境替换示例值并压缩日志后上传。

项目	示例值 / 路径
区域	Southeast Asia (Singapore)
VM 大小	Standard D4s v3 (4 vCPU, 16GB)
操作系统	Ubuntu 20.04 LTS
Public IP	13.250.XXX.XXX
抓包文件	/tmp/sg_issue.pcap (24MB)
系统日志	/var/log/syslog (gz)
应用日志	/var/log/nginx/access.log, error.log
Network Watcher 流日志	存至 Storage Account, container: nw-logs

来源：微软新加坡服务器墙 发生时的故障上报流程与日志采集指导