1. 准备工作与信息收集
- 收集故障范围:受影响的实例ID、EIP、内网IP、所在VPC/子网、故障开始时间。
- 准备工具:能访问实例的跳板机、SSH权限、控制台账号、traceroute/mtr/ping/tcpdump/iperf3、浏览器打开阿里云控制台。
- 开始前记录基线:执行 ping -c 5 8.8.8.8 和 traceroute -n 到目标,截取输出保存,作为后续对比。
2. 初步连通性检查(实例侧)
- 本地到实例:SSH 登录实例,检查网络接口 ip addr / ifconfig,以及路由表 ip route / route -n。
- 内外网连通:内网互通测试 ping 内网IP,公网测试 ping EIP 和外网IP;用 curl 或 telnet 检查服务端口(例:telnet 目标IP 80)。
- 若无响应,先检查安全组和网络ACL规则(控制台或aliyun CLI),确认入站/出站策略允许对应协议与端口。
3. 物理链路与网卡问题排查
- 查看网卡状态:ethtool eth0 或 ip -s link,注意 RX/TX 错误、丢包、队列溢出。
- 重启网卡:sudo ip link set eth0 down && sudo ip link set eth0 up(注意生产风险,建议在维护窗口或单实例不可用时)。
- 检查虚拟网卡性能参数:禁用 GRO/TSO 可排查碎片与吞吐问题 sudo ethtool -K eth0 gro off gso off tso off。
4. VPC、ENI、EIP 与路由表检查
- 控制台核对:进入VPC -> 子网 -> 路由表,确认目标路由是否有误,检查是否指向了错误的NAT网关或虚拟路由器。
- 异常ENI:在控制台查看弹性网卡(ENI)状态,是否被解绑或重复绑定;若为SLB/负载均衡前端,检查后端服务器健康检查。
- EIP问题:确认EIP是否绑定到正确实例、是否被释放或计费问题导致暂停。
5. 安全组与网络ACL排查细则
- 安全组:逐条核对入站/出站规则,尤其检查来源CIDR、端口范围与协议;临时放宽规则测试连通性,再回滚。
- 网络ACL:子网级别的ACL可能覆盖安全组,查看是否存在拒绝规则;调整后等待生效并再次测试。
- 日志审计:若开通阿里云云防火墙或日志服务,检索相关时间段的被拦截记录。
6. DNS 与解析问题处理步骤
- 本地解析验证:dig +short 域名 或 nslookup,确认解析返回的IP是否正确。
- 本地/实例DNS:检查 /etc/resolv.conf 指向的DNS服务器是否可用;尝试直接查询权威DNS。
- CDN/解析缓存:若使用阿里云DNS/解析,刷新解析或降低TTL后观察是否恢复。
7. MTU、分片与性能异常排查
- MTU检测:使用 ping -M do -s
命令测试,例如 ping -M do -s 1472 目标IP(Linux),若超出需逐步减小size找出最大可通过值。
- TCP MSS:对于VPN/专线场景,调整MSS或在路由器/实例中设置减少分片(iptables --set-mss)。
- 性能测试:使用 iperf3 -c 目标IP 测试带宽与丢包率,记录RTT与抖动。
8. 专线/Express Connect 与 BGP 排查
- BGP会话:若使用专线或对端BGP,登录对端设备或阿里云控制台检查BGP会话状态,确认AS号、邻居状态为Established。
- 路由传播:查看路由表是否有丢失或被错误聚合,使用 traceroute/route -n 对比对端路由。
- 联系运营商:若怀疑物理链路或骨干问题,准备好BGP邻居信息、时间点与抓包文件,联系专线提供商与阿里云支持。
9. 抓包与日志证据收集
- 实例抓包:使用 sudo tcpdump -i eth0 host and (tcp or icmp) -w /tmp/cap.pcap,截取发生问题时段的数据包。
- 分析工具:下载cap并用Wireshark/MATTER进行分析,关注重传、RST、ICMP unreachable、MSS/DF标志等。
- 控制台日志:查看实例系统日志、SLB/OSS/云防火墙日志、CloudMonitor报警记录,保存为工单附件。
10. 提交工单与修复回滚流程
- 提交工单:在阿里云控制台 -> 支持与服务 -> 工单,填写影响范围、时间、操作记录、抓包文件与截图,标明紧急级别。
- 修复步骤:先在测试环境复现并验证方案(如调整MTU、修改路由、放宽安全组),再在生产逐步执行并实时监控。
- 回滚预案:每次修改前记录现状配置(route、security group、ACL、BGP配置),若问题未解决立即按预案回滚并向相关方通报。
11. 常见故障快速解决小结
- 若是单实例无网:先检查安全组/网卡绑定/路由,再重启网卡与网络服务。
- 若是全站延迟或丢包:抓包确认是链路层还是应用层问题,若链路则联系专线或IDC。
- 若疑似阿里云平台故障:提交工单并附上实例信息、时间线与抓包,等待官方处理。
Q: 出现间歇性丢包,如何快速定位是实例端还是阿里云网络侧问题? A: 首先在实例侧持续 ping 目标并记录丢包时间点,同时在旁路或另一可达实例做相同测试;若实例ping本地网关无丢包但到外网有丢包,倾向网络侧或转发链路问题;准备 tcpdump 抓包并提交控制台工单。
Q: 专线(Express Connect)发生单向丢包或路由不通,我需要哪些信息提交给客服? A: 提供专线ID、BGP邻居IP与AS号、出现问题的时间窗口、路由表截图、traceroute/mtr 输出和抓包文件,注明是否存在路由策略或流量镜像,便于阿里云与对端运营商联动排查。
Q: 修改安全组或路由后服务不可用,如何安全回滚且避免二次故障? A: 变更前导出当前配置(截图或命令导出),变更后立即验证关键业务连通性;若出现不可用,按记录逐项回滚并在低峰窗口执行,回滚同时通知业务方并记录事件原因与改进措施。
来源:阿里云香港线路机房常见网络故障排查与解决流程