IPTV卡顿现象的处理案例

飞鱼翅膀

【案例4】：某小区IPTV卡顿现象的处理(一)
故障现象描述
某小区用户反映IPTV卡顿，98#楼为电***换机，通过95#2单元光***换机接入园区交换机，园区交换机为千兆上行。


                              
(二)
故障原因分析
LAN交换机接入的IPTV用户反映卡片的现象，可能的障碍原因如下：
1.上联、级联端口匹配模式
2.用户端口双工模式
3.级联端口和级联线问题
4.环路问题
5.园区交换机中继带宽不足或者城域网中继带宽不足
6.交换机硬件问题
(三)
故障处理方法
1.
首先检查园区中继流量如图



由图可见：该小区峰值流量为91.64M，中继带宽为1G，中继利用率<10%,排除中继拥塞的可能性；
2.
于晚间忙时查看95#2单元交换机到园区交换机之间的中继流量为12M,楼道到园区交换机的中继带宽为100M,中继利用率为12%，处于轻载状态，故排除楼道到园区交换机的中继拥塞的可能性；
3.
查看从园区交换机到98#用户端口之间经过的所有级联口，发现各级联口均工作在百兆全双工，无错误包。但用户上联的98#交换机的11口存在大量aborts错误包，端口速率模式为速率强制10M，双工模式自适应为全双工。怀疑此端口与用户端设备适配有问题，将此端口工作模式改为速率自适应、双工模式自适应后，端口适配成百兆全双工，但回访用户仍有卡顿现象，排除交换机端口适配问题的可能性；
4.
远程登录到园区交换机中，使用1024字节的大包ping 95#2单元的光***换机，发现有明显的丢包现象，因端口工作模式已核实无误，所以怀疑是交换机和光转片老化造成。将园区交换机和95#2单元上联光转片更换后，仍存在丢包现象，故排除交换机硬件故障的可能性；
5.
查看95#2单元光***换机的log日志（display logbuffer），发现该交换机的24口存在环路告警，怀疑交换机用户端口存在环路（loopback exist in port 24/vlan X），造成广播风暴，导致交换机出现丢包的现象。将24口shutdown后，再用1024字节的大包ping 95#2单元的光***换机，不再出现丢包的现象，回访用户得知IPTV不再出现卡顿的现象，至此该障碍处理完毕。
附：排查环路的方法
1.
是否存在环路的初步判断：
（1）查看交换机log日志，看是否有环路告警；
（2）查看交换机cpu利用率（display cpu），若发现cpu利用率持续维持在80%以上，则因环路造成了广播风暴的可能性很大；
（3）查看交换机用户端口广播包数量是否快速增长，若增长很快则有可能存在广播风暴；
以此障碍为例，查看交换机log日志，发现24口存在环路告警，对于提示某端口下存在环路告警的情况，处理如下：
（1）若此端口为级联口，则将下联交换机所有用户线拔掉，仅留级联线，然后逐个将用户线重新插上，同时实时刷新上联交换机的log，若插上某个端口后环路告警重新出现，则重点检查该端口所联用户端接线是否存在环路或者因网线连接错误导致该端口在交换机上产生自环；
（2）若此端口为用户口，则除了检查用户端接线情况外，还要注意用户端电脑是否中毒，有些病毒会仿冒网关或者DNS（display arp发现网关对应的端口是某个用户端口或主交换下联口），造成其他用户数据包发向该用户端口而非上联口，从而导致网络瘫痪；
（3）还有一种就是此障碍的现象，此端口并未连接任何线路，则有可能是端口内部硬件故障导致端口自环，此时可以将该端口shutdown，确认障碍解决后将交换机更换，以防止因误操作又将坏端口打开导致障碍重复出现。


[ 本帖最后由 飞鱼翅膀 于 2012-4-18 16:48 编辑 ]