通信人家园

标题: IPTV卡顿现象的处理案例 [查看完整版帖子] [打印本页]

时间: 2012-4-18 16:45

作者: 飞鱼翅膀 标题: IPTV卡顿现象的处理案例

【案例4】：某小区IPTV卡顿现象的处理(一)
故障现象描述
某小区用户反映IPTV卡顿，98#楼为电***换机，通过95#2单元光***换机接入园区交换机，园区交换机为千兆上行。

未命名.JPG

(二)
故障原因分析
LAN交换机接入的IPTV用户反映卡片的现象，可能的障碍原因如下：
1.上联、级联端口匹配模式
2.用户端口双工模式
3.级联端口和级联线问题
4.环路问题
5.园区交换机中继带宽不足或者城域网中继带宽不足
6.交换机硬件问题
(三)
故障处理方法
1.
首先检查园区中继流量如图

未命名1.JPG

由图可见：该小区峰值流量为91.64M，中继带宽为1G，中继利用率<10%,排除中继拥塞的可能性；
2.
于晚间忙时查看95#2单元交换机到园区交换机之间的中继流量为12M,楼道到园区交换机的中继带宽为100M,中继利用率为12%，处于轻载状态，故排除楼道到园区交换机的中继拥塞的可能性；
3.
查看从园区交换机到98#用户端口之间经过的所有级联口，发现各级联口均工作在百兆全双工，无错误包。但用户上联的98#交换机的11口存在大量aborts错误包，端口速率模式为速率强制10M，双工模式自适应为全双工。怀疑此端口与用户端设备适配有问题，将此端口工作模式改为速率自适应、双工模式自适应后，端口适配成百兆全双工，但回访用户仍有卡顿现象，排除交换机端口适配问题的可能性；
4.
远程登录到园区交换机中，使用1024字节的大包ping 95#2单元的光***换机，发现有明显的丢包现象，因端口工作模式已核实无误，所以怀疑是交换机和光转片老化造成。将园区交换机和95#2单元上联光转片更换后，仍存在丢包现象，故排除交换机硬件故障的可能性；
5.
查看95#2单元光***换机的log日志（display logbuffer），发现该交换机的24口存在环路告警，怀疑交换机用户端口存在环路（loopback exist in port 24/vlan X），造成广播风暴，导致交换机出现丢包的现象。将24口shutdown后，再用1024字节的大包ping 95#2单元的光***换机，不再出现丢包的现象，回访用户得知IPTV不再出现卡顿的现象，至此该障碍处理完毕。
附：排查环路的方法
1.
是否存在环路的初步判断：
（1）查看交换机log日志，看是否有环路告警；
（2）查看交换机cpu利用率（display cpu），若发现cpu利用率持续维持在80%以上，则因环路造成了广播风暴的可能性很大；
（3）查看交换机用户端口广播包数量是否快速增长，若增长很快则有可能存在广播风暴；
以此障碍为例，查看交换机log日志，发现24口存在环路告警，对于提示某端口下存在环路告警的情况，处理如下：
（1）若此端口为级联口，则将下联交换机所有用户线拔掉，仅留级联线，然后逐个将用户线重新插上，同时实时刷新上联交换机的log，若插上某个端口后环路告警重新出现，则重点检查该端口所联用户端接线是否存在环路或者因网线连接错误导致该端口在交换机上产生自环；
（2）若此端口为用户口，则除了检查用户端接线情况外，还要注意用户端电脑是否中毒，有些病毒会仿冒网关或者DNS（display arp发现网关对应的端口是某个用户端口或主交换下联口），造成其他用户数据包发向该用户端口而非上联口，从而导致网络瘫痪；
（3）还有一种就是此障碍的现象，此端口并未连接任何线路，则有可能是端口内部硬件故障导致端口自环，此时可以将该端口shutdown，确认障碍解决后将交换机更换，以防止因误操作又将坏端口打开导致障碍重复出现。

[ 本帖最后由飞鱼翅膀于 2012-4-18 16:48 编辑 ]

附件: 未命名.JPG (2012-4-18 16:45, 60.44 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MTczMzcxfDVlYjc4YjgwfDE3MzA4NTcxNjF8MHww

附件: 未命名.JPG (2012-4-18 16:48, 12.15 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MTczMzc0fGEwYTI2N2ZhfDE3MzA4NTcxNjF8MHww

附件: 未命名1.JPG (2012-4-18 16:48, 60.78 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MTczMzc1fDI5NzRkNTUzfDE3MzA4NTcxNjF8MHww

时间: 2012-4-18 17:03

作者: Miro

:) 好案例，收入经验库。。。

时间: 2012-4-18 20:34

作者: ngh1823

huawei交换机。。

时间: 2012-4-19 09:49

作者: pei_12

顶一个。

时间: 2012-4-19 11:34

作者: tranqi

事后诸葛亮一把。
1，看流量图，不连续。（设备对流量采集支持不好，一般这种情况都伴随CPU指标偏高）。
2，查看CPU性能曲线，佐证之。
3，穷举法交换CPU被打高的典型原因之一环路。当然还有其他。。。

时间: 2012-4-19 12:36

作者: tomtuo

谢谢分享

时间: 2012-4-19 13:16

作者: feitengyang

好东西，我们上次集体培训就是这个案例

时间: 2018-3-21 22:35

作者: huiyingj

谢谢分享！

通信人家园 (https://www.txrjy.com/)