8个基站退服分析报告

tanghongfei200

5月03日朱家、许沟、南山、淇河黄洞、淇县庙口老庄、玉泉、庙口北等8个基站退服分析报告

一、 故障现象：
2012年5月03日17：25左右，接监控班通知，淇河一桥、朱家、许沟、南山、淇河黄洞、淇县庙口老庄、玉泉、庙口北等8个基站全部退服。
二、 故障处理经过：


2012年5月03日17：25左右，接监控班通知淇河一桥、朱家、许沟、南山、淇河黄洞、淇县庙口老庄、玉泉、庙口北等8个基站全部退服。马上查看网管，发现这8个站点均属同一环网，但是该环有11个站点，其他3个站点未受影响。观察整个环网光路无告警，并且所有站点除许沟08槽XCU出现SWR倒收告警外均无异常告警，所以初步怀疑是不是环路部分时隙未添加保护造成，经检查，环网时隙完整。然后逐个站点排查分析，确认淇河一桥交叉盘的问题，导致环路倒换异常。17：35立即通知代维到淇河一桥更换XCU交叉盘，然后18:10在市区朱家06槽O622盘强制发送AIS,使环路强制倒换至备用路径，18：32监控班通知基站业务恢复。
代维人员18:50到达现场，18:55在淇河一桥站点09槽插XCU交叉盘一块，然后在网管上做XCU主备切换，将业务倒至09槽交叉盘上。 18:57将市区朱家06槽O622盘AIS关闭，环路倒换消除，开始恢复至主用，但是在恢复过程中，与监控班联系，被告知上述站点除淇河一桥外均又出现异常，而且也发现市区朱家06槽O622盘出现MS_RDI复用段远端缺陷指示告警，并且一直不消除，于是立即停止环路倒换恢复，马上对市区朱家06槽O622盘再次强制发送AIS,使站点业务恢复。出现上述情况判断可能是市区朱家交叉盘或者光口盘也出现问题，或者市区朱家至淇河一桥光路出现衰耗大等问题并存，于是与现场代维人员联系，询问是否携带光功率计和能否去市区朱家更换交叉盘和光口盘，代维人员告知，光功率计没有携带、市区朱家没有带钥匙。因为此时监控班通知涉及站点目前业务已恢复，并且环路有AIS强制发送使环网强制倒换，所以决定让代维人员返回携带光功率计和市区朱家钥匙及相应XCU交叉盘、O622光口盘各两块，待更换市区朱家异常单盘后再做处理。
21:48，代维人员携带钥匙、机盘、光功率计到达市区朱庄,21:52将市区朱庄09槽插一块XCU交叉盘，然后在网管上做XCU主备切换，待状态性能正常后，22:07将市区朱家06槽O622盘AIS关闭，环路倒换消除，开始恢复至主用，在恢复过程中，与监控班联系，被告知上述站点均又出现异常，而且也发现市区朱家06槽O622盘又出现MS_RDI复用段远端缺陷指示告警不消失的现象。22:09决定更换06槽O622光盘，待光盘状态性能正常后，发现又出现MS_RDI复用段远端缺陷指示告警不消失的现象，所以怀疑光路是不是出现了衰耗大等问题，于是让现场代维人员用所携带的光功率计测量收淇河一桥方向光功率值，经测量市区朱庄收淇河一桥方向为-11.2dB，光功正常，因MS_RDI复用段远端告警提示对端的收光不好，考虑到误告的情况发生，但是为了保证安全，所以决定到淇河一桥也测量一下收市区朱庄方向的收光值。于是告知现场代维人员在淇河朱庄留下一人做配合，另外人员携带备件到淇河一桥站点测量光功率再做处理。
23:30，另一队代维人员到达淇河一桥站点后，测量收市区朱庄方向光功率为-14.6dB，数值正常，于是决定将淇河一桥07槽O66盘更换。待07槽O622更换后，相应尾纤连接好之后，环网业务开始恢复至主用，观察一段时间后，23:50与监控班联系,涉及站点业务已全部恢复。

三、 故障原因深层分析：
故障出现时并没有上报正常告警，传输观察正常时还是被告知站点业务退服，初步怀疑单盘老化、告警上报不正确造成。但是由于出现故障前，有人员进入淇河一桥等站点不排斥人为造成故障。
本次更换了淇河一桥交叉盘、光口盘，市区朱庄交叉盘、光口盘，由于上述单盘在出现工作异常后产生环网部分业务倒换失败，目前此四块机盘已返回厂家进行检测。


四、 下一步的措施：
1． 加强维护人员管理，提高维护处理故障水平，在处理故障中应携带好一些常用的工具及备件（光功、尾纤、备盘），以便更好更快的处理故障（本次故障在第一次到达淇河一桥站点时未携带光功率计造成需要测量时，不得不再次去取光功率计）。
2． 在维护人员处理故障前，应尽量将邻近站点的钥匙多带，以备需要到相邻站点协助配合等工作使用。
3． 定期对环网进行倒换测试工作，做好巡检工作。
4． 详细登记人员进入站点工作范围及情况，防止人为故障（出现故障本日有人员去过此站点）。
5． 由于马上进入高温季节做好站点降温工作，加强备品备件数量、质量。降低故障处理时间。