【事故速報】中継回線におけるメディアコンバータ電源故障について

島根データセンター友の会 SDCC OWN本部 ネットワークオペレーションセンタでは、日々のシステム運用や障害対応を通じて得られた技術的な知見を、技術ブログとして積極的に公開しています。
ITインフラの運用現場では、ネットワーク障害、サーバーの不具合、ソフトウェアの予期せぬ挙動など、さまざまな技術的課題に直面します。
こうした問題の中には、公式ドキュメントだけでは解決が難しく、試行錯誤や詳細な調査を重ねることで、ようやく原因の特定や復旧に至るケースも少なくありません。
一方で、そうした貴重な経験やノウハウは、担当者や組織の内部にとどまり、十分に共有されないまま埋もれてしまうことがあります。
私たちは、障害対応を通じて得られた知見は、自分たちだけのものではなく、同じ課題に直面する技術者にとっても価値のある情報であると考えています。
そのため、実際に発生した障害の事象、原因分析、調査過程、解決方法、再発防止策などを可能な範囲で整理し、技術ブログを通じて発信していきます。

1. 事象の概要

千葉エリアのネットワーク設備において複数の監視アラートが発生し、利用者からも故障申告がありました。
遠隔調査の結果、中継回線区間の対向装置において、光受信レベルの低下(Low)を確認しました。
現地設備の故障が疑われたため、技術者を派遣して障害切り分けを実施しましたが、初回の現地対応では復旧に至らず、追加調査が必要となりました。
その後、ラボ環境での検証により、メディアコンバータ本体ではなく、電源アダプターが故障していることを特定しました。再度の現地対応においてメディアコンバータ本体および電源アダプターを交換し、通信の回復を確認しました。

2. 発生原因

本障害の直接的な原因は、メディアコンバータに電源を供給するACアダプターの故障です。
障害発生時、メディアコンバータの電源表示が点滅する異常が確認されていました。一方、現地での障害切り分けの過程では、SFP-SRおよびGLC-Tトランシーバーを使用した試験において正常に動作する場合があり、故障箇所の特定を困難にしていました。
ラボ環境における追加検証の結果、メディアコンバータ本体ではなく、電源アダプターの故障が原因であることを確認しました。

3. 障害対応の経緯

日時(JST)対応内容
10月XX日 04:59複数の監視アラートが発生。利用者からの故障申告を受領。
10月30日遠隔調査により、中継回線区間の対向装置における光受信レベルの低下を確認。現地派遣要員を確保。
10月31日現地に到着。
メディアコンバータの電源表示の点滅を確認。
持参した交換用メディアコンバータ本体を接続するも回復せず。退局。
11月1日ラボ環境での検証により、メディアコンバータ本体ではなく、電源アダプターの故障であることを特定。
11月1日 21:12再度現地に到着。メディアコンバータ本体および電源アダプターを交換し、通信の回復を確認。退局。

4. 復旧までの期間が長期化した要因

本障害では、直接的な故障原因である電源アダプターの特定に加え、保守対応体制および作業手順に関する複数の課題が重なり、復旧までに長時間を要しました。

4.1 保守対象設備に関する知見の不足

当該型式のメディアコンバータを設置している拠点は2拠点のみであり、当該設備の保守に習熟した技術者が限られていました。
(一般的なNW装置故障における、電源故障の割合はかなり高く、メディアコンバータでも同様ですが、この観点の知見を有する技術者を派遣できませんでした。)
このため、現地で確認された電源表示の異常や、一部のトランシーバーでは正常に動作する事象について、電源アダプターの故障を想定した十分な切り分けを実施できませんでした。

4.2 保守部材の管理方法および持参手順の不備

当該型式のメディアコンバータは設置拠点が限定されており、保守部材の保管および持ち出し手順について、十分な管理が行われていませんでした。
特に、交換用メディアコンバータ本体と電源アダプターが別々に保管されており、10月31日の現地対応ではメディアコンバータ本体のみを持参していました。
このため、現地において電源アダプターを含めた交換試験を実施できず、追加調査および再度の現地派遣が必要となりました。
なお、既存の故障対処マニュアルには電源アダプターの持参について記載されていましたが、実際の対応において当該手順が順守されていませんでした。

4.3 電源異常を想定した切り分け手順の不足

今回の障害では、メディアコンバータの電源表示に異常が認められる一方、トランシーバーを使用した現地試験では正常に動作する事象が確認されました。
このため、通常の機器交換やトランシーバーを用いた動作確認のみでは、故障箇所の特定が困難でした。
また、電源アダプターの供給能力低下を想定した検証物品や切り分け手順が十分に整備されておらず、故障原因の特定に時間を要しました。

5. 実施した対処

本障害に対して、以下の対応を実施しました。

  • 遠隔監視による中継回線区間の異常確認
  • 現地におけるメディアコンバータの状態確認
  • 交換用メディアコンバータ本体を用いた動作確認
  • ラボ環境での追加検証による故障箇所の特定
  • メディアコンバータ本体および電源アダプターの交換
  • 交換後の通信回復確認

これらの対応により、2026年11月1日に通信の回復を確認しました。

6. 再発防止策

本障害を受け、同様の事象が発生した際に迅速かつ確実に復旧できるよう、以下の再発防止策を実施します。

6.1 保守部材の保管方法の見直し

外部電源アダプターを使用する各種保守部材について、機器本体と対応する電源アダプターを一組として保管するよう、保管場所のレイアウトおよび管理方法を変更します。
これにより、機器本体のみを持ち出すことによる保守部材の不足を防止します。

6.2 故障対処マニュアルの改訂

メディアコンバータの交換時には、機器本体に加えて対応する電源アダプターも必ず持参することを、故障対処マニュアルに明記します。
従来から同様の記載は存在していましたが、今回の事象を踏まえ、必須事項として順守を徹底する旨を追記します。

6.3 電源異常を検出するための検証物品の追加

電源アダプターの供給能力低下に起因する動作異常の切り分けを目的として、従来より消費電力の大きいSFPトランシーバーを故障修理用の検証物品として追加配備します。
これにより、異なる負荷条件における動作状況を比較できるようにし、電源アダプター故障の早期発見につなげます。

6.4 保守部材持ち出しチェックリストの導入

現地派遣時に必要となる交換用機器、電源アダプター、トランシーバーおよび検証物品等を確認するチェックリストを新たに作成します。
現地派遣前にチェックリストによる確認を必須とすることで、保守部材の持参漏れを防止します。

6.5 メディアコンバータ故障切り分け手順の整備

メディアコンバータの故障時における切り分け手順を新たに作成します。
特に、電源アダプターの供給能力低下によって機器の動作が不安定となる可能性を考慮し、消費電力の大きいSFPトランシーバーを使用した負荷条件での動作確認を切り分け項目に追加します。
また、メディアコンバータ本体と電源アダプターをそれぞれ独立した故障候補として扱い、個別に正常性を確認する手順を明確化します。

7. 今後の対応

今回の障害では、直接的な故障原因は電源アダプターにありましたが、復旧が長期化した背景には、保守部材の管理方法、作業手順の順守状況および故障切り分け体制に課題がありました。
特に、設置数の少ない設備についても、故障発生時に必要となる保守部材と技術的な切り分け手順を適切に整備し、担当する技術者の経験や習熟度に依存せず復旧対応を実施できる体制が必要であると認識しています。
今後は、今回策定した再発防止策を確実に実施するとともに、他の設備についても同様の課題が存在しないか確認し、保守品質の向上および障害復旧時間の短縮に取り組みます。

\ 最新情報をチェック /