新たな店舗ネットワークの運用保守に求められた要件は、非常にハイレベルなものでした。2万以上の全店舗で回線4万本、店舗設置の機器10万台以上を対象に、毎月の監視アラーム2,100件、インシデント600件という膨大な対応が求められます。しかも、稼働率100％を前提に、5分以内の発生原因まで特定した故障通知が必須というオペレーションの品質目標が挙げられていました。

「A社さまは、将来的に3万店舗の出店を目指しており、例え、今回の要件を満たしたとしても、人海戦術のオペレーションでは近い将来に限界を迎えることは明らかでした。そのためNTT Comがご提案したのは、“運用保守の自動化”でした。心を奮い立てて、“自動化”のスペシャリストとして、運用サービスに精通したサービスマネージャーの新用と、自動化の開発に長けたサービスマネージャーの渡邉がプロジェクトに参画することになったのです」（山田）

2015年10月、NTT ComのもとにA社から1通のメールが届きます。内容は「店舗ネットワークの自動化に、ICT環境の運用保守サービスである“マネージドサービス（以下、X Managed®）”は対応できるのか」というお問い合わせでした。

当時のX Managed®は、IT運用プロセスの自動化により業務の効率化、運用コストの見直しなどを実現するNTT Comのマネージドサービスでした。同サービスへの移行支援を担当していた新用サービスマネージャーは、かなり特殊な自動化の要件に困惑したといいます。

「X Managed®の仕様では、NTT Com側で用意した監視装置、CMDB(構成管理データベース)を使ってオペレーション自動化を行います。しかし、A社さまの案件では、お客さま側の監視装置、CMDBを使う必要がありました。さらに回線のみならず、店舗に設置されたPOSレジやATMを含むシステム全体が間接的に監視対象になっていたこと、セキュリティにより店舗のSI機器にリモートログインできないことも想定外でした」

山田サービスマネージャーは、A社の特殊な要件に応えるため、定期的に提案を行ったといいます。「何度も提案に失敗し、お客さまへのヒアリングを行う中で気づいたことがありました。私たちの提案は自動化という技術面に寄りすぎ、お客さまの目線に立てていなかったのです。例え、自動化の要件を満たしても、お客さまのオペレーションに使う情報を完全に揃える、使わない情報を完全に取り除く、使いたい時間に必ず間に合わせる、影響レベル判断や原因特定の信用度を100%に上げるなど、お客さまが利用する際のメリットにつながらなければ意味がありません」（山田）

事態が好転したのは、2018年のことでした。テクノロジーの進展によって回線部門のアラーム情報と連携して自動化の機能が高まったのです。A社の監視システムが更改を迎えてログ情報の連携機能が高まったことも、プロジェクトの進展を後押ししました。さらに、NTT Comのオペレーション拠点の1つであった北陸拠点の機能を都心に移転したことで、両社の連携も緊密になりました。

「こうした条件がそろったことで、A社さまが求めるレベルの提案ができると考え、オペレーション自動化の準備を進めていきました」（山田）

運用保守の自動化は、人が行うオペレーションの負荷を低減することが目的です。それには、日々発生するエラーを自動的に検知するだけなく、膨大なエラーの中からオペレーターの対応が本当に必要なものを見極めるということも非常に重要になります。

「店舗ネットワークの仕様については、徹底的に山田と話をしながら中身を詰めていきました。さらに、佐々木の部署で回線のアラームデータを利用できることがわかり、それを開発に託しました。そして、オペレーターの対応が必要か、不要か、お客さまにメールを送付するか否かという処理を作り込んでくれた渡邉の苦労の甲斐があり、ようやく何度目かの正直でリリースできたのです」（新用）

入社してまだ数年という渡邉サービスマネージャーにとっては、大規模な開発案件は最初の試練でした。

「一般的な自動化は異常を自動検知し、それをお客さまにメールでお知らせするというのが一般的なフローです。今回は品質向上に向け、うまく自動化が作動しない場合の対応といった一般的なフローに含まれないようなことにも注力しました。常にスピーディな対応が求められる中、開発では各機能を切り分け、頭を整理して作ることで手戻りがない工夫もしました。これも山田、佐々木が徹底してヒアリングを行い、その結果を新用が開発目線でかみ砕いて伝えてくれる、といったサービスマネージャー間の連携があったからこそ可能になったと感じています」（渡邉）

開発チームの奮闘と並行しながら、佐々木サービスマネージャーは、A社とフェイス・トゥー・フェイスで細かい調整を行いました。

「A社さまのもとに何度も足を運び、自動化の検討を密に進めました。その間にもA社さまのもとにはオーナーさま、店長さまからのお問い合わせが殺到し、大きな業務負担がかかっていることがわかったのです。改めて一刻も早い自動化への切り替えを肌で感じ、要件や課題の共有し、理解を深め、改善の提案を繰り返しすことで満足いただけるゴールが見えました」（佐々木）

今回のプロジェクトでは、オペレーションの体制づくりも重要なポイントとなっています。山田サービスマネージャーは、案件の規模が大きく、高いレベルのスピード、品質が求められる「誰も経験したことのない」レベルであったため、オペレーション設計にはいくつもの配慮が必要だったと語ります。

「未知のオペレーションに不安を抱えるオペレーターに向けたトレーニング、自動化を前面に出してオペレーションの負荷を軽減する仕組みづくりなど、全体的な調整にかなり工夫をしました」（山田）

サービスマネージャーのチャレンジが実り、2018年、オペレーションの自動化を実装した店舗ネットワークシステムが稼働を開始しました。

「本プロジェクトにより、自動化で店舗全体のさまざまな故障の中から重要なものを特定し、回線故障のみに絞ったメールを5分以内に送付できるようになりました。その結果、A社さまへの通知頻度は劇的に減りました。お客さまから、“いままで夜間、休日を問わず届いていたメールが減り、夜に起こされることもなくなりました”と、感謝の言葉をいただいたことが最大の成果ですね。昨今のコロナ禍はもとより、自然災害などで出社できない状況でも自動的に回線の故障通知ができるという点も評価いただいております」（山田）

4人のサービスマネージャーは、すでに次のミッションに着手しています。2022年の基幹システム更改に向けた、もっと先の自動化へのチャレンジです。

「現時点では発生原因の特定とお客さまへの通知の自動化ですが、オペレーターと故障を担当する回線部門と復旧手配の連携、AI技術を活用した予兆発見、ネットワークの先にある店舗サービスとの協業といった一連の故障対応を自動化する開発、オペレーション設計をネクストステージに見据えています。そのために、つねに広い視野で技術革新、顧客ニーズといった世の中の変化を全力でキャッチアップすることを心がけています。仕事は保守であっても気持ちは革新的でありたいですね」（山田）

今回と同様、次期プロジェクトでもトラブルなどの試練は少なからず起こる可能性はあります。新用サービスマネージャーは、そんな状況にこそ前に出ることが大事だと語ります。

「トラブルのときこそ、お客さまの現場に駆けつけ、状況を把握し、有効な対策を考えることで安心を感じてもらうことが重要になります。現場に行けば逃げられない、あえて自分を追い込んでいるところもありますが、私も含めNTT Comには窮地でも絶対に逃げないサービスマネージャーが揃っています。それがお客さまの安心感につながり、不可能を可能にする懐の深さになっているのだと思います」（新用）

渡邉サービスマネージャーは、次期プロジェクトに向けてキャパシティの拡大が課題だと考えています。「いい開発者は新たな技術に飛びつくのではなく、たくさんの選択肢からお客さまの課題にベストな手段を切り出すべきだと考えています。自分の引き出しを増やすために広い視野で最新のテクノロジーを吸収し、いずれ条件が整えば満を持してAIを自動化に組み込みたいですね」

今回のプロジェクトについて、山田サービスマネージャーは次のように総括します。「A社さまの店舗ネットワークの更改は、X Managed®の新たな道を拓いたプロジェクトだと考えています。外部の監視システム、構成情報の利用など標準的なサービスモデルにマッチしない部分が非常に多く、そこを情熱と努力で自動化に結び付けているからです。ここで得られた知見、ノウハウは次の先進的な取り組みにつながっていくのではないでしょうか」

※肩書き、プロフィールは取材当時のものです