NTTコミュニケーションズ株式会社(以下 NTT Com)、東映株式会社(以下 東映)および株式会社NTT QONOQ(以下 コノキュー)は、デジタルヒューマンを活用し、接客やコミュニケーションを行う実証実験(以下 本実証実験)を2023年3月9日より開始します。

本実証実験では、東映ツークン研究所のもつデジタルヒューマン技術^※1で生成された”ビジュアル”とNTT人間情報研究所がもつモーションや音声を生成する技術により表現された”パーソナリティ”(ふるまいや音声)を掛け合わせることにより生み出された、リアリティのあるデジタルヒューマン「CONN(コン)」が、NTT Comのワークプレイス「OPEN HUB Park」^※2で接客やコミュニケーションを行い、企業における新たな顧客接点としてのデジタルヒューマン活用の可能性を検証します。

1.背景

労働力不足や生産性向上が課題となる中、企業ではXRやメタバース、ロボットなどの先進技術活用の検討が進んでいます。中でも、コンタクトセンターや店舗などの顧客接点において、チャットボットやバーチャルなキャラクターの導入が広がってきましたが、リアルな人との接点を求めるお客さまは依然として多く、さらなる普及に向けてはよりリアルな人間に近い動きやコミュニケーションが可能なバーチャルキャラクターが求められています。

このような背景をふまえ3社は、東映ツークン研究所のデジタルヒューマン生成技術とNTT人間情報研究所が開発した「モーション生成AI技術」^※3「音声合成AI技術」^※4を連携させることで、より人間に近い自然なふるまいができるデジタルヒューマン「CONN」を生み出しました。「CONN」は「OPEN HUB for Smart World」(以下 OPEN HUB)^※5において接客・コミュニケーションを行う「デジタルカタリスト」^※6として活動することで、これまで主にエンターテイメント分野で展開されてきたデジタルヒューマンの、企業における新たな顧客接点としての活用の可能性を検証します。

2.本実証実験の概要

「CONN」が「デジタルカタリスト」として「OPEN HUB Park」内の複数のデバイスに登場し、来訪者の対応をすることで、顧客接点としてのデジタルヒューマンの可能性を検証します。

(1)「CONN」の生成

①ビジュアル
実在のカタリスト9名の顔を、東映ツークン研究所の最新版の「LightStage(ライトステージ)」^※7にてスキャンし、CGによりリアルな人間(デジタルヒューマン)を生成する技術を活用して生成

②パーソナリティ(ふるまい、音声)
実在するカタリストのモーションキャプチャデータと音声データをNTTグループが開発するAIエンジンに学習させ、カタリストのふるまいと声の特徴を再現

③ビジュアルデータとパーソナリティデータの融合
NTT Comが開発した、独自ソフトウェアの活用により、生成したビジュアルデータとパーソナリティデータの特徴点を組み合わせ、学習済みのプログラムをもとに、モーション生成/音声生成を行うことで、「CONN」の3DCG^※8化を実現

(2)「CONN」による「OPEN HUB Park」案内

「CONN」自らが思考しているかのように、表情やふるまい、声のトーンなどをお客さまとの対話の中で柔軟に変化させ、自然なコミュニケーションをしながら「OPEN HUB Park」内の以下のゾーンを案内します。

①レセプションゾーン
7つのLEDモニターとARグラス上で「CONN」が「OPEN HUB Park」のコンセプトをご紹介

②プレゼンゾーン
等身大のモニターに「CONN」が登場し、巨大LEDモニター上に表示される映像コンテンツの説明を行うとともに、お客さまとインタラクティブな会話を楽しめる簡単な質疑応答も実施

③ライブラリーゾーン^※9
ARグラス上にSmart Worldの取り組みを象徴する動物たちが登場し、「OPEN HUB Park」内のライブラリーゾーンをご案内

(3)「CONN」が複数のデバイス間をシームレスに移動

ARグラスや7つのLEDモニター、等身大のモニター上に、それぞれのデバイス用に最適化された3DCGの「CONN」が登場し、さまざまなコンテンツを提供します。

3.各社の役割

• NTT Com：実証実験場(OPEN HUB Park)の提供および評価シナリオ検討、アーキテクチャ検討、インフラ構築、品質管理
• 東映：「デジタルカタリスト」の監修、制作、システム構築
• コノキュー：ソフトウェア開発および実証実験内容の検討、ビジネス展開に向けた検討

4.本実証実験の開始日

2023年3月9日

5.今後の展開

3社は、本実証実験を通じて得られた知見をもとに、自社内でのデジタルヒューマンの活用を検討するとともに、イベントやショールームでのアテンダント、企業の受付、アパレル店舗の店員など幅広い業種・業界のお客さまへ、デジタルヒューマンを活用したソリューションの提供をめざします。