Reallusion導入事例 ソフトバンク株式会社 様

5Gは「人とモノ、モノとモノ」といったように、人に対する通信に加えてモノに対する通信、いわゆるIoTへの高度な通信と言われています。そこで様々なIoTに5Gを掛け合わせ、新たなサービスを作り上げていく場として「5G×IoT Studio」を開設しました。法人企業様がお持ちの技術と、通信キャリアとしての回線技術を使って、検証・共創ができる環境です。

オープン当初は、まず5Gの特徴を理解してもらう必要があったので、技術寄りな内容で展開しました。その後、法人企業様のニーズを伺い、どういったケースが必要かを考えました。リニューアルでは商用化が近づいたこともあって、各業種別にユースケースを提示し、5Gの活用イメージが湧くように意識しました。リニューアルの反響もよく、特に映像を使った展示が好評でした。例えば、8K VR映像の多視点切替であったり、映像を見ながら遠隔操作をするといったデモです。
現在では、200社以上の企業様と実際にディスカッションを進めています。サービス業や通信業、金融、建設業など、他種多様な業界、経営層の方から技術者の方まで幅広く5G×IoT Studioへ来ていただいています。

放送業向けデモのひとつとして展示しています。未来のYouTuberをイメージして、リアルタイムにコミュニケーションができるVTuberに着目しました。かつ、そのアバターがあたかも現実世界にいるかのように見せる構成を作りました。既存の通信インフラでも完結できるデータ量ですが、このようなアバターが視聴者とコミュニケーションをとることを考えた場合、より遅延しない挙動が求められます。そのため、このデモは「低遅延」の特長を持つ5Gとの親和性が高いと考えています。

人の体の動きをPerception Neuronスーツ、顔の表情をiPhoneで捉えています。現在はスーツ専用の5G端末がないため、二つのセンサー情報はWi-Fiルーターを経由して5G端末に送られます。データは5Gの電波を経由して、5Gのコア装置からMECサーバへ送られ、サーバー上のiCloneソフトによって、動きを反映したアバターが映像として出力されます。

当部署では新規事業発掘のため、グローバルも含めて様々な企業技術を調査しています。その中で、Reallusion社のモーションキャプチャーの技術がリアルタイムに3Dアバターに動きを反映できること、さらに顔の表情や視線の方向などの情報を、細部まで瞬時に反映できるということに目を付け、国内販売代理店であるTooに声をかけました。

クロマキー合成^※を行うのは初めてだったのでとても興味深かったです。また、合成精度が高くて驚きました。4K映像であるにもかかわらず、目で見てもほぼ分からない遅延量で合成されるので感動しました。デモを見た法人企業様からは「本当にリアルタイムだ」「顔の表情や目の動作がそのままだ」といった声をもらい、反響がよく好感触だったと感じてます。

※特定の色の成分から映像の一部を透明にし、そこに別の映像を合成する技術。背景色には、人物の肌色と補色関係にあるブルーやグリーンが多く使用される。

エンターテインメントでも活用できると思います。以前、某アイドルタレントとコラボしたときに「これが自分のリアルなアバターなら、自宅にいてもコンサートに出演したり、他人に動かしてもらって自分は休める！」なんてことを話されていました。また、必要なときだけ瞬時にアバターで現れることができれば、受付応対など業務の効率化に役立つかと考えています。

新サービスを検討する場合、気軽に検証ができる場が必要です。5G展開の中では、5G×IoT Studioがその役を担っています。さらに「ソフトバンクグループ全体の技術を使って、こういうことができるのではないか？」など、法人企業様と議論を重ね、いっしょに提案や企画を考えることも可能です。我々だけではなく様々な法人企業様と、新しい試みを検証していくことが必要だと考えています。