ソフトバンク株式会社様は、第5世代移動通信システム「5G」の提供に向けて、企業向けに5G実験機器での技術検証ができるトライアル環境「5G×IoT Studio」お台場ラボを開設しました。10Gbpsを超えるような「超高速」「大容量」「低遅延」「多接続」「高信頼」などの特長を持つ「5G」。5G×IoT Studio お台場ラボには、さまざまな企業との新たな価値の共創を目指し、業種別のユースケースをイメージしたデモンストレーションが展示されています。
この度、放送業向けの展示のひとつとして、アバターを利用したリアルタイム映像合成＆出力システム「Too バーチャルアニメーションキャラクターセット」が採用されました。同システムは複数センサーから取得した骨格データと、スマートフォンから取得した表情などのデータを使って、ユーザーの動きをリアルタイムにアバターに反映します。導入の経緯と反響について、先端技術開発本部の山田氏とソウラブ氏にお話を伺いました。
次のステップへ進むべくリニューアルされた「5G×IoT Studio」は、どう変わりましたか？
商用化が近づき、より5Gの活用イメージが湧くようなコンテンツに
5Gは「人とモノ、モノとモノ」といったように、人に対する通信に加えてモノに対する通信、いわゆるIoTへの高度な通信と言われています。そこで様々なIoTに5Gを掛け合わせ、新たなサービスを作り上げていく場として「5G×IoT Studio」を開設しました。法人企業様がお持ちの技術と、通信キャリアとしての回線技術を使って、検証・共創ができる環境です。
オープン当初は、まず5Gの特徴を理解してもらう必要があったので、技術寄りな内容で展開しました。その後、法人企業様のニーズを伺い、どういったケースが必要かを考えました。リニューアルでは商用化が近づいたこともあって、各業種別にユースケースを提示し、5Gの活用イメージが湧くように意識しました。リニューアルの反響もよく、特に映像を使った展示が好評でした。例えば、8K VR映像の多視点切替であったり、映像を見ながら遠隔操作をするといったデモです。
現在では、200社以上の企業様と実際にディスカッションを進めています。サービス業や通信業、金融、建設業など、他種多様な業界、経営層の方から技術者の方まで幅広く5G×IoT Studioへ来ていただいています。
リアルタイム映像合成の展示構成／5G活用について教えてください。
5Gの超低遅延を活かした、リアルタイムなコミュニケーションを実演
放送業向けデモのひとつとして展示しています。未来のYouTuberをイメージして、リアルタイムにコミュニケーションができるVTuberに着目しました。かつ、そのアバターがあたかも現実世界にいるかのように見せる構成を作りました。既存の通信インフラでも完結できるデータ量ですが、このようなアバターが視聴者とコミュニケーションをとることを考えた場合、より遅延しない挙動が求められます。そのため、このデモは「低遅延」の特長を持つ5Gとの親和性が高いと考えています。
人の体の動きをPerception Neuronスーツ、顔の表情をiPhoneで捉えています。現在はスーツ専用の5G端末がないため、二つのセンサー情報はWi-Fiルーターを経由して5G端末に送られます。データは5Gの電波を経由して、5Gのコア装置からMECサーバへ送られ、サーバー上のiCloneソフトによって、動きを反映したアバターが映像として出力されます。
リアルタイム映像合成（Too バーチャルアニメーションキャラクターセット）を採用したきっかけは？
Reallusion社のモーションキャプチャーの技術に注目した
当部署では新規事業発掘のため、グローバルも含めて様々な企業技術を調査しています。その中で、Reallusion社のモーションキャプチャーの技術がリアルタイムに3Dアバターに動きを反映できること、さらに顔の表情や視線の方向などの情報を、細部まで瞬時に反映できるということに目を付け、国内販売代理店であるTooに声をかけました。
リアルタイム映像合成のクオリティはいかがでしたか？
4K解像度での高い合成精度、リアルタイム性に感動
クロマキー合成※を行うのは初めてだったのでとても興味深かったです。また、合成精度が高くて驚きました。4K映像であるにもかかわらず、目で見てもほぼ分からない遅延量で合成されるので感動しました。デモを見た法人企業様からは「本当にリアルタイムだ」「顔の表情や目の動作がそのままだ」といった声をもらい、反響がよく好感触だったと感じてます。
※特定の色の成分から映像の一部を透明にし、そこに別の映像を合成する技術。背景色には、人物の肌色と補色関係にあるブルーやグリーンが多く使用される。
放送業以外に活用できそうな業界はありますか？
エンターテインメントや、企業での受付応対に活用できるのではないか？
エンターテインメントでも活用できると思います。以前、某アイドルタレントとコラボしたときに「これが自分のリアルなアバターなら、自宅にいてもコンサートに出演したり、他人に動かしてもらって自分は休める！」なんてことを話されていました。また、必要なときだけ瞬時にアバターで現れることができれば、受付応対など業務の効率化に役立つかと考えています。
5Gの展開／今後の展望について
企業様が自社業務に活かせる専用のローカル5G「おでかけ5G」の実現に注力
具体的な計画はまだ述べられませんが、今後、5Gは全国各地域に展開していくでしょう。人が少ない地域も学校、病院、研究所、工場など様々なIoTのニーズがあります。ここで我々が構想している可搬型の「おでかけ5G」が活躍すると考えています。
おでかけ5Gは企業側のニーズにあわせて、小型のアンテナと基地局、5Gの端末装置を組み合わせ、専用のローカル5Gを構築し、企業様が自社業務に活かせるようにするというものです。ネットワーク設計や運用の一部も、企業様が担えることを想定しています。現在はこの実現に向け、検証を含めて進めているところです。
新サービスを検討する場合、気軽に検証ができる場が必要です。5G展開の中では、5G×IoT Studioがその役を担っています。さらに「ソフトバンクグループ全体の技術を使って、こういうことができるのではないか？」など、法人企業様と議論を重ね、いっしょに提案や企画を考えることも可能です。我々だけではなく様々な法人企業様と、新しい試みを検証していくことが必要だと考えています。
