バーチャルタレント×現実空間のライブで新しい体験を提供したい
株式会社mikai様が運営するバーチャルタレント事務所「Re：AcT」に所属する花鋏キョウさんと獅子神レオナさんが出演するWワンマンライブイベント「Re：al」が、2021年6月20日にオンラインで配信されました。THECOO株式会社様が運営するライブ配信専用スタジオBLACKBOX3のBOXSTUDIOで撮影・配信された今回のイベントでは、スタジオ常設された4面LEDパネルを背景に現実のガールズバンドとバーチャルタレントが共演。バーチャルタレントを合成するスタジオ内の撮影に、ARライブシステムの構築に適したパナソニックのリモートカメラシステムが採用されました。
制作コストを抑えつつ高品質なコンテンツ制作を実現
株式会社mikai様はこれまでバーチャル空間で完結していたオンラインライブに現実空間のライブが持つ体験の質を取り入れることで、視聴者の体験価値が向上できると考えました。計画当初はARの活用は想定していませんでしたが、FreeD対応でARの映像制作に適したパナソニックの4KインテグレーテッドカメラAW-UE100KとAW-UE150Kがスタジオに常設されていることを知り、体験価値をさらに高める演出として、バーチャルタレントを現実のスタジオに合成する方法を採用されました。それを実現するため、バーチャルタレントの3DCGレンダリングをおこなうプラットフォーム「Unity※2」にFreeDを入力するシステムを独自で開発。バーチャルタレントと現実空間がリアルタイムでコラボレーションする演出が可能なシステムを実現しました。
コンパクトかつコストを抑えながら高品質なAR制作システムを構築
株式会社mikai様は以前から現実空間とバーチャルタレントを組み合わせたライブ配信を検討されていました。しかし、従来のカメラ情報を取得するトラッキングシステムで現実に馴染んだクオリティの高いARコンテンツを制作するためには、放送局に導入されるような大規模なシステムが必要であり、コストが大きな課題とされていました。そこで今回、FreeDに対応したリモートカメラを採用したことで、ARに必要なカメラ情報の効率的な伝送を、コンパクトかつコストを抑えたシステムで実現。高品質なARコンテンツ制作の導入ハードルを下げつつもクオリティは妥協することなく、視聴者に体験価値の高いイベントを提供することができました。
FreeDを活用したカメラ情報の伝送がリアルな映像演出に貢献
撮影用のリモートカメラとしてスタジオの前面に4KインテグレーテッドカメラAW-UE100Kを3台、天吊で設置した4KインテグレーテッドカメラAW-UE150Kを1台活用しています。これらのカメラはFreeDに対応しているため、カメラのパン・チルト・ズーム情報をIPで「Unity」に送出できます。カメラの情報をもとにバーチャルタレントの3DCGをレンダリングし、同時に撮影したスタジオの映像を背景にリアルタイムで合成することで誤差の少ない位置情報の同期を実現しました。株式会社mikaiの3DCGディレクターの柄澤様は「スタジオの映像とバーチャルタレントの位置情報が正確に同期できないと、どうしても合成されている感が出てしまいます。AW-UE100K、AW-UE150KからFreeDで送出される情報を活用することで、これがほとんど払拭できたと感じています。まさにバーチャルタレントの2人がスタジオにいて、実際にバンドと共演しているような演出がおこなえました」と語ります。
ダイナミックなカメラワークとARの映像制作に適した高画質で演出の幅を拡大
リモートカメラはスタジオに隣接するコントロールルームに設された3台のリモートカメラコントローラーAW-RP150GJからIPで制御しています。これによりスペースが限られるスタジオ内で少人数のオペレーションを実現しつつ、カメラ4台を活用したダイナミックなカメラワークの演出を可能にしました。また、バーチャルタレントの３DCGをスタジオの映像に合成するために高い映像品質が求められましたが、柄澤様は「映像にノイズが入ってしまうと3DCG上にも画質をできるだけ統一するためにノイズを合成しなければいけないのですが、パナソニックのリモートカメラの映像はノイズが少なく高精細だったため、その必要はありませんでした。演出の幅も広がったので画質の面でも本当にも満足しています」と語ります。
- 4Kインテグレーテッドカメラ AW-UE100K ×3台
- 4Kインテグレーテッドカメラ AW-UE150K ×1台
- リモートカメラコントローラー AW-RP150GJ ×3台
バーチャルタレントと現実空間のコラボでさらに表現の幅を広げていきたい
私たちの得意分野である“歌”で人々が熱狂できるようなコンテンツを提供していくにあたり、ライブ配信だけでなく動画・ミュージックビデオの制作も考えています。パナソニックさんのリモートカメラシステムを活用すれば、ARで現実世界のすべてを動画の素材にできるので、今後さらにバーチャルタレントと現実空間をコラボレーションして表現の幅を広めていきたいと考えています。
代表取締役 上村 隆博様（左）<br>
Re：AcT事業本部 運営企画部 統括ディレクター 高市 和紀様（中央）<br>
3DCG Director, Research & Development 柄澤 勇弥様（右）
個性豊かなバーチャルタレントが所属するタレント事務所
株式会社mikai様は「セカイのワクワクをカイタクする」をミッションに、バーチャルタレント事務所「Re:AcT」を運営。YouTubeのチャンネル者数20万人を超える（2021年6月現在）花鋏キョウさんや獅子神レオナさんといった個性豊かなバーチャルタレント・アーティストが多数所属されています。
※1 FreeDプロトコル：AR/VRシステム用のカメラトラッキングデータを出力するプロトコルです。AW-UE150W/K、AW-UE100W/Kは、AR/VRの合成などに必要とされるカメラのパン・チルト・ズーム・フォーカス情報の出力をしています。
※2 Unity：Unity Technologiesが開発・販売する2D、3D、VR のゲーム開発プラットフォーム。
バーチャルタレントと現実のスタジオのコラボレーションによる新しい価値体験をファンに届けるために、高クオリティとコスト抑制を両立した映像制作をおこないたい。
FreeDに対応したリモートカメラシステムを採用することで、高品質なARの映像コンテンツ制作をコストを抑えながら効率的に実現。
パナソニックのリモートカメラシステムを活用することでバーチャルタレントの2人が現実のスタジオにいて、実際にバンドと共演しているような演出がおこなえました。
