日本營運的虛擬人物經紀公司 mikai Co., Ltd. “ Re:AcT” 所屬的2位虛偶Kyo Hanashimi 和 Leona,Shishigami,於2021年6月20日在線上舉辦現場活動“ Re:al”。這次活動是與 THECOO Co., Ltd.營運的BLACKBOX3真人女子樂團合作現場共演。
在表演場地中安裝固定的四面 LED 牆,讓虛擬偶像和真人真實樂隊一起演出。
採用松下遠程PTZ攝影系統建構合成AR直播,在拍攝同時,合成虛擬人物。
製作動機
期許兼顧高畫質的製作,以及降低製作成本方面的考量
mikai Co., Ltd. 認為:「 將現實世界的live體驗,與虛擬演唱會相結合,可以提高觀眾體驗音樂饗宴的價值。一開始並沒想到會用到 AR,但發現松下系統兼容 FreeD、適合AR影像製作。AW-UE100K 和 AW-UE150K,將PTZ攝影機安裝在棚內,將虛擬偶像與真實工作相結合並進一步在製作層面上實現,提升觀眾視聽饗宴的價值。
為此,我們自主研發了將 FreeD 輸入「Unity2」平台,進行虛擬人物CG渲染的系統。我們已經展現了一個能夠在現實世界和虛擬人物之間進行同步協作的製作方式。」
使用效果
期許兼顧高質量的製作,以及降低製作成本方面的考量
mikai Co., Ltd. 一直在考慮如何結合真實空間和虛擬偶像的現場直播,在接收攝影機訊號的層面,傳統追蹤系統製作逼真的高質量AR內容,需要像廣播級電視台那樣的大型影視系統,設備成本也是一個主要問題。透過採用FreeD的PTZ攝影機,可以在緊湊且低成本的系統設備中,實現AR攝影機訊號所需要的高效傳輸。且降低傳輸高質量AR內容製作門檻的同時,我們能在不影響畫質的情況下,為觀眾提供更高的體驗。
使用 FreeD 的訊號傳輸有助於逼真的影像製作
三台 AW-UE100K 4K PTZ攝影機安裝在影棚,作為攝影機進行拍攝,一台AW-UE150K 4K PTZ攝影機,懸吊在天花板上。由於PTZ攝影機與 FreeD 兼容,因此拍攝平移、 傾斜、 縮放等訊號會通過IP,發送到「 Unity」。透過攝影機訊號繪製虛擬偶像的3DCG,並與同時拍攝的工作人員將背景影像即時合成,展現了幾乎沒有誤差的位置訊號同步。 mikai株式會社3DCG總監柄澤先生表示,「如果控播室裡的影像和虛擬人物的位置訊號不能準確同步,會給人一種合成的感覺。使用AW- UE100K和 AW-UE150K 所發送的 FreeD資訊,可以消除絕大部分合成感,就像兩個虛擬偶像在舞台與真人女子樂團一起共同演出一樣。」
擴大動態影像的實用性,兼具高質量的AR影像製作
PTZ攝影機安裝在展演附近的控播室中,三個PTZ攝影控制器 AW-RP150GJ 經由IP控制。
這在空間有限的工作室中只要少數人操作即可,同時讓四台PTZ攝影機製作動態影像作品實現成為可能。 此外,為了將虛擬偶像的 3DCG 與舞台的影像合成,需要高畫質影像,柄澤先生說:「如果影像中有雜訊,我們會不得不在3DCG上合成雜訊以統一畫面畫質。但是松下PTZ攝影機的影像雜訊少且有著高清晰度,所以我們不需要這樣做。讓我們擴大了演出的幅度,我們對影像畫質真的很滿意。」