視覚・聴覚・触覚で大迫力のDJ松永を感じる――ソニーPCL『Creative Summit 2024』で披露された最新映像技術たちを体験して

　ソニーPCLの最先端技術を体験するイベント『Creative Summit 2024』が8月1日、2日にかけて開催された。

　ソニーPCLは、先端技術を活用し映像制作や体験型コンテンツにおけるクリエイティブワークの最前線を開拓するチームだ。今回のイベントでは2D、3D、そしてイマーシブ＝没入型コンテンツ制作の新たな手法や、制作事例が紹介された。

　本イベントは、こうした最先端ツールを使うクリエイターとともに議論を重ねることを目指す意味で 「Summit」と名付けられた。どのような議論が巻き起こったのか、その点も興味深いところだが、本稿では展示された技術を中心に取り上げていこう。

■6面ディスプレイでDJ松永のスクラッチを体感

　会場の中心にはグラデーションが鮮やかな巨大な円柱が建てられている。スリット部分から中に入ると、今回のイベントの目玉となるイマーシブコンテンツを体験する空間が広がる。

　内部は『Crystal LED VERONA』という3m角の大型ディスプレイ6枚に囲まれた空間となっている。Crystal LED VERONAは、バーチャルプロダクションなどに用いられるディスプレイだ。高リフレッシュレート、低反射、高輝度、公色域といったスペックによって、映画撮影時などに、映像を流すことでリアルな背景として機能する。

　メインコンテンツである「DJ Matsunaga Routines」が映し出されると、大音量かつ高精細な音ととともに、巨大ディスプレイの中でCreepy NutsのDJ松永によるキレキレのターンテーブルプレイが炸裂する。

　使用されているのは、ステレオの音源を「音源分離技術」によって12.1chの空間立体音響へと再編集したもの。まるで空間そのもののが鳴っているかのような感覚に陥る。

　“没入体験”としては映像と音だけでもすでに十分なレベルだが、これだけではない。空間内を歩き回っていると、音に合わせて足元から振動が伝わってくることがわかる。床面に「アクティブスレート（Active Slate）」というハプティクスパネルを敷き詰めている。これによって地面からの音鳴り、振動が伝わり、よりライブ感を感じられる仕組みだ。もともとの音量自体もかなり大きなものだったが、このアクティブスレートがあることで、まるで巨大なサウンドシステムの眼の前に立ち、全身で音を浴びるような体験となった。

　アクティブスレートが再現するのは音圧を始めとする迫力だけではない。ソニーPCLがバーチャルプロダクションを使用して制作したショートムービー『リテイク』が上映されると舞台は宇宙空間へ。やがて場面が月面へ移り変わる。すると、足元の感触がにわかに変化する。月面の砂であるレゴリスを踏みしめる感覚、なじみ深いところでいえば、冬の朝の霜が降りた地面、あるいは薄氷を踏むような小気味よい感触が足元から伝わってくる。ここまでくると、没入というよりも、どこか遠くの世界に来てしまったような気さえしてくる。

　このイマーシブ空間は、今後プロモーションやIPを活用したコンテンツへの展開が期待されている。Crystal LED VERONAやアクティブスレートは可搬性にも優れているため、さまざまな場所で体験を提供できるということだ。

■押井守『天使のたまご』の音声リマスタリングにも活用

　「2Dコンテンツ」ゾーンを一部紹介しよう。

　「360°カー」は、ソニー製のデジタルシネマカメラ『VENICE2』を2台搭載した撮影用自動車だ。360°の撮影を可能としながら、実際に公道を走れるように設計されているため、ドライブシーンの撮影などに用いられている。

　ここではソニーPCLが運営するバーチャルプロダクションスタジオ「清澄白河BASE」の設備を、外に持ち運べるようにパッケージした、可搬型のバーチャルプロダクションサービスも展示された。『Crystal LED VERONA』の前にカメラをセットし、床面のマーカーなどを使ってカメラの位置情報を取得することで、カメラワークに合わせ、様々な角度から背景映像を映し出せるというものだ。

　ほかにも、本来複数のスピーカーで行う立体音響技術をヘッドホン内に再現する360Virtual Mixing Environment」や、「DJ Matsunaga Routines」でも活用された「音源分離技術」などの音響技術なども展示。ここでは1985年の押井守監督作品『天使のたまご』に音源分離技術を使用してセリフの音声を抜き出し、リマスター処理を行うデモが体験できた。

■一瞬で3D世界に飛び込む

　最後に3Dコンテンツも紹介しよう。「空間再現ディスプレイ」は視線認識技術を搭載した立体映像体験装置だ。ディスプレイの前に立った人の視線を認識し、ディスプレイに映し出された空間の角度が変わるというもので、まるで目の前に置かれた立体物を見ているかのような感覚で映像を視聴できる。これは立体的な広告等への活用も検討されているようだ。

　ディスプレイへの描画は、リアルタイムでレンダリングを行うUnityやUnreal Engineといったゲームエンジンを使用している。一方で、映し出される3Dモデルはソフトウェアの操作無しで確認できる。「実際に3D制作を行うクリエイティブチームと他チームとが会話をする際に、より円滑なコミュニケーションを取るツールとしても役に立つのではないか」と、ソニーPCLクリエイティブ部門の千葉有紗氏が考えを語ってくれた。

　「可搬型ボリュメトリックキャプチャシステム」は複数台のカメラを使用して、被写体の動きや姿を3DCGモデルとして瞬時に取り込むことができるシステムだ。こちらも「清澄白河BASE」に常設されている設備のモバイル版だ。

　ここではオリジナルショートムービーの「リテイク」の世界に入り込めるコンテンツが体験できた。カメラの中に囲まれた空間に立ち撮影すると、映像内の宇宙飛行士の代わりに3Dモデルになった自身の姿が映し出されるというものだ。

　こちらは特に一般の来場者に体験してほしいということで、今後さまざまな場所でのエンタメユースを想定しているということだ。比べるのも失礼な話だが、考え方としては観光地で見かける「顔はめパネル」に近いかもしれない。

■“少し先の未来”を感じさせるイベント

　ソニーPCLは2021年に自社の技術を詰め込んだ常設スタジオ「清澄白河BASE」をオープンし、様々な技術の活用を試行錯誤してきた。

　そして今回のイベントでは、そこで培った技術を「可搬型」、つまり持ち運びできる形にした提案が目立った。これまで一部の特別な場所でしか利用できなかった技術を好きな場所で活用できるのは、制作現場にとって大きなメリットになるだろう。

　さらに制作現場の外にも広がっていけば、社会が変わるきっかけになるかもしれない。たとえば「空間再現ディスプレイ」が一般的になれば、上司へ説明するための資料を作る手間が減るかもしれない。「アクティブスレート」をライブハウスやクラブで活用すれば、大きな音が出せない状況でも、これまでと同じかそれ以上の迫力を演出できるのではないだろうか。そんな“少し先の未来”を想像させてくれるようなイベントだった。