NTT 人間情報研究所との共同研究　「リアル世界と融合した動的な点群空間に関する研究」

　測量などに用いられるレーザースキャナで取得されるデータは、位置情報と色情報を持つ無数の点の集まりである点群データとして扱われます。NTT人間情報研究所と東京芸大の4Dデジタルアーカイブ研究室は、このような静的な点群データを計測し、活用方法の研究として、点群データ内を自由に散策できるデジタル空間の制作について取り組んできました。
　静的な点群を用いたデジタル空間の生成は依然として効果的な方法であると考えられますが、一方でこのようなデジタル空間に対し、リアル世界の状態を反映させることは重要な課題と考えられます。
そこで今回の共同研究では、計測された点群をデジタル空間内で動かすことによる動的な表現および,リアル世界の状態をセンシングした結果を融合することで、動的な点群空間の新たな可能性に取り組んでいます。
　本研究の題材として,上野公園の桜並木の点群データを活用し,風に揺れる桜並木の点群データ表現を模索することで、点群データのアニメーションとリアル世界の風データの反映という観点で検討を実施しています。
動的な点群空間の検討にあたっては、点群データの取得、点群データから必要な領域を取り出すためのセグメンテーション処理、点群データにリアル世界の状態を反映するためのセンシング、および、デジタル空間のゲームエンジン上での構築、さらには、マルチモーダルな要素として風体験導入までの実装を取り組みました。

　本研究の成果は、11月の芸術未来研究場展と3月のART DX EXPO #2の2回の展示で公開しました。

芸術未来研究場展

　本展では、鑑賞者が風を用いてデジタル空間に参加することで、動的な点群空間が変化する映像体験を提供しています。
　ディスプレイの前には風力センサーが設置してあり、体験者がファンを用いてセンサーに風を当てることで、点群の桜並木の揺れ方が風速に応じて変化するとともに、当てる向きにより桜吹雪の向きが変化します。また、ゲームパッドも用意されており、桜並木の動的な点群空間を自由に散策することができます。

ART DX EXPO #2

本展では、外部空間でセンシングした風の情報をアニメーションに利用するだけでなく、ファンを制御することで、室内での風の体験を提供しています。　

　風力センサーは展示会場の外に設置されており、センシングした風速と風向きのデータはサーバーを通じて制御するPCに送られ、点群のアニメーションとファンの制御に利用されます。

　会場内にはファンを組み合わせたディスプレイ6台が囲うように配置されており、それぞれ異なるアングルの桜並木が表示されています。体験者が映像を見ていると、外の風は絶えず変化するため、点群のアニメーションは予期せぬ揺れ方をするとともに、ファンによる風も強さや吹いてくる方向が変化します。オープニングでは、上野公園の桜並木にセンサーを実際に置くことで、デジタル空間とリアル世界空間の融合を実現しました。

　本展示では、リアル世界の情報と融合した動的な点群空間と風の体験を通じて、視覚と風覚の重なりの中から、デジタル空間からこぼれ出る「気配」のような感覚が体験者に伝わることが期待されました。この「気配」のような感覚は、リアル世界とデジタル空間の融合において重要なテーマとして、今後も研究対象としていきます。