空間と人やものの動きを含めた 3D デジタルアーカイブ

概要

　ものを創造するための空間──工房には不思議な魅力がある。作家個人の専用工房であれ、大学機関の多人数でシェアする工房であれ、雑然とした中に配置された道具や材料は、製作者の身体に合わせて理路整然と意味を持って配置されている。その意味は一見としてはわからないが、人と道具の真摯な対話を理解すれば解き明かすことができる。
　本プロジェクトでは、令和5年度文化庁メディア芸術クリエイター育成支援事業の助成を受けて、東京藝術大学 ガラス工房及び多摩美術大学 ガラス工房の2箇所で撮影した3Dデジタルアーカイブ”表現力豊かな《工房》の模型”の活用方法を探究するとともに、撮影システムのアップデートを行った。当初の研究計画では新規データ撮影を行うことを中心としていたが、本プロジェクトが長期的にアーカイブデータの蓄積していくことと、アーカイブデータの活用方法がキーポイントとなるだろうことを踏まえ、データの収集を容易にするための撮影システムアップデートと、データを幅広く活用するための視聴システムを検証することに注力して取り組む方針にシフトした。

実施報告

撮影システムの確立検証

検証する課題と方法

　これまでに筆者は下記システムにより撮影を行ってきた。その中で特に光学式ポジショントラッカーシステムが検証不十分な中運用したことから撮影に失敗した経験がある。また小型高解像度カメラを多数使用することからその同期がずれることにより、ボリュメトリックモデルとして解析した際モデルに欠けが発生してしまう課題があった。
　本プロジェクトではモーションキャプチャシステムに対して使用している2種類の機材のデータを一括してゲームエンジン上で撮影し、後のデータ統合を効率的に行える方法を検証した。またボリュメトリックモデルに対しては小型高解像度カメラの配置方法を最適化するとともに、タイムコードを導入することにより、同期撮影の精度とデータ統合作業の効率化を検証した。試験方法は木工作業を含む本棚の製作過程約3時間を自身のアトリエで撮影する試験を行い、解析したモデルを確認することを通して撮影システムの有効性を確認した。
【撮影システム】
　・工房のフォトグラメトリモデル
　　　フルサイズデジタル一眼レフ機 + 20mm F/1.8レンズ
　・製作者と道具のボリュメトリックモデル
　　 　小型高解像度カメラ 26~32台
　・製作者のモーションキャプチャ
　　　IMU方式モーションキャプチャシステム
　　　光学式ポジショントラッカーシステム

光学式ポジショントラッカーシステム

　ゲームエンジン上での撮影は、まず全てのセンサーの位置情報を取り込み、各点のフレームごとのTransform, Rotation情報がAnimationとして記録される仕様となっている。フレームレートは60fpsとして撮影試験したところ、記録システムが全データをメモリに蓄積してからファイルへの書き込みを一度に行う仕様であったため、保存される前にクラッシュしてしまう結果となった。

　ゲームエンジン上の記録システムのスクリプトを見直し、順次保存が行える方法を検証する必要があることがわかった。一方今回のように一つの不具合で両方のデータを失ってしまうことを考えるとリスク分散のためにも別々に記録することは有効であるとも考えられる。保存先は分散しつつも一括で撮影開始を行うシステムがあればデータ統合、撮影の効率化が図れるためこの点はさらに検証を進めていきたい。

小型高解像度カメラの同期撮影

　小型高解像度カメラの同期撮影に利用している音声認識機能はこれまでノイズの多い環境と広さによって声の届きにくかった環境では有効に機能しなかった。解析方法の知見を利用し小型高解像度カメラを空間全体に等間隔にばら撒く方法ではなくある程度集積して配置しても解析可能であることがわかってきたため、カメラへのアクセスを良くしクイックシューによって設置手間を簡略化することで、全てを近接した距離で撮影を開始してから各撮影ポイントに設置する方法をとった。

　撮影試験の作業初期モデルと作業終盤のモデルを解析しフレームズレが全く起きていないことを確認した。

　また24台分の撮影データを編集し、タイミングを合わせる作業においてはタイムコードの導入により大幅に作業時間を短縮することに成功した。撮影試験で検証した配置方法の最適化スキーム、音声認識機能の運用が多様な環境でも運用可能であることを今後の運用で実践していきたい。

まとめ

　検証不十分だった光学式モーションキャプチャを調達し、これまでの撮影システムが運用可能であることが再確認できた。またいくつかの課題であった部分を検証し、有効だったものを取り入れることでバージョンアップすることができた。今後さらに検証を進めて改善を図るとともに新規データの撮影にも積極的に機会を探していきたい。

視聴システムの検証

検証の目的と方法

　これまでにアーカイブデータはPCアプリとして実装し、データ記録時に採集した関連資料を並置して閲覧できるようウェブサイトで公開した。本プロジェクトではデータの観察及び展示が容易になるように、3D表示モニターを活用することでどのような視聴体験が提供できるかを検証することを目的とし、以下の2点のアプリを開発し成果の展示を行った。

工房の3Dビューとウォークスルー

　3Dモニター上で工房を回転させながら観察可能な3Dビューと、プレイヤーを配置し工房内をウォークスルー可能なアプリを実装した。

　3Dモニター上では画面内のオブジェクトが浮き出したように表示されるため、工房を縮小し画面内に収めることでまるで縮尺模型を目の前にしているような体感が得られる。コントローラーによって回転させられるようにしたため、コントローラーの操作に慣れていればストレスなく工房の向きを変えられ、少しであれば実際に体を動かし覗き込むことで隅々まで観察できる体験が得られた。成果展示は行なっていないがより感覚的に操作できるハンドトラッキングセンサーによる身振りでの回転機能の実装も行なった。

　ウォークスルーでは工房を実寸サイズとし、プレイヤーキャラクターのカメラ表示範囲を3Dモニター内に表示し、コントローラーによって歩行、カメラの向きを操作した。立体的に表示された空間内を歩き回って上記縮尺模型よりも大きなサイズで物陰の裏などを観察できる体験が得られたが、カメラの焦点距離が3Dモニターの仕様上固定で望遠ぎみであることやモニターというフレームを持つ性質上、VRとは全く違い相性が良いとは言えなかった。

ワイングラス製作過程の3Dビュー

　3Dモニター上に工房の縮尺模型を配置しその内部で製作者が動いている様子を表示し、合わせて製作の記録動画を同時上映した。

　本展示ではコントローラーなどのインタラクションは持たせず、3Dモニターに対して覗き込むインタラクションのみにフォーカスすることで、操作方法やカメラアングルといったことに煩わされることなくアプリで表示されるワイングラス製作過程に集中でき、3Dモニターでは俯瞰した風景としてしか鑑賞できない一方、手元の作業を高精細に記録した映像と合わせることで製作過程を多面的に視聴できる体験となった。

まとめ

　3Dモニターの使用はVRのようにHMD機材を取り扱う猥雑さを抜きにして3D体験ができるという点で、展示や工房の俯瞰的な観察に非常に適していると考えられる。

　プロジェクトを通して展覧会に出展し成果を積極的に展示したことで、3Dのモーションデータが画面内で動いている体験の新鮮さや職人の技をアーカイブすることの意義を興味深く展示することができた点で好意的なフィードバックを受けることができた。

総括と展望

　本プロジェクトによって、空間と人やものの動きを含めた3Dデジタルアーカイブの撮影システムが確立し、その視聴システムとして3Dモニターと記録映像の並置という方法が適しているという実感を得た。表現力豊かな《工房》の模型の撮影されたそれぞれのデータは、単体ではあまり意味をなさないため、いかに統合し視聴できる環境を整えられるかによって価値が左右されてしまう。3Dモニターによる動きも含んだ3Dの映像は、静止した3Dプリントとも主観視点となってしまうVRとも違った観察に適した表現が可能となった。

　一方で3Dモニターはそもそもの機材としての物珍しさという側面で受け入れられる傾向もあり、記録されているアーカイブデータ自体の意義やそこから見出せる問いや可能性を十分に引き出せたとは言えない。アーカイブデータから導き出される価値や問いをより表現できる方法を探求していくだけでなく、データの分析から得られた知見を表現することを今後の課題としたい。