映像データの時間軸操作ツールのオープンソース化

概要

本プロジェクトは、映像データの時間軸操作ツールをオープンソース化することを目的として、2023年7月1日から2024年3月31日まで実施した。以前から映像制作におけるフレームに縛られないピクセル単位の時間軸操作を可能とするツールを開発し、それを用いて制作してきた。これを、使いやすいようにクラス化し、オープンソースのpythonライブラリとして公開することで、広く利用可能にすることを目指した。

実施報告

プロジェクトの背景と目的

このプロジェクトの背景には、個人的な作品制作が動機である。古澤の絵画や映像メディアなど視覚メディアを横断してきた経験に基づく面への関心とサーフィンでの身体的経験がきっかけとなっている。海の眺めは、陸からと海上から見るのでは全く違う。浮遊している海面では視点が定まらないからだ。そのような波と一体となり浮遊する身体感覚、つまり時間と空間の知覚の基準が曖昧となる体験を表現することは難しい。映像は視覚によってこうした個人的な浮遊体験を扱うには優れたメディアであるが、2次元画像の連続を時間として扱っているに過ぎず、それに準じた従来の映像編集方法では表現できない。そのため、映像データから時間を奥行き次元とする立体空間を作り、その空間内を恣意的な平面で自由に切り出すことができるソフトウェアを設計、実装した。

従来の映像再生は、この立体の一断面を前から後ろへ連続的に動かすプロセスだが、このツールでは、このような単線的な軌道からに従う必要はなく、自由に動かすことができる。この操作はフレーム内の同時性を崩す。つまりフレーム内の部分に応じて表示される時間に差が生じる。そこで扱われる時間は普段経験する時間ではない。そこでは映像の素材のもつ空間と時間との相互作用による新しい映像表現の可能性が開かれている。
本プロジェクトは、ソースコードの公開という目的だけではなく、この表現開拓のために様々な実験を繰り返していくうちに、散らかっていたソースコードの整理を通して、古澤の作品制作環境を整えるという目的と、この作業を通じて、映像メディアとデジタル技術の組み合わせにより可能となる視覚表現の理解を深めることを目標とした。

研究実施内容

プロジェクトは以下のステップで進行した。

1. プログラムの整理と修正(7月～10月)
   – プログラム内容の整理を行い、公開しやすい形に修正しました。具体的には、変数名の一般化や重複の削除などを行った。
2. 資料の充実(10月～11月)
   – プログラム内容を説明するテキストを英語、日本語で同時に作成していった。ビジュアライズ画像や概念図などを作成し資料を充実させた。
3. 公開準備とリリース(12月)
   – PythonライブラリとしてGitHub上で公開した。

• 映像の時空間操作ツールのGitHub リポジトリ:https://github.com/RyuFurusawa/imgtrans
• 日本語の解説 : https://github.com/RyuFurusawa/imgtrans/blob/main/README_JA.md

予算の使い方

予算の主な使い道は、プログラムの説明テキストおよび映像資料の制作の補助としての人件費に充てた。

実績と成果

1. プログラムの公開
   – 開発したプログラムをGitHub上で公開し、誰でも利用できる状態にした。
   • 映像の時空間操作ツールのGitHub リポジトリ:https://github.com/RyuFurusawa/imgtrans
   • 日本語の解説 : https://github.com/RyuFurusawa/imgtrans/blob/main/README_JA.md
2. 「ART DX EXPO #1」にて、本ツールで制作した作品「SlackTide#1」の発表を行った。

今後の展望

今後の展望として、以下の点を検討している。

1. GUI部分の開発
    – PythonコードのGUI部分の開発を進めることで、直感的に扱えるようにする。
2. ツールの宣伝
    – 現在公開したものの、十分リーチすることが出来ていない。このような表現に興味のある人に使っていただきフィードバックを受けることで、この手法における表現の可能性に対して異なる視点から新しい展開を考えることができる。