学習データと出力結果から、能動的にAIを知覚する

概要

深層学習の構造を持つAIを⽤いて複数枚の撮影画像から、被写体の3Dデータを⽣成し、それをもとに彫刻作品を制作する。この作品制作において、①学習データと出⼒結果の関係性を明らかにすること、②デジタルデータの⽀持体として⽴体彫刻作品を制作することの⼆つの要素から、デジタルデータの根源的な構造を確認し、⽇常⽣活の中で関わるデジタル技術ついて再考することを試みる。

実施報告

AIなどの情報技術やインターネットが世の中に浸透したことによって、⾒ず知らずのうちにデータに関わるようになった。なかでもchatGPTをはじめとした⽣成AIは、相互関係をもつはずの学習データと出⼒結果は切り離され、尤もらしい出⼒が⾒えても、⾒えない学習データがあることは明らかである。この現状は⽬の前に起きる出来事に対して、受動的になることを助⻑してしまう。重要なのは、学習データと出⼒結果が明らかになっている上で、双⽅の内容を⾒ながら、出⼒に⾄るまでのAIの学習プロセスを確認し、解り得ない部分も含めて理解し想像することだろう。

本企画では、デジタルデータ⾃体が数値・テキストの集合であることを再確認する第⼀歩として位置付けている。また、今後さらに影響範囲が広がるだろう様々なデジタル技術に対して、受動的に情報を受け取るだけではなく、多くの⼈々が能動的な関わりをもつことを最終的な目標として、本企画を実施した。

NeRFを用いたフルカラー3Dプリントについて

本プロジェクトは、Neural Radiance Fields(NeRF)の構造を用いて生成した3Dデータを、フルカラー3Dプリントの手法でアウトプットする実践である。3Dスキャナを用いればわざわざNeRFなどを用いる必要はないが、インプットの方法をデジタルの特性を用いて行い、アウトプットの方法をフィジカルな立体物とすることで、インプットの学習プロセスを明らかにするための立体作品の制作ができると考え、NeRFを用いたフルカラー3Dプリント作品の制作に至った。

対象となるモデルの選定

プロジェクトを開始する2023年8月時点では、用いる学習構造を持ったオープンソースソフトウェアの選定や技術的な検証などは概ね済んでおり、具体的に何をNeRFを用いて学習し、3Dプリントするのか、という検討から始めた。

学習のための撮影をする段階で、フィジカルな性質を持つ被写体がRGBの色情報に変換され、学習データとなるため、微かなRGB値の変化を3Dデータの形と色に反映させることができる。つまり、色が鮮やかなものや形の細かいもの、3Dスキャナなどでは実現できない透明なものの3Dデータ化に、よりよく利用することができると考えた。よっていくつかの検証から植物の利用をはじめた。

フルカラー3Dプリントデータの作成

プロジェクト開始当初の課題として、NeRFを用いて生成した色のついた3Dデータを、フルカラー3Dプリントするためのデータに変換するプロセスを構築することが挙げられた。NeRFで出力される3Dデータは、3Dデータの頂点に色情報が割り当てられる形でデータを保持しており、メタデータとして頂点座標とともに色の値が格納されている。一方、フルカラー3dプリンティングにおいては、OBJまたはVRMLのファイルフォーマットでデータを作成する必要があり、立体作品の色を適切に管理するためにはPNGデータ(テクスチャファイル)として作成する必要があった。そこでまずはじめに頂点についた色情報をPNGデータに変換し、形を管理する3Dデータと色を管理する画像データを分けるためのデータ変換を行なった。ソフトウェアにはHoudiniを用いることで、色情報のメタデータを数値で確認しながら、UV展開を行うことができる。形と色のデータをOBJとPNGでエクスポートする。

造形へ透明度の反映

NeRFを用いて生成した3Dデータを、形のOBJデータと色のPNGデータに分けることで、フルカラー3Dプリントデータとして利用できるが、その上で造形に透明度を反映させるため、さらにデータ編集を行なった。透明度はpngのテクスチャ画像がもつ値が、造形にも反映されるとのことだったため、その通り設定を行なった。最後にRhinoceros上で、3Dデータに透明度を反映した画像をテクスチャとして設定し、VRMLファイルでエクスポートすることで、3Dの造形データとテクスチャデータの双方が格納された3Dデータファイルが作成できる。

フルカラー3Dプリントの検証

主に透明度の検証のため、透明度50%から100%までの値で六段階のテストプリントを実施した。透明度は3Dプリンタの透明樹脂が混ざることで実現されており、50%などにすると透明性が強く色の着色が弱いような造形となっていた。本プロジェクトで用いているNeRFは形とともに色も生成されるため、生成された色がしっかりと着色されている状態が3Dプリント造形に求める条件の一つである。よって、色の着色を保ちつつ、それをより良く見せるための透明度として設定を進めた。その後も何度かテストを行い、画像の色濃度を98%、透明度を2%という設定とした。

細かい造形を成立させるための透明樹脂

NeRFは、3Dスキャナでは難しいような細かな色と形を持つ造形の3Dデータを生成することができる。その考えを前提として、細かな形状を持つ植物をNeRFの対象としたが、3Dプリントする際にそのまま出力しようとすると、造形が破綻してしまう。そのため、生成した植物の形を用いて、植物の3Dプリント造形を覆う透明樹脂を作成した。

作品展示における学習データを用いた冊子の制作

フルカラー3Dプリントのための3Dデータの変換プロセスの流れを構築したが、本プロジェクトでは3Dプリント造形だけでなく、学習データも3Dプリント造形と同等の位置付けで見せていく必要がある。学習データとなった連番の撮影画像をまとめた冊子を制作した。冊子は3Dプリント造形に紐づく形で位置付け、内容は学習データの画像と1ピクセルのRGBの値を示し、学習の元になっている数値を意識することができるよう制作した。ぱらぱらとめくることで、3Dデータ生成のための連番の画像を動的に、1ページの学習データを細かく見ることで数値を知覚できるよう構成した。

立体作品の展示設計

最終的な展示として、3Dプリント造形と冊子のセットを前提として、二種類の植物の展示を行なった。どちらも細かなディティールをもつ植物を用いたもので、冊子に載っている実際の植物と3Dプリント造形の植物を比較して鑑賞する形式をもって展示設計を行なった。双方を比較しながらRGBの数値を意識し、作品鑑賞することで3Dプリント造形の背景に潜む膨大な情報量のデジタルデータを提示することができた。

プロジェクトのまとめ

本プロジェクトでは、3Dプリント造形を制作し、学習データとともに展示することで、深層学習や機械学習などによって生成される形を能動的に知覚することを目的とした。3Dプリント造形とともに学習データを冊子にまとめたことで、それらを比較することが可能となり、立体的な造形の背景にあるデジタルデータを関連して見せることができた。基本的には当初の目的とほとんど変更なく、プロジェクトを進めることができたと考えている。

作品制作において興味深かった点として、造形の破綻を防ぐために行なった透明樹脂で覆う処理をしたことで、中にあるはずの植物が歪んで見え、あるはずの造形がまるで存在していないかのように見えることがあった。NeRFで生成した3Dデータは基本的にはフェイクで、実物とは全く異なるデジタルデータである。3Dスキャナなど実物のサイズ感や距離をフィジカルに測ってスキャンする構造はなく、連番の写真(デジタルデータの羅列)から生成されていることからもフェイクであることは明らかである。この作成手法の性質と樹脂の内部にある歪んだように見える造形が意図せず噛み合い、想定することができなかった表現となった。

本プロジェクトでは、NeRFを用いて生成した3Dデータを立体化していくプロセスの構築と、フルカラー3Dプリントを用いた表現可能性の2点に着目して制作していたが、最終的な出力物によって、フルカラー3Dプリントならではの、表現可能性を見出すことができた。