TouchDesigner Summit 2019 | Audio Visualization and UI Implementation Using 3D Data

toeファイルは以下よりダウンロードできます。

TouchDesigner開発元のDerivative社より機会をいただき、TouchDesigner Summit 2019にて登壇させていただいた。ワークショップにあたり、こちらで提案させていただいたのは「Audio Visualization and UI Implementation Using 3D Data」という内容。

TouchDesignerは高度な開発はもちろん、デザイナーでも音楽やセンサー、外部デバイスと連携した開発をできるのが強みなので、今回は、主にデザイナーに向けて表現の楽しさを伝えたいと考え、この内容を企画した。

作例自体はワークショップの直前に完成したものの、当初からやりたいと思っていたことは次の内容だった。

(1) 球体、線、ボックス等の基本的な3D要素を使い、TouchDesignerでの表現に欠かせないParticleを使った演出を入れる

(2) MIXAMOで作ったアニメーションをTouchDesignerに取り込み加工して使用

(3) 自作するUIにて曲に合わせて制御する

後日、英語のアーカイブが公開されるはずなので、具体的な解説はここでは控えるものの、今回のワークショップのポイントは以下3点になります。

(1) TouchDesignerによるParticleの基本を理解。加えて、線を使った演出を取り入れ、表現力を高める。

授業の冒頭に参加いただいた方々の理解度を確認したところ、初心者が多かったので、本ワークショップではここの説明に時間を割くことになった。

(2) 事前に用意しておいたMIXAMOのAlembic (ABC)ファイルを読み込み、TouchDesignerでパーティクル化。

ここは時間の都合上、ワークショップの中では説明できなかったため、軽く内容を紹介したい。

MIXAMOを使えば手軽に人のモデルを動かすことができ、TouchDesignerに容易に取り込んで使用できる。
ただし、今回はこのモデルをParticleのベースにしたかったので、ちょっとした調整が必要だった。

[調整点1]
MIXAMOでアニメーションとしてダウンロードできるのはFBX形式になるが、この形式だとデザイナーにとってはパーティクル化するのが非常に難しい。Alembic (ABC)ファイルであれば、容易にパーティクル化できるため、まずはABC形式への変換を行う必要がある。そこで、まずは、blenderにMIXAMOからダウンロードしてきたFBXファイルを読み込んだ。

[調整点2]
今回は、MIXAMOの標準の3Dデータを使用しているものの、ポリゴン数が多かったので、TouchDesigner標準のParticle SOPだと処理負荷がかかり過ぎてしまう。そこで、blenderでポリゴン数を限界まで落とした。

[調整点3]
blenderでABCファイルとして書き出し、TouchDesignerに取り込んだ。

(3) 実際の現場で使えるように、UIで制御できるようにする。

この点も時間の都合上、解説ができなかった。やってることは基本的な内容なので、詳細は作例をチェックしてください。

今回は、海外でのワークショップということもあり、英語で行う必要があったものの、自分自身、英語は全くダメなので技術も分かり、英語もネイティブレベルの浅田真理さんに通訳をお願いしました。浅田さんは昨年行われたTouchDesigner Summit 2018のプレゼンターで、今年も参加されるということを聞いていたので、ほんと幸運でした。浅田さんがいなかったら今回の成功は無かったので、メチャクチャ感謝です!!

引き続き、TouchDesignerを活用した演出やイベントへの登壇、ワークショップ、日本語の書籍化等を進めていく予定なので、次が決まりましたらまたSNS等で告知したいと思います。