TouchDesigner入門(4) – 音楽に連動させよう! の回では、音楽の音量に反応させて図形を描く基本を学習しました。今回から数回は、このテクニックをさらに応用して、音の様々なパラメータを解析したビジュアル表現について探求していきます。まず初回の今回は、音量による反応をより詳細に取り上げていきます。
今回の内容は、比嘉了さんによる東京藝術大学での講義「映像音響処理概説 2019」の「第11回: 音反応」を参考にしています。
今回の講義資料およびサンプルプログラムを参考にして、音に反応して変化するグラフィック表現をTouchDesignerで行ってください。
本日の課題の提出は下記から行ってください。
本日は、生成AIを利用した動画生成に挑戦します。まず始めに現状の動画生成AIの状況について解説します。その上で現在利用可能な様々な動画生成のサービスとその特徴を紹介し、実際に動画生成を体験してみます。最後に参考として無料で利用可能な動画編集アプリケーションを紹介します。
現状での動画生成AIの注意点
Deep Dream by Google (2015)
プレイリストからいくつか抜粋
別の動画生成AI (Runway ML) による短編映画
参考: (まだ一般には非公開)
Luma AIの「Dream Machine」は、テキストや画像から高品質な動画を生成するAIツール。ユーザーはプロンプトを入力するだけで、最大5秒間のリアルな動画を簡単に作成可能。無料プランでは月30回の動画生成が可能で、商用利用には有料プランへの登録が必要。
Runwayの「Gen-3 Alpha」は、テキストや画像から高品質な動画を生成するAIツールである。ユーザーはプロンプトを入力するだけで、最大10秒間のリアルな動画を簡単に作成可能だ。無料プランでは利用できず、有料プランへの登録が必要である。
Pikaは、AIを活用した動画生成プラットフォームである。ユーザーはテキストや画像を入力することで、短い動画を自動的に作成できる。特に、3Dアニメーションやカートゥーンスタイルの動画生成と編集が可能で、直感的なユーザーインターフェースを備えている。また、Discord上で動作し、無料で利用可能である。
Kling Videoは、中国の動画共有プラットフォーム「快手（Kuaishou）」が開発した動画生成AIツールである。ユーザーはテキストや画像を入力することで、最大10秒間の高品質な動画を生成可能だ。解像度は1080p、フレームレートは30fpsに対応し、物理法則の理解や複雑な動作の正確なモデリングに優れている。また、メールアドレスでの登録により、世界中のユーザーが利用できるようになった。
ノードベースで動画生成できるツールも
その他にもいろいろなサービスが!
参考: The 9 best AI video generators in 2024
無料で使用したい!
より本格的に動画生成を行いたい
Runway MLがおススメ
Masterclass: AI film Directing in Runway Gen 3 – Create Stunning Cinematic Shots!
生成した動画素材をどうやって編集するか?
しかし無料でとても高機能の動画編集アプリもあります
課題：
現代の生成AI技術がもたらす映像生成の可能性を探りながら、「幻覚 – バッド・トリップ」というテーマを動画で表現してください。不安や混乱、非現実的な体験をもたらすような映像作品を制作してください。視覚的な歪みや感覚の揺らぎといった要素を取り入れ、現実と幻覚の境界が曖昧になるような演出を試みてください。
本日の講義に参加した方は以下のアンケートに回答してください。
この演習の後半はより本格的なライブコーディングのパフォーマンスを実践します。そのために、これまで使ってきたStrudelからステップアップしてTidalCyclesというより本格的なライブコーディングの環境を使用していきます。
TidalCyclesのインストール方法はOS (Windows / Mac) によって微妙に異なります。自身が使用しているOSにあわせて以下のリンクを参照してインストールを進めてください。
※ Windowsの手動インストールがうまくできなかった方は下記の自動インストールを試してください。
インストールには非常に時間がかかります。また安定したネット接続が必要です。ネット環境が整備されている場所でじっくりと作業していきましょう。
本日の講義を履修した方は以下のアンケートに回答してください。
※ 旧カリ「サウンドプログラミング」「環境情報デザイン」で履修の方はこちら
前回までの内容で、SOPとGeometry COMPを用いることで3Dオブジェクトをレンダリングすることができるようになりました。このやり方で複数のSOPをレンダリングすることも可能ですが、大量のオブジェクトを配置するとすぐにPCの描画性能の限界になってしまいます。
TouchDesingerの描画に使用されているOpenGLでは、ジオメトリーのコピー (インスタンス) を大量に生成してGPUで処理することが可能です。そうすることで、大量の3Dオブジェクトを一度に描画することが可能となります。この手法を「インスタンシング (ジオメトリーインスタンシング)」と呼んでいます。インスタンシングによって大量の3D形状の全体的な動きや色をコントロールして量感のある表現が可能となります。TouchDesignerの表現力を高める重要な手法となりますので、しっかりと理解していきましょう!
今日つくったプログラムを改造して以下のようなプログラムを作成してみましょう!
自分なりに工夫して、美しい形状を作ってみましょう!
作成した課題は以下のオンラインフォームから提出してください。
今回の「人工知能と創作」は、まず始めに課題「AI生成自画像」講評を行います。オンラインフォームから自画像をアップロードして作成した「生成自画像について」講評を行います。
次にこの課題にとりくむ中で感じた生成AIと創作に関する感想や意見をMentimeterというオンラインツールを用いてインタラクティブに対話しながらディスカッションを行います。
後半は生成AIによる画像生成を理解するためのヒントとして、生成AIが生まれる以前から現代までの生成芸術(Generative Art)の歴史を振り返り、未来に向けての展望を考えていきます。
提出用のオンラインフォームを作成しました!
以下のリンクからアクセスしてください。
以下から回答してください
https://www.menti.com/algc36dii4ds
10月25日（金）
10月26日（土）
10月27日（日）
ここからは生成芸術の歴史と未来について考えていきたい。
70,000 BCE, Blombos Cave DrawingURLBlombos Cave Drawing
1866, John Venn’s “graphical indication of randomness”
1917, Composition with Lines by Piet Mondrian
1936, Alan Turing Describes the Turing Machine
1950 Alan Turing Proposes the “Turing Test”
1952, Electronic Abstractions by Ben Laposky
1956, Herbert W. Franke Begins Creating Art with an Oscillograph
1957, Max Mathews Develops MUSIC I
1962, Ivan Sutherland Invents “Sketchpad”
1963, Gaussian Quadratic by A. Michael Noll
1964, Hiroshi Kawano Publishes His First Algorithmic Images
1965, Computer Composition with Lines by A. Michael Noll
1965, The World’s First Computer Art Exhibit: Computergrafik by Georg Nees
1965, 13/9/65 Nr. 2 (“Hommage à Paul Klee”) by Frieder Nake
1966, CTG Pioneers Digital Generative SystemsURL copied
1966, Joseph Weizenbaum publishes ELIZA
1968, Cybernetic Serendipity Defines a Movement
1968, Vera Molnár Begins her Computer Art Phase with the “Interruptions” Series
1969, Sol LeWitt Brings His Wall Drawings
1970, John Conway Publishes Landmark The Game of Life
1972, Noland Bushnell Invents First Video Game, Pong
1973, Harold Cohen Pioneers AI Art with AARON
1979, The First ARS ELECTRONICA Festival Takes Place in Linz, Austria
1980, Digital Harmony: On the Complementarity of Music and Visual Art by John Whitney
1982, V-yramid by Nam June Paik
1986, Langton’s Ant Developed by Christopher Langton
1987, Adope Illustrator Developed
1988, Geometric Love by Masaki Fujihata
1989, Tim Berners-Lee Invents the World Wide Web
1989, The Legible City by Jeffrey Shaw
1990, The Evolution of Forms by William Latham
1991, World Wide Web goes public
1996, Macromedia Flash 1.0 Released
1999, John Maeda publishes Design By Numbers
2001, Casey Reas and Ben Fry Initiate Processing Project
2001, Inaugural Exhibition at bitforms: Casey Reas’s first public exhibition
2002, Super Mario Clouds by Cory Arcangel
2004, {Software} Structures by Casey Reas, Jared Tarbell, Robert Hodgin and William Ngan
2004, Reas Begins Process Compendium Series (2004-2014)
2005, Zach Lieberman releases OpenFrameworks v0.01
2015, Google’s Alexander Mordvintsev Launches DeepDream
2018, Christie’s First Sale of an AI artwork
2019, MACHINE HALLUCINATION by Refik Anadol
2019, OpenAI Releases ChatGPT2
2021, Everydays — The First 5000 Days by Beeple
2021, Latent Diffusion Models Introduced
2021, The Shell Record by Anna Ridler
2023, OpenAI Releases ChatGPT 4
本日の講義に参加した方は以下のアンケートに回答してください。
今回からいよいよ動きのある表現（= アニメーション）について扱っていきます。アニメーションを実現するには、まず時間を扱う基本構造を知る必要があります。p5.jsでは、setup(), draw() という2つのブロックにわけて、初期化と更新を行うことでアニメーションを実現しています。まず始めはこの基本構造について理解します。次に、これから動きを扱う際に、向きと大きさをもった「ベクトル」という概念を理解します。ベクトルを理解することで、位置や運動を整理して記述することが可能となります。最後に、この基本構造をベクトルを活用して簡単なアニメーションを作成します。
おめでとうございます!
本日の最終のコードを改造してランダムな要素を追加してください。
例:
作品は、OpenProcessingに投稿した上でアンケートフォームから提出してください。
前回(11/1)のアンケートフォームはこちら。
この講義の前半はStrudelを用いてライブコーディングによるサウンドプログラミングの導入を行ってきました。
ここで改めて「ライブ」でコーディングするとはどういうことなのか、ということについて考えていきたいと思います。そもそも何故コード(プログラム)をステージ上で観客に見せるのか? コードを使ってパフォーマンスするという行為は何故意味があるのか。ライブコーディングというコンセプトの基本についてその歴史を紹介しながら学んでいきます。
本日の講義に出席した方は以下のアンケートに答えてください。
※ 旧カリ「サウンドプログラミング」「環境情報デザイン」で履修の方はこちら
今回は、TouchDesignerの初級編の4回目として、音楽に反応する3Dオブジェクトを作成します。前回の回転する立方体のプログラムを改造して、音楽ファイルのデータをCHOPに読み込んでその音量の最大値を入力にして3Dオブジェクトの大きさや色、背景のグラデーションなど様々な属性を変化させて、音楽に反応して動いているように感じられる3D表現に挑戦します。
今日のプログラムを改造して、以下のプログラムを作成してみましょう!
ヒント
ヒント
本日の授業に参加した方は、下記のアンケートに答えてください。
第一線で活躍する技術者や研究者を迎え、今後のメディアアート作品の制作に使用されるツールについて紹介し、国内外の参加者とともに学ぶ集中ワークショップ・シリーズの第5弾です。ハンズオンワークショップ「AIを使ったコード生成」では、実際に手元のノートPCで生成AIを使用したコード生成を体験します!
ワークショップを受講するにあたり、以下の資料を参照して事前に準備をしてきてください。
ワークショップの本編は以下のスライド資料を使用して解説していきます
「ホモ・コーデンス—AI時代、人類はどう描くのか」のハンズオンワークショップ「AIを使ったコード生成」では、実際に手元のノートPCで生成AIを使用したコード生成を体験していただきます。その際に、いくつかの事前準備が必要となりますので、以下で解説します。
可能な方はワークショップ開始前までに準備をしてくるようにお願いします。
必要な準備は以下の4点です。
Githubとは、 主にプログラムのソースコードをオンライン上で公開・共有できるプラットフォームです。現在最もポピュラーなGitホスティングサイトとなったで、2023年にはユーザ数1億人を突破しました。Githubにはいくつかアカウントの種類がありますが、基本的には無料で使用可能です。
以下の資料を参照してGithubにユーザー登録してください。
参考資料:
※10/25追記: 学生 (教職員) として GitHub Educationに応募するための情報を追記しました。下記のGithub Copilotが無料で制限無しに利用可能になります。
Github Copilotは今回使用するGithubから提供されている生成AIを使用したコード生成のサービスです。使用するには有料のプラン (Copilot Individual 個人 – 10ドル/月) に加入する必要がありますが、30日であれば無料のトライアルが可能です。学生や教育機関に所属する人であれば、GitHub Education (教育用アカウント) に登録することで無料で使用可能となります。
以下の資料を参照して、Github Copilotのトライアル版に加入してください。
参考資料:
Visual Studio Codeは、マイクロソフトが開発・提供している高性能なコードエディターです。無料で利用可能です。
以下のリンクからVisual Studio Codeをダウンロードしてインストールしてください。
参考資料:
Visual Studio Codeはインストールした直後の状態でも十分多機能です。しかし、用途や目的に応じて拡張機能をインストールしていくことで、自分専用にカスタマイズされた最強のテキストエディターとなります。このワークショップでは以下の機能拡張を事前にインストールしておくようにしてください。
参考:
もし個人で環境設定できなかった場合でも問題ありません。ワークショップの冒頭でインストール作業について解説します。
それでも、どうしても導入ができなかった場合は、下記のページで (少し機能は劣りますが) 同様のコード生成体験が可能なので、使用していきます。
それでは当日よろしくお願いします!!