AIを活用したプログラミング入門

本日の内容

今回の講義では、AIとコーディングの実践的な活用法を学びます。まず、p5.jsを題材に簡単なプログラミングの基礎を紹介します。その後、AIを活用したコーディングの三段階を体験します。第1段階ではChatGPTに質問しながらコードを生成する方法を学び、第2段階ではAI機能を搭載したエディターを活用します。最後に、高度なAIとの連携による、より複雑なプロジェクトの可能性を探ります。これにより、AIを駆使した創造的なコーディングの基礎を築くことを目指します。

コーディングの題材: p5.jsの簡単な紹介
AIによるコーディング 1 : ChatGPTに質問する
AIによるコーディング 2 : AI機能を搭載したエディターを使う
AIによるコーディング 3 : さらに高度なAIとの連携

コーディングの題材: p5.jsの簡単な紹介

p5.jsとは

https://p5js.org

p5.jsは、ビジュアルアートのためのプログラミング言語「Processing」をJavaScriptに移植したものである。
ウェブブラウザで直接実行可能
アートやデザイン、インタラクティブなメディア作品の制作に適している
初心者でも直感的に使えるシンプルな構文を持ち、プログラミングの学習にも適している
公式サイトには多くのチュートリアルやリファレンスがあり
活発なコミュニティによるサポート

p5.jsでどんなことができるのか – OpenProcessing

OpenProcessing

p5.jsを用いたプログラムをオンラインで作成・共有できるサービス
世界中のクリエイティブコーダーが作成した作品がソースコードを含めて閲覧できる!

簡単なプログラム例

function setup() {
  // 画面全体にキャンバス作成
  createCanvas(windowWidth, windowHeight);
}

function draw() {
  // 背景をグレーに
  background(220);
  // 円を描く
  circle(width / 2, height / 2, 400);
}

※ 現段階では全く意味が分からなくてOK!

実行結果

このようなプログラムをAIの力を借りて生成してみましょう!

AIによるコーディング 1 : ChatGPTに質問する

おそらく最も手軽に始められる方法
ChatGPTにコーディングの質問をするだけ

例:

ブラウザの画面中央に円を描くプログラムを作りたいです。どのようにすればよいでしょうか？

表示領域はフルスクリーンにしてください。使用する開発環境は、p5.jsを使用してください。

ChatGPT 4oに質問してみました。

https://chatgpt.com/c/673d4173-1fe8-800e-a6ed-79a1ad77dc05

p5.js を使用してブラウザの画面中央に円を描くプログラムを作成するには、以下のようにコードを書きます。p5.jsは簡単にキャンバスを作成し、グラフィックを描画できるライブラリです。

以下は、フルスクリーンのキャンバスに円を描くシンプルなコードです。

プログラム例

function setup() {
  // ウィンドウサイズに合わせてフルスクリーンキャンバスを作成
  createCanvas(windowWidth, windowHeight);
}

function draw() {
  background(220); // 背景色（薄いグレー）

  // 円の色を設定
  fill(100, 150, 255); // 青系の塗り色
  noStroke(); // 円の境界線をなしに

  // 画面中央に円を描く
  let centerX = width / 2;
  let centerY = height / 2;
  let diameter = 100; // 円の直径

  ellipse(centerX, centerY, diameter, diameter);
}

function windowResized() {
  // ウィンドウサイズが変更されたとき、キャンバスを再調整
  resizeCanvas(windowWidth, windowHeight);
}

コードの説明

setup 関数:
- createCanvas(windowWidth, windowHeight) を使って、ブラウザウィンドウ全体をキャンバスとして利用。
draw 関数:
- background(220) で背景を塗りつぶし、リセット。
- ellipse(centerX, centerY, diameter, diameter) を使い、画面の中心に直径 100 の円を描画。
windowResized 関数:
- ウィンドウサイズが変更されたときにキャンバスのサイズを自動調整。

実行手順

p5.js Webエディタを開きます。
上記のコードをコピーペーストします。
「再生」ボタンを押すと、ブラウザ画面全体に円が表示されます。

必要に応じて円の色やサイズを変更してみてください！

実行結果 (完璧!!)

実習: ChatGPTによるコード生成を試してみる

ChatGPTにp5.jsで生成したいコードをリクスト
冒頭で「p5.jsで」などと制作環境を指定すると良い
生成されたコードをp5.js Web Editorにコピー&ペースト
コードを実行してみる

AIによるコーディング 2 : AI機能を搭載したエディターを使う

もっと高度な機能を利用したい!

よりインタラクティブに生成結果をみながらAIのサポートを受けたい
エラーが発生した際にもAIに助けて欲しい
あらかじめ作成したコードをAIに改良して欲しい

p5.CodingWithAIを使ってみる

https://app.kyabe.net/p5-coding-with-ai/
きゃべ / Masaya Kurahashiさん作
ChatGPTとの連携機能を搭載した自作のp5.jsのWebエディタ
ユーザーが自然言語でAIにリクエストを送信すると、AIが解説とともにリクエストに合わせたコードを提案する。
提案されたコードを基にユーザーが工夫を凝らし、作品を創作することで、人間とAIの共創の実現性を探求。

詳細な使用方法は、実際にデモをしながら解説していきます!

ちなみに先程と同じChatGPTにした質問をp5.CodingWithAIに送ってみました
→ 完璧!

実習: p5.CodingWithAIでコード生成

最初にプロンプトから基本となるコードを生成
もしくは、OpenProcessingなどから気になるコードをピックアップしてコピー&ペースト
質問をくりかえしながら、徐々に自分の好みの生成結果に近づけていく
提案されたコードを受け入れるかは、その都度吟味する
最終的にどのようなコードが完成するのか!?

AIによるコーディング 3 : さらに高度なAIとの連携

Github Copilotを使用してみる

GitHub Copilotは、OpenAIのCodexを基盤としたAIペアプログラミングツールである。主にプログラマーのコード作成を支援することを目的としており、エディタ内でリアルタイムにコード提案を行う。コード補完、関数生成、コメントからのコード生成など、多様な支援機能を備える。主要なIDEやエディタ（Visual Studio Codeなど）に統合可能で、多言語対応であることも特徴である。効率的なコーディングを実現し、初心者から上級者まで幅広いユーザーに対応するツールである。

https://github.com/features/copilot

GitHub Copilotの主な機能

コード補完：開発者がコードを入力する際、次に来るであろうコードを予測し、提案する。
関数生成：関数名やコメントから、対応する関数のコードを自動生成する。
コメントからのコード生成：自然言語で記述されたコメントを基に、対応するコードを生成する。
多言語対応：Python、JavaScript、TypeScript、Rubyなど、複数のプログラミング言語に対応する。
主要なIDEとの統合：Visual Studio Code、Visual Studio、Neovim、JetBrains製品など、主要な統合開発環境と連携可能である。

テストコードの生成：既存のコードに対するテストコードを自動的に生成し、テストの効率化を支援する。
コードのリファクタリング提案：既存のコードに対して、より効率的な書き方や改善点を提案する。
プルリクエストの概要作成：プルリクエストの変更内容を分析し、その概要を自動生成する。
チャット機能：開発者が自然言語で質問や指示を入力すると、AIが適切なコードや情報を提供する。
マルチモデル対応：Anthropic、Google、OpenAIなど、複数のAIモデルを選択して利用できる。

Github Copilotを使用するための事前準備

使用のための手順

Githubへのユーザー登録
Github Copilotのトライアル版登録
Visual Studio Codeのインストール
Visual Studio Codeの環境設定

詳細は以下のページを参照
https://yoppa.org/ycam24/16644.html

環境設定が完了するとVSCodeとGithub Copilotが統合された最強のコーディング環境が実現されます!

生成された「かわいいキャラクター」!

Github Copilotを使用したコード生成

詳細は、ハンズオン：AIを使ったコード生成 (YCAMワークショップ 2024) の資料を参照してください

次回までの課題

この講義も前半が終了しました。後半は履修者のみなさんそれぞれの専門分野に生成AIを用いた創作を応用できるような内容にしていきたいと考えています。そこで以下のような内容を次週までに考えてきてください。

興味を持った生成AIの分野
- 文章の生成、チャット
- 画像生成
- 動画生成
- 音楽生成
- コード生成 …など
自身の専門分野の創作にどのように生かすことが可能そうか
現時点でのこの講義の最終制作に向けてのアイデア

上記の内容を下記のフォームに記入して提出してください。締切は11月28日(木)までとします。

提出フォーム

アンケート

本日の講義に参加した方は以下のアンケートに回答してください。

AH9V3`

TidalCycles自動インストール – Windows

TidalCycles手動インストール – Windowsがうまくいかない方のための資料です。

「Chocolatey」というWindowsのパッケージ管理システムを使用した自動インストールの手順の説明です。

事前準備

一度手動インストールをトライした方は、以下の操作で一度インストールしたファイルやアプリケーションを削除してください。

1. SuperColliderのアンインストール

「Windowsメニュー > 設定 > アプリ > インストールされているアプリ」を選択してSuperColliderを検索します。表示されたリストを右クリックして「アンインストール」を選択してアンインストールしてください。

2. Cabal、Ghcup、Haskellのアンインストール

C:ドライブ直下にある「cabal」「ghcup」フォルダをフォルダごと削除します。

自動インストールの手順

1. PowerShellを管理者として起動

Windowsキーを右クリックしてポップアップメニューを表示
「Terminal (管理者)」または「Power Shell (管理者)」または「コマンドプロンプト (管理者)」を選択します。

2. Chocolateyのインストール

PowerShellに以下のコマンドを入力して、Enterキーを押して実行します。

Set-ExecutionPolicy Bypass -Scope Process -Force; iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'))

3. TidalCyclesのインストール

PowerShellに以下のコマンドを入力して、Enterキーを押して実行します。

choco install tidalcycles

途中で以下の確認の表示が出たら、「a」キーを押してEnterしてください。

Do you want to run the script?([Y]es/[A]ll - yes to all/[N]o/[P]rint):

注意: 完全なインストールには時間がかかります (30 分以上)。最後まで実行するのが最善ですが、完了せずに終了した場合や中止する必要がある場合は、このコマンドを再度実行してみてください。Choco は、すでに完了しているパッケージの依存関係をスキップします。

4. 動作確認

SuperColliderのブート

プログラムリストからSuperColliderを選択して起動します。
右下の「Server」と書いてある欄をクリックしてポップアップメニューを表示します。
Boot Serverを選択してサーバーをBootします。

サーバーが起動したら、左側のエディター画面に以下のコマンドを入力します

SuperDirt.start

行末にカーソルを移動して「Control + Enter」キーを入力します

Pulserの起動

アプリケーションのリストから「Pulser」を起動します (SuperColliderは起動したままで)
新規にファイルを開き、「test.tidal」というファイル名で保存します。(※拡張子を必ず .tidal にすること!)
作成したファイルに以下のコマンドを入力して音が鳴ればOKです

d1 $ s "cp*4"

TouchDesigner中級編(3) – オーディオリアクティブ表現 (2) スペクトル解析

TouchDesigner中級編の3回目となる今回は、前回に引続きオーディオリアクティブな表現を探求します。前回は波形の情報からRMS (二乗平均平方根) を算出して音量によるビジュアライズを行いました。しかし、音量の情報だけではビジュアライズの限界があります。

実は我々の耳は音を波形ではなく、周波数に分解して知覚しています。ですので、波形をそのま操作して表示しても、あまり音と一致した映像にはなりません。音を周波数の帯域ごとの音の成分に分解するには、フーリエ変換という手法を用います。これにより、音を周波数帯域ごとの強さにわけて取得することが可能となります。フーリエ変換は、コンピュータ内で高速に処理する高速フーリエ変換（FFT）というアルゴリズムが考案され、現在ではPC内でリアルタイムに変換していくことが可能です。今回は、このフーリエ解析を利用して、TouchDesignerで音を可視化してみましょう。

スライド資料

TouchDesigner中級編(3) – オーディオリアクティブ表現 (2) スペクトル解析

サンプルプログラム

本日の課題

今回の講義資料およびサンプルプログラムを参考にして、スペクトル解析を使用した音響のビジュアライズをTouchDesignerを用いて行ってください。

課題提出 + アンケート

本日の課題の提出は下記から行ってください。

課題提出 + アンケート

生成動画「幻覚 – バッド・トリップ」講評 / AIと音楽制作

本日の内容

本日は、まず生成動画「幻覚 – バッド・トリップ」の講評を行います。次に本日はAIを活用した音楽制作について解説していきます。まず始めに生成AIを用いた音楽創作のための技術について、様々な実例や作品を紹介します。最後に実習としてSuno AIを用いてAIによる音楽生成に挑戦します。

スライド資料

生成動画「幻覚 – バッド・トリップ」講評

今回も提出用のオンラインフォームを作成しました!
以下のリンクからアクセスしてください。

`https://x.gd/xFivJ`

生成した動画ファイルをアップロードしてください (最大5個)
動画ファイル名は「学籍番号_名前_番号.拡張子」の形式で保存してください
(例: 12345678_tadokoro_01.mov)

AIと音楽制作

生成AIによる音楽の創作

徳井直生 – AI DJ Project (2016)

徳井直生 – AI DJ Projectは、人工知能（AI）と人間のDJが交互に曲をかけ合う「バック・トゥ・バック」形式のライブパフォーマンス。AIはディープラーニング技術を活用し、曲の選択やミックスを行う。このプロジェクトは、AIと人間の対話を通じて新たな音楽的創造性を探求する試みであり、国内外で注目を集めている。

Holly Herndon & Jlin (feat. Spawn) – Godmother (2018)

2018年に発表された「Godmother」は、Holly HerndonとJlinが共同制作し、AI「Spawn」を活用した楽曲である。Spawnは、Herndonと彼女のパートナーであるMat Dryhurstが開発した人工知能であり、Jlinの音楽スタイルを学習し、Herndonの声で再現することを試みた。このプロジェクトは、AIが人間の創造性とどのように共存し、新たな音楽表現を生み出せるかを探求する試みとして注目された。

参考:

Brien Eno – Reflextion

ブライアン・イーノのアルブライアン・イーノ（Brian Eno）が『Reflection』で行う自己省察
バム『Reflection』は、ジェネラティブ・ミュージックの手法を用いて制作された。彼は複数のサウンドやフレーズを集め、それらに特定のルールを設定し、システムを作動させることで、常に異なる音楽を生成することを目指した。このプロセスは、AIの自動生成的なアプローチと類似しており、イーノは自身の役割を作曲家からプログラマーや観察者へと変化させ、音楽の生成過程を楽しんだ。

参考: ブライアン・イーノ（Brian Eno）が『Reflection』で行う自己省察

The Beatles – Now And Then (2023)

The Beatles – Now And Thenは、ジョン・レノンが1970年代後半に自宅で録音したデモテープを基に、AI技術を活用して完成された楽曲である。当時の技術では、ピアノとボーカルの分離が困難であったが、最新のAIを用いることで、レノンの声をクリアに抽出することが可能となった。これにより、ポール・マッカートニーとリンゴ・スターが新たな演奏を加え、ビートルズの最後の楽曲として2023年にリリースされた。

参考: ビートルズ最後の新曲｢Now and Then｣はどうやって作られたのか

その他の事例

参考: 12 songs created by AI

参考: AIと音楽制作：現段階の状況

AI技術が音楽制作に与える影響を分析している。AIはステムの分離やボーカルのディープフェイクなど、従来の制作ツールに新たな可能性をもたらしている。しかし、音楽制作におけるAIの活用は、創造性や所有権、信頼性に関する議論を引き起こしている。記事は、AIが人間の創造性を脅かすのか、それとも増大させるのかを探求し、音楽制作の未来を見据えている。

音楽生成ツールとしての生成AI

Google + Deep Mind – NSynth Super (2017)

NSynth Superは、GoogleのMagentaプロジェクトとDeepMindが共同開発したシンセサイザーである。このシンセサイザーは、機械学習アルゴリズム「NSynth」を活用し、既存の楽器音を組み合わせて新たな音色を生成することが可能である。NSynthは、WaveNetスタイルのオートエンコーダーを使用し、約30万の楽器音データセットから学習を行う。NSynth Superは、タッチスクリーンを備えたハードウェアインターフェースを持ち、ユーザーは4つの異なる音源を選択し、それらを組み合わせて新しい音色を直感的に作成できる。このプロジェクトは、オープンソースとしてGitHub上で公開されており、誰でも自作可能である。NSynth Superの登場により、AIを活用した音楽制作の新たな可能性が広がり、アーティストやクリエイターに革新的なツールを提供している。

Neutone (Qosmo, 徳井直生) – Neutone Morpho (2024)

Neutone Morphoは、株式会社Neutoneが開発した機械学習ベースのオーディオプラグインである。このプラグインは、入力された音を別の音に瞬時に変換する新しいタイプのエフェクターであり、例えば、声をバイオリンやジャンベの音にリアルタイムで変換することが可能である。Neutone Morphoは、AI技術を活用して音楽制作に革新をもたらし、アーティストやクリエイターの創造性を拡張することを目指している。このプラグインの開発は、AIと音楽の融合を推進する株式会社Qosmoの代表であり、Neutoneの設立者でもある徳井直生氏が主導している。Neutone Morphoのリリースにより、音楽制作の現場でAIを活用した新たな表現手法が広がり、音楽業界におけるAIの可能性を示す重要なステップとなっている。

Jacob Collier + Google, MusicFX DJ | Google Lab Sessions (2024)

2024年、グラミー賞受賞アーティストのジェイコブ・コリアーは、Google DeepMindおよびGoogle Labsと協力し、AI音楽生成ツール「MusicFX DJ」の開発に携わった。このツールは、ユーザーが楽器、ジャンル、感情などのプロンプトを組み合わせることで、リアルタイムに音楽を生成し、AIを活用した即興演奏を可能にする。コリアーは、直感的な操作性と創造性を重視し、初心者からプロまで幅広いユーザーが利用できるよう設計に貢献した。また、生成された音楽は他者と共有・リミックス可能で、共同制作の新たな形を提案している。

音楽生成AIを使ってみる!

Google MusicFX DJ

https://aitestkitchen.withgoogle.com/tools/music-fx-dj

Googleの「MusicFX DJ」は、AIを活用した音楽生成ツールである。ユーザーはテキストでジャンルや楽器、雰囲気などを指定することで、リアルタイムに音楽を生成・操作できる。直感的なインターフェースにより、音楽制作の専門知識がなくても、誰でも簡単にオリジナルの楽曲を作成可能である。また、生成した音楽はダウンロードや共有が可能であり、創造的なコラボレーションを促進する。

Suno AI

https://suno.com/

Suno AIは、テキスト入力に基づき音楽を自動生成するAIツールである。ユーザーが入力した歌詞や曲のイメージに応じて、ボーカルや楽器、バックトラックを含む楽曲を作成することが可能である。日本語にも対応しており、日本語の歌詞を用いた楽曲制作も容易である。無料プランでは1日最大10曲の生成が可能で、商用利用を希望する場合は有料プランへの加入が必要である。2024年5月のアップデートにより、最大4分の楽曲生成が可能となり、機能が大幅に向上した。ただし、著作権に関する問題も指摘されており、商用利用時には注意が必要である。

Suno AIを活用して音楽を生成する際の主な方法

テキストプロンプトの入力：楽曲のテーマや雰囲気をテキストで指定し、AIに楽曲を生成させる。
歌詞の入力：ユーザーが作成した歌詞を入力し、それに基づいてメロディや伴奏を生成する。
ジャンルの選択：ポップ、ジャズ、クラシックなど、希望する音楽ジャンルを選択して、特定のスタイルの楽曲を生成する。
カスタムモードの活用：テンポ、楽器構成、ボーカルスタイル、楽曲の長さなど、詳細な設定を行い、より個別化された楽曲を作成する。
インストゥルメンタルの生成：ボーカルなしの楽曲を生成するために、インストゥルメンタルオプションを選択する。
楽曲の延長：生成された楽曲をさらに延長し、より長い楽曲を作成する。

参考: Neutone Morpho

https://neutone.ai/morpho

Neutone Morphoは、最先端の機械学習技術を活用したリアルタイムのトーンモーフィングプラグインである。入力された音声を異なる音色やスタイルに変換し、新たなサウンドを創出することが可能である。例えば、ユーザーの声をバイオリンの音色に変換したり、日常の物音をドラムセットの音に変換することができる。このプラグインは、事前にトレーニングされたAIモデルを使用し、入力されたオーディオをリアルタイムで変換する。無料版では4種類のモデルが利用可能であり、有料版では追加のモデルやカスタムモデルの作成も可能である。 Neutone Morphoは、Mac（Apple Siliconネイティブサポート）およびWindowsで動作し、AU/VST3形式に対応している。ユーザーは、DAW上でリアルタイムに音声を変換し、創造的な音楽制作を行うことができる。

Neutone Morphoの主な機能

リアルタイムのトーンモーフィング：入力された音声をリアルタイムで異なる音色やスタイルに変換する。
多様なAIモデルの利用：事前にトレーニングされたモデルを使用し、ドラム、声、コーラス、バイオリン、エフェクトなど多彩なサウンドに変換可能。
カスタムモデルの作成：独自の音声データを用いて、ユーザー専用のAIモデルをトレーニングし、オリジナルのサウンドを生成できる。
マクロおよびマイクロビューの操作：マクロビューでは4つのノブでモデルの一般的な動作を調整し、マイクロビューでは詳細なパラメータを微調整可能。
プリ／ポストプロセッシング機能：ピッチシフト、フィードバックディレイ、コンプレッサー、ノイズゲート、リミッターなどのDSP機能を搭載し、最適な音質を実現。

実習: 生成AI映像に音楽をつける

前回作成した生成動画「幻覚 – バッド・トリップ」の映像に音楽をつけてみる
まずは映像にあわせた音楽の生成に挑戦
- Suno AIでプロンプトから音楽生成
- Google MusicFXを使用して音楽生成
- Neutone Morphを使用して音楽制作
もし可能な人は、映像編集アプリで映像に音を入れてみる
- Davinch Resolve
- Adobe Premir
- Apple Final Cut Pro
  … など

アンケート

本日の講義に参加した方は以下のアンケートに回答してください。

https://x.gd/Ta35P

p5.jsで画像データを扱う – 画像の分析・再合成

p5.jsのp5.Imageクラスは、外部のビットマップ画像(Jpeg, GIF、PNGなど)をデータとしてプログラムに読み込むことができます。読み込んだ画像は単に画面に表示するだけでなく、色や明度やサイズを変更して表示することができます。さらには、画像に含まれる全てのピクセルの色情報を読み取り配列に格納することが可能です。そのデータをもとに別の画像を再生成することが可能となり、読み込んだ画像データの色情報をもとにした多彩な表現が可能となります。

今回はp5.jsに画像を読み込んで、分析再合成することで、様々な表現の可能性について探っていきます。

映像資料

スライド資料

p5.jsで画像データを扱う – 画像の分析・再合成

サンプルプログラム

応用

本日の課題!

課題: p5.jsに読み込んだ画像ファイルのデータで表現する!

p5.jsに読み込んだ画像ファイルの情報から、新たなイメージを生成する
読み込む画像は自由です
作品は、OpenProcessingに投稿
完成した作品に、タイトルをつける
投稿したURLをアンケートから提出
投稿の際にsfc241115のタグをつけてください!
締切: 2023年11月29日(水)まで! (次回は三田祭休みのため再来週)

アンケートフォーム

今回も、前回の提出作品の人気投票を行います!
前回のタグsfc241108でOpenProcessingで検索 (検索方法をSketches that are tagged にする必用あり)
一番良いと思った作品に1票投票 (自信があれば自分の作品でも可)

TouchDesigner中級編(2) – オーディオリアクティブ表現 (1)

TouchDesigner入門(4) – 音楽に連動させよう! の回では、音楽の音量に反応させて図形を描く基本を学習しました。今回から数回は、このテクニックをさらに応用して、音の様々なパラメータを解析したビジュアル表現について探求していきます。まず初回の今回は、音量による反応をより詳細に取り上げていきます。

今回の内容は、比嘉了さんによる東京藝術大学での講義「映像音響処理概説 2019」の「第11回: 音反応」を参考にしています。

参考映像

[triggering2018] Live performance for new 3 tracks (demo ver.)

Alva Noto – unitxt/univrs (Derivative Version)

[CHANNEL13] Daisuke Tanabe x HEXPIXELS

スライド資料

TouchDesigner中級編(2) – オーディオリアクティブ表現(1)

サンプルファイル

本日の課題

今回の講義資料およびサンプルプログラムを参考にして、音に反応して変化するグラフィック表現をTouchDesignerで行ってください。

課題提出 + アンケート

本日の課題の提出は下記から行ってください。

課題提出 + アンケート

動画生成AIを使ってみる

本日は、生成AIを利用した動画生成に挑戦します。まず始めに現状の動画生成AIの状況について解説します。その上で現在利用可能な様々な動画生成のサービスとその特徴を紹介し、実際に動画生成を体験してみます。最後に参考として無料で利用可能な動画編集アプリケーションを紹介します。

スライド資料

本日の内容

生成AIによる動画の生成に挑戦
様々な動画生成AIサービスを紹介
実際に使用してみる
フリーの動画編集アプリの紹介

生成AIによる動画の生成に挑戦

現状での動画生成AIの注意点

画像生成AIと同様、様々なサービスが公開されている
しかしながら、フリーで制限無く利用できるサービスは少ない印象
日々進化しているので、今回の情報も来年には古くなっている可能性大

数年前までのAIによる動画生成状況

Deep Dream by Google (2015)

Memo Akten, Journey through the layers of the mind (2015)

Neural style transfer

Memo Akten, Learning to see: Gloomy Sunday (2017)

Sora AI の衝撃!

Sora AI: OpenAIが開発した動画生成AIモデル、2024年2月発表
テキストプロンプトから高品質な動画を生成
ディフュージョンモデルを活用し、連続性と詳細な映像を実現
一般公開は未定で、現在はクリエイターや映画製作者と協力し、フィードバックを収集中

Sora AIのデモ動画

Playlist – Sora by Open AI

プレイリストからいくつか抜粋

air head · Made by shy kids with Sora

Tammy Lovin · Sora Showcase

Niceaunties · Sora Showcase

別の動画生成AI (Runway ML) による短編映画

Battalion – My First Ever 5 Minute Gen AI Short Film

主要な動画生成サービス

参考: (まだ一般には非公開)

Sora AI
Meta’s Movie Gen ※ 日本では未公開

Dream Machine by Luma AI

Luma AIの「Dream Machine」は、テキストや画像から高品質な動画を生成するAIツール。ユーザーはプロンプトを入力するだけで、最大5秒間のリアルな動画を簡単に作成可能。無料プランでは月30回の動画生成が可能で、商用利用には有料プランへの登録が必要。

Gen-3 Alpha by Runway

Runwayの「Gen-3 Alpha」は、テキストや画像から高品質な動画を生成するAIツールである。ユーザーはプロンプトを入力するだけで、最大10秒間のリアルな動画を簡単に作成可能だ。無料プランでは利用できず、有料プランへの登録が必要である。

Pika 1.5 by Pika Labs

Pikaは、AIを活用した動画生成プラットフォームである。ユーザーはテキストや画像を入力することで、短い動画を自動的に作成できる。特に、3Dアニメーションやカートゥーンスタイルの動画生成と編集が可能で、直感的なユーザーインターフェースを備えている。また、Discord上で動作し、無料で利用可能である。

Kling Video 1.5 by Kling AI

Kling Videoは、中国の動画共有プラットフォーム「快手（Kuaishou）」が開発した動画生成AIツールである。ユーザーはテキストや画像を入力することで、最大10秒間の高品質な動画を生成可能だ。解像度は1080p、フレームレートは30fpsに対応し、物理法則の理解や複雑な動作の正確なモデリングに優れている。また、メールアドレスでの登録により、世界中のユーザーが利用できるようになった。

ノードベースで動画生成できるツールも

Comfy UI

その他にもいろいろなサービスが!

参考: The 9 best AI video generators in 2024

Runway for generative AI video
Descript for editing video by editing the script
Wondershare Filmora for polishing video with AI tools
Capsule for simplifying video production workflows with AI
Fliki for social media videos
Peech for content marketing teams
Synthesia for using digital avatars
Vyond for animated character videos from a prompt
Visla for turning a script into a video

実習: 動画生成AIを使ってみる

どの動画生成AIを使うか?

無料で使用したい!

Luma AI Dream Machineがおススメ

プロンプトから生成
画像をアップロードして続きの動画を生成
生成した動画の結果から、さらに次の動画を生成
いろいろ試してみましょう!

より本格的に動画生成を行いたい

Runway MLがおススメ

プロンプトから生成
画像をアップロードして続きの動画を生成
カメラワークなどを細かく指定
無料で試せる回数はごく僅か (クレジット制)

参考: Runwayによる動画生成のテクニック

Masterclass: AI film Directing in Runway Gen 3 – Create Stunning Cinematic Shots!

参考: フリーの動画編集アプリの紹介

生成した動画素材をどうやって編集するか?

Adobe CC加入している人 → Adobe Premiere Pro

しかし無料でとても高機能の動画編集アプリもあります

Blackmagicdesign DaVinci Resolve

DaVinci Resolve

フリーで利用可能な動画編集アプリ
Ultra HD 4K (3840×2160) までの解像度に対志
高度なカラーグレーディング機能

次回までの課題

制作課題：「幻覚 – バッド・トリップ」

課題：

現代の生成AI技術がもたらす映像生成の可能性を探りながら、「幻覚 – バッド・トリップ」というテーマを動画で表現してください。不安や混乱、非現実的な体験をもたらすような映像作品を制作してください。視覚的な歪みや感覚の揺らぎといった要素を取り入れ、現実と幻覚の境界が曖昧になるような演出を試みてください。

映像の長さ: 5秒〜1分程度
動画生成AIを使用した映像を素材にすること
生成した動画を素材にして映像編集アプリで編集しても良い
次回の演習で提出と発表をしていただきます!

アンケート

本日の講義に参加した方は以下のアンケートに回答してください。

アンケート

TidalCycles導入 – インストール

この演習の後半はより本格的なライブコーディングのパフォーマンスを実践します。そのために、これまで使ってきたStrudelからステップアップしてTidalCyclesというより本格的なライブコーディングの環境を使用していきます。

TidalCyclesのインストール方法はOS (Windows / Mac) によって微妙に異なります。自身が使用しているOSにあわせて以下のリンクを参照してインストールを進めてください。

※ Windowsの手動インストールがうまくできなかった方は下記の自動インストールを試してください。

TidalCycles自動インストール – Windows

インストールには非常に時間がかかります。また安定したネット接続が必要です。ネット環境が整備されている場所でじっくりと作業していきましょう。

アンケート

本日の講義を履修した方は以下のアンケートに回答してください。

アンケート (11/14の回)

※ 旧カリ「サウンドプログラミング」「環境情報デザイン」で履修の方はこちら

(旧カリ) アンケート

TouchDesigner中級編(1) – インスタンシングとカメラワーク

前回までの内容で、SOPとGeometry COMPを用いることで3Dオブジェクトをレンダリングすることができるようになりました。このやり方で複数のSOPをレンダリングすることも可能ですが、大量のオブジェクトを配置するとすぐにPCの描画性能の限界になってしまいます。

TouchDesingerの描画に使用されているOpenGLでは、ジオメトリーのコピー (インスタンス) を大量に生成してGPUで処理することが可能です。そうすることで、大量の3Dオブジェクトを一度に描画することが可能となります。この手法を「インスタンシング (ジオメトリーインスタンシング)」と呼んでいます。インスタンシングによって大量の3D形状の全体的な動きや色をコントロールして量感のある表現が可能となります。TouchDesignerの表現力を高める重要な手法となりますので、しっかりと理解していきましょう!