芸大 - 人工知能と創作 2024
動画生成AIを使ってみる
本日は、生成AIを利用した動画生成に挑戦します。まず始めに現状の動画生成AIの状況について解説します。その上で現在利用可能な様々な動画生成のサービスとその特徴を紹介し、実際に動画生成を体験してみます。最後に参考として無料で利用可能な動画編集アプリケーションを紹介します。
本日の内容
- 生成AIによる動画の生成に挑戦
- 様々な動画生成AIサービスを紹介
- 実際に使用してみる
- フリーの動画編集アプリの紹介
生成AIによる動画の生成に挑戦
現状での動画生成AIの注意点
- 画像生成AIと同様、様々なサービスが公開されている
- しかしながら、フリーで制限無く利用できるサービスは少ない印象
- 日々進化しているので、今回の情報も来年には古くなっている可能性大
数年前までのAIによる動画生成状況
Deep Dream by Google (2015)
Neural style transfer
Sora AI の衝撃!
- Sora AI: OpenAIが開発した動画生成AIモデル、2024年2月発表
- テキストプロンプトから高品質な動画を生成
- ディフュージョンモデルを活用し、連続性と詳細な映像を実現
- 一般公開は未定で、現在はクリエイターや映画製作者と協力し、フィードバックを収集中
Sora AIのデモ動画
プレイリストからいくつか抜粋
別の動画生成AI (Runway ML) による短編映画
主要な動画生成サービス
参考: (まだ一般には非公開)
- Sora AI
- Meta’s Movie Gen ※ 日本では未公開
Dream Machine by Luma AI
Luma AIの「Dream Machine」は、テキストや画像から高品質な動画を生成するAIツール。ユーザーはプロンプトを入力するだけで、最大5秒間のリアルな動画を簡単に作成可能。無料プランでは月30回の動画生成が可能で、商用利用には有料プランへの登録が必要。
Gen-3 Alpha by Runway
Runwayの「Gen-3 Alpha」は、テキストや画像から高品質な動画を生成するAIツールである。ユーザーはプロンプトを入力するだけで、最大10秒間のリアルな動画を簡単に作成可能だ。無料プランでは利用できず、有料プランへの登録が必要である。
Pika 1.5 by Pika Labs
Pikaは、AIを活用した動画生成プラットフォームである。ユーザーはテキストや画像を入力することで、短い動画を自動的に作成できる。特に、3Dアニメーションやカートゥーンスタイルの動画生成と編集が可能で、直感的なユーザーインターフェースを備えている。また、Discord上で動作し、無料で利用可能である。
Kling Video 1.5 by Kling AI
Kling Videoは、中国の動画共有プラットフォーム「快手（Kuaishou）」が開発した動画生成AIツールである。ユーザーはテキストや画像を入力することで、最大10秒間の高品質な動画を生成可能だ。解像度は1080p、フレームレートは30fpsに対応し、物理法則の理解や複雑な動作の正確なモデリングに優れている。また、メールアドレスでの登録により、世界中のユーザーが利用できるようになった。
ノードベースで動画生成できるツールも
その他にもいろいろなサービスが!
参考: The 9 best AI video generators in 2024
- Runway for generative AI video
- Descript for editing video by editing the script
- Wondershare Filmora for polishing video with AI tools
- Capsule for simplifying video production workflows with AI
- Fliki for social media videos
- Peech for content marketing teams
- Synthesia for using digital avatars
- Vyond for animated character videos from a prompt
- Visla for turning a script into a video
実習: 動画生成AIを使ってみる
どの動画生成AIを使うか?
無料で使用したい!
- プロンプトから生成
- 画像をアップロードして続きの動画を生成
- 生成した動画の結果から、さらに次の動画を生成
- いろいろ試してみましょう!
より本格的に動画生成を行いたい
Runway MLがおススメ
- プロンプトから生成
- 画像をアップロードして続きの動画を生成
- カメラワークなどを細かく指定
- 無料で試せる回数はごく僅か (クレジット制)
参考: Runwayによる動画生成のテクニック
Masterclass: AI film Directing in Runway Gen 3 – Create Stunning Cinematic Shots!
参考: フリーの動画編集アプリの紹介
生成した動画素材をどうやって編集するか?
- Adobe CC加入している人 → Adobe Premiere Pro
しかし無料でとても高機能の動画編集アプリもあります
- Blackmagicdesign DaVinci Resolve
DaVinci Resolve
- フリーで利用可能な動画編集アプリ
- Ultra HD 4K (3840×2160) までの解像度に対志
- 高度なカラーグレーディング機能
次回までの課題
制作課題：「幻覚 – バッド・トリップ」
課題：
現代の生成AI技術がもたらす映像生成の可能性を探りながら、「幻覚 – バッド・トリップ」というテーマを動画で表現してください。不安や混乱、非現実的な体験をもたらすような映像作品を制作してください。視覚的な歪みや感覚の揺らぎといった要素を取り入れ、現実と幻覚の境界が曖昧になるような演出を試みてください。
- 映像の長さ: 5秒〜1分程度
- 動画生成AIを使用した映像を素材にすること
- 生成した動画を素材にして映像編集アプリで編集しても良い
- 次回の演習で提出と発表をしていただきます!
アンケート
本日の講義に参加した方は以下のアンケートに回答してください。