本日の内容

本日は、まず生成動画「幻覚 – バッド・トリップ」の講評を行います。次に本日はAIを活用した音楽制作について解説していきます。まず始めに生成AIを用いた音楽創作のための技術について、様々な実例や作品を紹介します。最後に実習としてSuno AIを用いてAIによる音楽生成に挑戦します。

スライド資料

生成動画「幻覚 – バッド・トリップ」講評

今回も提出用のオンラインフォームを作成しました!
以下のリンクからアクセスしてください。

https://x.gd/xFivJ

• 生成した動画ファイルをアップロードしてください (最大5個)
• 動画ファイル名は「学籍番号_名前_番号.拡張子」の形式で保存してください
• (例: 12345678_tadokoro_01.mov)

AIと音楽制作

生成AIによる音楽の創作

徳井直生 – AI DJ Project (2016)

徳井直生 – AI DJ Projectは、人工知能（AI）と人間のDJが交互に曲をかけ合う「バック・トゥ・バック」形式のライブパフォーマンス。AIはディープラーニング技術を活用し、曲の選択やミックスを行う。このプロジェクトは、AIと人間の対話を通じて新たな音楽的創造性を探求する試みであり、国内外で注目を集めている。

Holly Herndon & Jlin (feat. Spawn) – Godmother (2018)

2018年に発表された「Godmother」は、Holly HerndonとJlinが共同制作し、AI「Spawn」を活用した楽曲である。Spawnは、Herndonと彼女のパートナーであるMat Dryhurstが開発した人工知能であり、Jlinの音楽スタイルを学習し、Herndonの声で再現することを試みた。このプロジェクトは、AIが人間の創造性とどのように共存し、新たな音楽表現を生み出せるかを探求する試みとして注目された。

参考:

• Holly Herndon and Jlin’s “Godmother” features an A.I. named Spawn
• Stereogum – Holly Herndon x Jlin – “Godmother” (Feat. Spawn) Video

Brien Eno – Reflextion

ブライアン・イーノのアルブライアン・イーノ（Brian Eno）が『Reflection』で行う自己省察
バム『Reflection』は、ジェネラティブ・ミュージックの手法を用いて制作された。彼は複数のサウンドやフレーズを集め、それらに特定のルールを設定し、システムを作動させることで、常に異なる音楽を生成することを目指した。このプロセスは、AIの自動生成的なアプローチと類似しており、イーノは自身の役割を作曲家からプログラマーや観察者へと変化させ、音楽の生成過程を楽しんだ。

参考: ブライアン・イーノ（Brian Eno）が『Reflection』で行う自己省察

The Beatles – Now And Then (2023)

The Beatles – Now And Thenは、ジョン・レノンが1970年代後半に自宅で録音したデモテープを基に、AI技術を活用して完成された楽曲である。当時の技術では、ピアノとボーカルの分離が困難であったが、最新のAIを用いることで、レノンの声をクリアに抽出することが可能となった。これにより、ポール・マッカートニーとリンゴ・スターが新たな演奏を加え、ビートルズの最後の楽曲として2023年にリリースされた。

参考: ビートルズ最後の新曲｢Now and Then｣はどうやって作られたのか

その他の事例

• 参考: 12 songs created by AI

参考: AIと音楽制作：現段階の状況

AI技術が音楽制作に与える影響を分析している。AIはステムの分離やボーカルのディープフェイクなど、従来の制作ツールに新たな可能性をもたらしている。しかし、音楽制作におけるAIの活用は、創造性や所有権、信頼性に関する議論を引き起こしている。記事は、AIが人間の創造性を脅かすのか、それとも増大させるのかを探求し、音楽制作の未来を見据えている。

音楽生成ツールとしての生成AI

Google + Deep Mind – NSynth Super (2017)

NSynth Superは、GoogleのMagentaプロジェクトとDeepMindが共同開発したシンセサイザーである。このシンセサイザーは、機械学習アルゴリズム「NSynth」を活用し、既存の楽器音を組み合わせて新たな音色を生成することが可能である。NSynthは、WaveNetスタイルのオートエンコーダーを使用し、約30万の楽器音データセットから学習を行う。NSynth Superは、タッチスクリーンを備えたハードウェアインターフェースを持ち、ユーザーは4つの異なる音源を選択し、それらを組み合わせて新しい音色を直感的に作成できる。このプロジェクトは、オープンソースとしてGitHub上で公開されており、誰でも自作可能である。NSynth Superの登場により、AIを活用した音楽制作の新たな可能性が広がり、アーティストやクリエイターに革新的なツールを提供している。

Neutone (Qosmo, 徳井直生) – Neutone Morpho (2024)

Neutone Morphoは、株式会社Neutoneが開発した機械学習ベースのオーディオプラグインである。このプラグインは、入力された音を別の音に瞬時に変換する新しいタイプのエフェクターであり、例えば、声をバイオリンやジャンベの音にリアルタイムで変換することが可能である。Neutone Morphoは、AI技術を活用して音楽制作に革新をもたらし、アーティストやクリエイターの創造性を拡張することを目指している。このプラグインの開発は、AIと音楽の融合を推進する株式会社Qosmoの代表であり、Neutoneの設立者でもある徳井直生氏が主導している。Neutone Morphoのリリースにより、音楽制作の現場でAIを活用した新たな表現手法が広がり、音楽業界におけるAIの可能性を示す重要なステップとなっている。

Jacob Collier + Google, MusicFX DJ | Google Lab Sessions (2024)

2024年、グラミー賞受賞アーティストのジェイコブ・コリアーは、Google DeepMindおよびGoogle Labsと協力し、AI音楽生成ツール「MusicFX DJ」の開発に携わった。このツールは、ユーザーが楽器、ジャンル、感情などのプロンプトを組み合わせることで、リアルタイムに音楽を生成し、AIを活用した即興演奏を可能にする。コリアーは、直感的な操作性と創造性を重視し、初心者からプロまで幅広いユーザーが利用できるよう設計に貢献した。また、生成された音楽は他者と共有・リミックス可能で、共同制作の新たな形を提案している。

音楽生成AIを使ってみる!

Google MusicFX DJ

• https://aitestkitchen.withgoogle.com/tools/music-fx-dj

Googleの「MusicFX DJ」は、AIを活用した音楽生成ツールである。ユーザーはテキストでジャンルや楽器、雰囲気などを指定することで、リアルタイムに音楽を生成・操作できる。直感的なインターフェースにより、音楽制作の専門知識がなくても、誰でも簡単にオリジナルの楽曲を作成可能である。また、生成した音楽はダウンロードや共有が可能であり、創造的なコラボレーションを促進する。

Suno AI

• https://suno.com/

Suno AIは、テキスト入力に基づき音楽を自動生成するAIツールである。ユーザーが入力した歌詞や曲のイメージに応じて、ボーカルや楽器、バックトラックを含む楽曲を作成することが可能である。日本語にも対応しており、日本語の歌詞を用いた楽曲制作も容易である。無料プランでは1日最大10曲の生成が可能で、商用利用を希望する場合は有料プランへの加入が必要である。2024年5月のアップデートにより、最大4分の楽曲生成が可能となり、機能が大幅に向上した。ただし、著作権に関する問題も指摘されており、商用利用時には注意が必要である。

Suno AIを活用して音楽を生成する際の主な方法

• テキストプロンプトの入力：楽曲のテーマや雰囲気をテキストで指定し、AIに楽曲を生成させる。
• 歌詞の入力：ユーザーが作成した歌詞を入力し、それに基づいてメロディや伴奏を生成する。
• ジャンルの選択：ポップ、ジャズ、クラシックなど、希望する音楽ジャンルを選択して、特定のスタイルの楽曲を生成する。
• カスタムモードの活用：テンポ、楽器構成、ボーカルスタイル、楽曲の長さなど、詳細な設定を行い、より個別化された楽曲を作成する。
• インストゥルメンタルの生成：ボーカルなしの楽曲を生成するために、インストゥルメンタルオプションを選択する。
• 楽曲の延長：生成された楽曲をさらに延長し、より長い楽曲を作成する。

参考: Neutone Morpho

• https://neutone.ai/morpho

Neutone Morphoは、最先端の機械学習技術を活用したリアルタイムのトーンモーフィングプラグインである。入力された音声を異なる音色やスタイルに変換し、新たなサウンドを創出することが可能である。例えば、ユーザーの声をバイオリンの音色に変換したり、日常の物音をドラムセットの音に変換することができる。このプラグインは、事前にトレーニングされたAIモデルを使用し、入力されたオーディオをリアルタイムで変換する。無料版では4種類のモデルが利用可能であり、有料版では追加のモデルやカスタムモデルの作成も可能である。 Neutone Morphoは、Mac（Apple Siliconネイティブサポート）およびWindowsで動作し、AU/VST3形式に対応している。ユーザーは、DAW上でリアルタイムに音声を変換し、創造的な音楽制作を行うことができる。

Neutone Morphoの主な機能

• リアルタイムのトーンモーフィング：入力された音声をリアルタイムで異なる音色やスタイルに変換する。
• 多様なAIモデルの利用：事前にトレーニングされたモデルを使用し、ドラム、声、コーラス、バイオリン、エフェクトなど多彩なサウンドに変換可能。
• カスタムモデルの作成：独自の音声データを用いて、ユーザー専用のAIモデルをトレーニングし、オリジナルのサウンドを生成できる。
• マクロおよびマイクロビューの操作：マクロビューでは4つのノブでモデルの一般的な動作を調整し、マイクロビューでは詳細なパラメータを微調整可能。
• プリ／ポストプロセッシング機能：ピッチシフト、フィードバックディレイ、コンプレッサー、ノイズゲート、リミッターなどのDSP機能を搭載し、最適な音質を実現。

実習: 生成AI映像に音楽をつける

• 前回作成した生成動画「幻覚 – バッド・トリップ」の映像に音楽をつけてみる
• まずは映像にあわせた音楽の生成に挑戦
  • Suno AIでプロンプトから音楽生成
  • Google MusicFXを使用して音楽生成
  • Neutone Morphを使用して音楽制作
• もし可能な人は、映像編集アプリで映像に音を入れてみる
  • Davinch Resolve
  • Adobe Premir
  • Apple Final Cut Pro
    … など

アンケート

本日の講義に参加した方は以下のアンケートに回答してください。

https://x.gd/Ta35P