芸大 – 人工知能と創作 2025
最終課題制作のヒント1 – 画像生成: 生成コレクション / 合成的分類学 / ポスト・フォトグラフィー
本日の内容
今回からこの講義の最終課題のヒントになるような内容を紹介していきます。初回の本日は、画像生成AIを使用した作品について紹介していきます。初期のGANによる画像生成を活用した「生成コレクション」的な作品から、最近の拡散モデルを活用した「合成的分類学」「ポスト・フォトグラフィー」といったテーマで考察していきます。
生成コレクション
「生成コレクション」概要
画像生成AIの魅力のひとつは、単一のプロンプト (画像の生成を指示する文章) から大量のバリエーションの画像を生成できる点です。この性質を利用して、パッケージデザインやカーデザイン、建築のイメージスケッチなど様々な分野で活用が始まっています。今回の課題は、この画像生成AIの大量に類似画像を生成できるという点に着目して、何かのテーマによって収集された架空のコレクションを作成して作品として展示を行います。
- 画像生成AIを用いて「架空のコレクション」を作成する
- 題材は自由だが、テーマの「架空のコレクション」を想起させるものとする
- 展示を前提に、グリッド状に生成された「標本」画像を陳列して展示する (フォーマットは別途提供)
- 全てのコレクションを収集し編集した映像も作成する予定 (オープンキャンパスでの展示に活用)
- 使用する画像生成AIは好みのサービスを各自選択する
参考作品
Gene Kogan, A Book from the Sky 天书 (2015)
https://genekogan.com/works/a-book-from-the-sky
これらの画像は、手書きの中国語文字のデータベースでトレーニングされた深層畳み込み生成敵対的ネットワーク(DCGAN) によって作成されました。このネットワークは、2015 年 11 月にRadford、Luke Metz、Soumith Chintalaが発表した論文に基づいてAlec Radfordがコードを作成して作成しました。
タイトルは、宋代と明代の伝統的な北京語版画のスタイルで何千もの架空の象形文字を作成した 徐兵が1988 年に出版した本に由来しています。
DCGANは、画像コレクションの抽象表現を学習できる畳み込みニューラル ネットワーク の一種です。これは、偽の画像を作成する「ジェネレータ」と、ジェネレータの画像が本物かどうかを判別しようとする「ディスクリミネータ」との競争によって実現されます (詳細)。トレーニング後、ジェネレータを使用して、オリジナルを彷彿とさせるサンプルを説得力を持って生成できます。
Sarah Meyohas, Infinite Petals (2017)
https://sarahmeyohas.com/infinite-petals
Infinite Petalsでは、サラ・メヨハスが 10 万枚のバラの花びらのデータセットを使って GAN をトレーニングし、無限に新しくユニークな花びらを生成しました。データセットは、アーティストの前プロジェクトCloud of Petalsでまとめられたもので、当時 16 人の男性労働者がニュージャージー州の旧ベル研究所の敷地に集まり、花びらを 1 枚 1 枚撮影しました。ベル研究所は、トランジスタ、シリコン太陽電池、数多くのプログラミング言語などの革新が重要な開発を遂げた場所です。メヨハスは、人間の手で花を 1 枚 1 枚開いて花びらを摘み、レンズの下に置き、シャッターを押して、画像をサーバーにアップロードするという現実的なアルゴリズムを考案しました。これらの画像は、GAN (Generative Adversarial Network) のトレーニングに使用されました。GAN は 2017 年当時はまだ初期段階で、現代の人工知能ブームよりかなり前の技術でした。作業員たちはまた、最も美しいと思ったバラ1本につき花びらを1枚取ってプレス機にかけ、3,291枚の花びらを物理的な工芸品として保存した。
Anna Ridler, The Shell Record (2021)
https://annaridler.com/the-shell-record-2021
“The Shell Record” は、2021年初頭にこのアーティストがテムズ川の岸辺で収集した貝殻のデータセットと、この画像でトレーニングされたGANを使用して生成された動画作品の両方です。収集、価値、取引に関するアイデアを探求し、最も古い通貨の1つとして価値の保存手段として使用されてきた貝殻の歴史にリンクしています。
これはまた、この瞬間にブロックチェーンに永遠に書き込まれた、テムズ川の貝殻の記録でもある。最近の科学論文によると、最後の氷河期の終わりから川に存在していた貝殻は今では希少になっており、他の外来種に取って代わられており、地層の中で化石となることで、最終的には人新世のタイムマーカーとなるだろう。
https://dam.org/museum/artists_ui/artists/ridler-anna/the-shell-record
参考: GAN (Generative Adversarial Network) について
GAN（Generative Adversarial Network、敵対的生成ネットワーク）は、2014年にイアン・グッドフェローらによって提案された生成モデルの一種で、主に画像生成などに利用されています。GANは、生成器（Generator）と識別器（Discriminator）の2つのニューラルネットワークから構成されます。
生成器（Generator）: ランダムなノイズベクトルを入力として受け取り、本物のデータに似たデータを生成します。例えば、ランダムな数値からリアルな画像を作り出すことが可能です。
識別器（Discriminator）: 入力されたデータが本物か偽物かを判別します。本物のデータは実際のデータセットから取得され、偽物のデータは生成器が生成したものです。識別器はこれらのデータを区別するように訓練されます。
これら2つのネットワークは互いに競い合いながら学習を進めます。生成器は識別器を欺くようなデータを生成しようとし、識別器はそれを見破ろうとします。この競争的なプロセスを通じて、生成器はよりリアルなデータを生成する能力を獲得し、識別器もまた精度を高めていきます。
DCGAN（Deep Convolutional GAN）: DCGANは、GANに畳み込みニューラルネットワーク（CNN）を組み合わせたモデルで、より高精度な画像生成を可能にします。生成器と識別器の両方にCNNを適用することで、画像の特徴を効果的に捉え、高品質な画像を生成することができます。
現在画像生成にGANを用いる必要があるのか?
現在では画像の生成にGANやDC GANを用いなくても生成する手段が存在します。過去の画像生成AI導入 の回で解説したDALL-EやStable Diffusionのような拡散モデルやTransformerの技術によってテキストのプロンプトやソースとなる画像からより高品質の画像が生成できるようになりました。
現在の画像生成において、GANやDCGANではなく、DALL-EやStable Diffusionといった技術を用いるべき理由は、生成品質と応用範囲の大幅な向上にあります。GANはリアルな画像生成が可能ですが、学習の不安定さや多様性の不足が課題です。一方、DALL-EやStable Diffusionは、拡散モデルやトランスフォーマーの技術を活用し、テキスト指示に基づく柔軟な画像生成を実現しています。これにより、単にリアルな画像を生成するだけでなく、複雑な条件に応じた生成が可能となり、デザインや広告、教育といった多様な分野で活用されています。また、拡散モデルは学習が安定しており、生成された画像の多様性も高いです。さらに、Stable Diffusionのように計算効率を改善した技術は、より広範な応用を可能にしています。
参考: 生成モデルまとめ (Qiita)
拡散モデルの時代：世界構築と合成的分類学
- 「潜在空間のサーフィン」から「世界構築（World-building）」へ
- 単一の画像を生成するのではなく、首尾一貫した生物学的分類体系や、存在しない歴史のアーカイブを作成
4.1 計算生物学と生成される「自然」
現代のアーティストたちは、AIを駆使して「デジタル博物学者」となり、モデルの潜在空間にしか生息しない新種を発見・分類している。
Sofia Crespo / Entangled Others
- アプローチ:
- 18-19世紀の博物画の美学とAIの融合。
- 合成的分類学: 生物学的に不可能な「キメラ」や「新種」の生成。
- 技術的進化:
- GANから拡散モデルへの移行により、解剖学的な複雑さとテクスチャのリアリズムが飛躍的に向上。
- 海洋データを用いた3Dシミュレーションなど、2Dを超えた生態系構築へ。
Entangled Others Studio (Sofia Crespo & Feileacan McCormick)
- コンセプト: 「エンタングルメント（絡まり合い）」——人間、非人間、そして機械の不可分な結びつき。
- Beneath the Neural Wavesでは、サンゴ礁のデータセットを用いて3Dモデルを生成し、デジタルの生態系を構築
- Liquid Strata (2024) は、深海における「マリンスノー（海中を沈降する有機物）」の現象を可視化している。
- Self-Containedでは、画像のエンコーディングプロセスをDNAの突然変異になぞらえ、画像の「交配」や「接ぎ木」を行うことで、デジタル空間における視覚情報の進化的変遷を探求
Refik Anadol: Large Nature Model (2024)
- コンセプト: 「自然専用のオープンソース生成AIモデル」であるLarge Nature Model (LNM)』を開発
- 規模とインフラ: National Geographicやスミソニアン博物館から提供された、1億枚以上の「倫理的に調達された」自然画像（サンゴ礁、熱帯雨林、氷河など）でトレーニング
- 気候変動によってこれらの生態系が失われつつある中、AnadolはこのAIモデルを「生きたアーカイブ（Living Archive）」として提示
合成された歴史とポスト・フォトグラフィー
Egor Kraft: Content Aware Studies (2017 -)
- 大理石・ポリアミド・機械学習アルゴリズム・独自ソフトウェア・オリジナルデータセットを用いたマルチチャンネル映像インスタレーション
- 失われた歴史的断片を機械学習と生成AIによって再構築する「準考古学的探査」としての実践。
- 古代ギリシャ・ローマの彫像やフリーズの3Dスキャン数千点をデータセット化し、GANなどのAIモデルにより欠損部を生成・再構築。結果を3Dプリントや機械彫刻で実体化
Gregory Chatonsky: The Dream of Stones (2024)
- サウジアラビアのアル・ウラー（AlUla）砂漠で自身が撮影した写真を用いてAIモデルをファインチューニング
- 岩がテクノロジー機器のように侵食されていたり、植物が石化していたりする、鉱物・植物・技術が融合した風景
Roope Rainisto: Life in West America (2023)
- アメリカの土地・理想・人々の物語を探るポストフォトグラフィー作品集
- 自身の写真やヴィンテージなストリートフォトの美学を学習させたカスタムモデルを用いて生成。
- 画像は1960年代のコダクローム・スライドのように見え、被写体の顔はわずかに歪み、看板の文字は判読不能だが、その場の「雰囲気（Vibe）」は完璧に再現されている
- 我々の集合的無意識にある「アメリカ西部」の視覚的ステレオタイプ
- 現実の記録ではなく、文化的記憶の統計的平均値の出力
Niceaunties: The Auntieverse (2023–2024)
- アジア社会に根付く「おばさん（auntie）」という文化的アーキタイプを再構築
- 個人的かつ地域的な文化的記憶（エイジング、美、抑圧と解放）を、普遍的かつ幻想的なビジュアル言語へと翻訳
- 現代のauntie像は伝統と近代の狭間で生きた世代の産物であり、今後50〜100年で姿を変える可能性が高い。プロジェクトはその独自の行動や感情表現を記録・再解釈する「生きたアーカイブ」として機能
- 「女性の社会的規範への抵抗」「加齢や美の再定義」「自己表現の自由」をテーマとするアートとして高く評価されている
実習: Figmaを使用して「生成コレクション」を作成
Figma
- ブラウザベースのコラボレーション・ツール
- デスクトップ版やモバイル版もあり
- もともとはインターフェイス (UI) のデザインに特化していたが、グラフィクスデザインツールとしても使用可能
- コラボレーション機能
- 学生であれば無料で使用可能! (ただし資格認定を受ける必要あり)
「生成コレクション」制作用テンプレート
- 制作用のFigmaテンプレートを用意しました!
- 制作用テンプレート(4Kサイズ)
こんな感じで作成可能です!
アンケート
本日の講義に参加した方は以下のアンケートに回答してください。
