yoppa.org

前橋工科大学 - 工学デザイン実習 IIIc 2024

第2課題制作のヒント3 – マルチモーダルな生成AIまとめ

スライド資料

本日の予定

  • 前回の課題の発表
  • 第二課題の制作物とスケジュール
  • 第二課題の制作物についての検討
  • 様々なマルチモーダルな生成AIの紹介
  • コード生成AI: Github Copilotに登録して利用してみる

前回の課題の発表

  • 前回の課題: 生成AIを活用した文献調査
  • 調査してきた結果を発表してください

第二課題の制作物とスケジュール

第二課題発表方法詳細

以下の必須の制作物とオプションの制作物を用意してください

  • 必須の制作物 (必ず提出/発表)
    • スペキュラティブデザインの提案 – プレゼンボード (1920 x 1080) 1枚
    • プレゼンテーション (3分程度、スライドを用いて)
  • オプションの制作物 (もし可能であれば)
    • 生成AIを用いて制作した作品
    • 画像 (例: 複数の画像をレイアウトしてポスターに)
    • 動画 (Luma Dream Machineなどを活用)
    • 音楽 (SUNOによる生成音楽など)
    • 小説、シナリオ、詩などの文章 (ChatGPTなどを活用)

スケジュール

  • 7月01日: エスキース 3 – 様々なアウトプットの手法を解説
  • 7月08日: (休講)
  • 7月15日: エスキース 4 – 実習、進捗確認
  • 7月22日: 展示準備
  • 7月29日: 全課題展示、講評
  • 8月7日・8日: オープンキャンパスでの展示

第二課題の制作物についての検討

  • ここまで実践してきた生成AIとスペキュラティブデザインの知識を総動員
  • 斬新なアイデアを提案し、作品を制作してください
  • 画像、映像、音楽、小説、詩、シナリオなど、様々な形式で
  • もちろんそれ以外の斬新な出力形式も歓迎します
  • 完成度よりもチャレンジする姿勢を重視します
  • 今後の卒業研究や制作につながっていくとなお良し

斬新なアイデアの提案と作品を期待しています!!

様々なマルチモーダルな生成AI

生成AIにおける「マルチモーダル」とは、複数の異なるデータ形式（モダリティ）を統合し、相互に関連付けて処理・生成する能力を指す。これは、テキスト、画像、音声、動画など、異なる種類のデータを同時に扱うことができるAIシステムを指す。

具体例:

  1. テキストと画像の統合:
    • Image2Text: 画像の説明文を自動生成する（例：画像キャプショニング）
    • Text2Image: テキストの説明に基づいて画像を生成する（例：DALL-Eのようなシステム）。
  2. 音声とテキストの統合:
    • Speech2Text: 音声認識システム（音声をテキストに変換）
    • Text2Speech: テキスト読み上げシステム（テキストを音声に変換）
  3. 動画とテキストの統合:
    • Video2Text: 動画内容の自動要約や説明文の生成。
    • Text2Video: テキストの指示に基づいて動画を生成する。
  4. 画像と音声の統合:
    • Image2Speech: 画像の内容を音声で説明するシステム（視覚障害者向けの支援技術）。
    • Speech2Image: 音声に基づいて画像やアニメーションを生成する

参考資料

  1. マルチモーダルAIとは？事例から見る活用方法や今後の展望を解説
  2. What is Multimodal AI?

ここまでの演習で紹介してきたマルチモーダルな生成AI

改めて使用してみる!

コード生成AI: Github Copilotに登録して利用してみる

こちらのページを参照して、Github Copilotを登録してみましょう。

登録に必要な情報

学校情報

  • 登録するメールアドレス: ××××××@maebashi-it.ac.jp (大学のアドレス)
  • What is the name of your school? (大学名)
    • Maebashi Institute of Technology
  • How do you plan to use GitHub? (GitHubの利用目的)
    • “I use Github for my university programming course.” など

学生証の写真をアップロードする際の補足情報

  • Name: 氏名、フルネームをローマ字表記で
  • Student ID: 学生証の裏面に記載されている学籍番号
  • School Name: Maebashi Institute of Technology

次回までの課題

来週(7/8)は休講なので、第二課題についてじっくりと取り組みましょう。

  1. 必須の制作物 (必ず提出/発表)
    • スペキュラティブデザインの提案 – プレゼンボード (1920 x 1080) 1枚
    • プレゼンテーション (3分程度、スライドを用いて)
    • → できれば完成させてしまう勢いで!
  2. オプションの制作物 (もし可能であれば)
    • 生成AIを用いて制作した作品
    • 画像、動画、音楽、小説、シナリオ、詩など
    • → ざっくりとした作品のプロトタイプがあるとベスト

アンケート

本日の演習に参加した方は以下のアンケートに回答してください。