前橋工科大学 - 工学デザイン実習 IIIc 2024

第2課題制作のヒント2 – 生成AIを活用した文献調査

June 23, 2024

スライド資料

今日の内容

前回の復習「世界構築 (World building)」
第二課題スケジュールと発表方法の詳細説明
参考映像紹介 – 「Her」2013, スパイク・ジョーンズ監督・脚本
より説得力のあるスペキュラティブデザインの提案に向けて
- 生成AIを用いた文献調査
- 調査した内容をまとめる
おまけ: Figmaを使用したスライド作成のヒント
実習

前回の復習「世界構築 (World building)」

前回のサイトを参照しながら復習
第2課題制作のヒント「世界構築 (World Building)」ワークショップ

第二課題スケジュールと発表方法の詳細説明

スケジュール

6月24日: エスキース 2 – 生成AIを活用した文献調査
7月01日: エスキース 3 – 様々なアウトプットの手法を解説
7月08日: (休講)
7月15日: エスキース 4 – 実習、進捗確認
7月22日: 展示準備
7月29日: 全課題展示、講評
8月7日・8日: オープンキャンパスでの展示

第二課題発表方法詳細

以下の必須の制作物とオプションの制作物を用意してください

必須の制作物 (必ず提出/発表)
- スペキュラティブデザインの提案 – プレゼンボード (1920 x 1080) 1枚
- プレゼンテーション (3分程度、スライドを用いて)
オプションの制作物 (もし可能であれば)
- 生成AIを用いて制作した作品
- 画像 (例: 複数の画像をレイアウトしてポスターに)
- 動画 (Luma Dream Machineなどを活用)
- 音楽 (SUNOによる生成音楽など)
- 小説、シナリオ、詩などの文章 (ChatGPTなどを活用)

参考映像紹介 – 「Her」2013, スパイク・ジョーンズ監督・脚本

「Her」視聴 (ダイジェストで)

「Her」ので描かれた世界は夢物語か?
ChatGPTのモバイルアプリは、ほぼ「Her」の世界を実現している!
ChatGPT can now see, hear, and speak

参考記事: 映画『her／世界でひとつの彼女』はいまやファンタジーだ──ただしAI以外の部分で (WIRED.jp)

※ OpenAIの「サマンサ風」の声に対して、映画でサマンサの声を演じたスカーレット・ヨハンソンが抗議の声明を出した

OpenAIの「そっくり」な合成音声に抗議したスカーレット・ヨハンソン、法廷で争う可能性と見えてきた論点 (WIRED.jp)

参考事例 2: 長谷川愛「私はイルカを産みたい…」

「イルカを産みたい」というアイデアを裏付けるための詳細な科学的調査
世界の設定に加えて科学的な調査によって作品に説得力を持たせている
https://aihasegawa.info/i-wanna-deliver-a-dolphin

より説得力のある「望ましい未来 (Preferred futures)」の提案に向けて

前回の復習「世界構築 (World building)」で作成した世界
- まだ空想から派生したアイデアレベルのものが多い
より説得力のある「望ましい未来 (Preferred futures)」の提案に向けて
- 生成AIを用いた文献調査
- 調査した内容をまとめる

これまでの伝統的な文献調査の方法

図書館での文献検索、調査
- OPAC (Online Public Access Catalog)
- 前橋工科大学図書館蔵書検索 (OPAC)
Google検索
- 通常の検索
- Google Scholar

生成AIを用いると強力な文献調査が可能!!

(通常の)ChatGPT

論文検索専用のChatGPTのGPTsを活用

参考: 論文検索GPTs6選+純正ブラウジング（Bing）の比較

実習: 次回 (7/1) までの課題

ScholarAIを使って文献調査をしてみよう
調査した内容をまとめてみよう
- 著者、タイトル、要約、引用、リンク
- 調査した文献を正規の形式で参考文献リストに
- 今回はChicago Styleを使用
  l- 調査した文献から、自分のスペキュラティブデザインの提案に活かせる情報を抽出、提案の実現性について科学的に考察
文献は最低3つ以上調査すること

調査した結果を以下のFORMから提出してください。次回、調査結果を簡単に発表してもらいます。

提出フォーム

調査例: 前回世界構築した「Imagine to Music Insturument (I2M)」に関する文献調査

https://chatgpt.com/share/06d2c833-05d2-4f73-9f29-b3e7d6207296

以下は、脳波や思考によって作曲する技術に関する論文です：

“Exploring Brain Dynamics via EEG and Steady-State Activation Map Networks in Music Composition” – この研究では、EEG信号を用いて個別の感情状態を抽出し、独自の音楽作曲を行う手法を紹介しています。特に注意機構と安定状態の活性化マッピングを組み合わせたニューラルネットワークモデルが提案されています (MDPI)。
“The Hybrid Brain-Computer Music Interface” – この論文は、脳波データを用いた音楽心理学と音楽情報検索の分野に焦点を当て、脳波を使った音楽生成の方法について詳しく述べています (MDPI)。
“Brain-Computer Interface (BCI) Based Musical Composition” – BCI技術を使って、バーチャルシンセサイザーの博物館やショップを探索しながら音楽を作曲する方法について述べた研究です (MDPI)。

[1] Gu, Xiaohu, Leqi Jiang, Hao Chen, Ming Li, and Chang Liu. “Exploring Brain Dynamics via EEG and Steady-State Activation Map Networks in Music Composition.” Brain Sciences 14, no. 3 (2024): 216. https://doi.org/10.3390/brainsci14030216.
[2] Miranda, Eduardo, and Joel Eaton. “The Hybrid Brain-Computer Music Interface.” Frontiers in Neuroscience 6 (2012): 70. https://doi.org/10.3389/fnins.2012.00070.
[3] Deuel, Thomas, Kai E. Miller, and Alexander R. Demos. “Brain-Computer Interface (BCI) Based Musical Composition.” Brain-Computer Interfaces 7, no. 1 (2020): 3-15. https://doi.org/10.1080/2326263X.2020.1716674.

※ この調査の後、感情による音楽リコメンドシステムの研究が参考になるのではないと考え追加で調査してみた

https://chatgpt.com/share/fda9da99-5721-4c8c-b42d-1d23ac327205

以下は、感情をベースにした音楽リコメンドシステムに関するいくつかの研究論文です：

Emotion Based Music Recommendation System for Specially-Abled
本研究は、ユーザーの現在の気分に基づいて音楽を推薦するエンジンを強化するために、生理学的センサー信号と顔表情データを使用するフレームワークを提案しています。(Shreya et al., 2021)
Emotion Profile-Based Music Recommendation
本論文では、サポートベクターマシン（SVM）の決定値に基づいて構築された感情プロファイルを使用して音楽を推薦するアルゴリズムを提案しています。(Chin et al., 2014)
Emotion-based music recommendation using audio features and user playlist
この論文は、次元的な感情表現とユーザープレイリストを使用して、ユーザーの感情状態に合った音楽を効果的に追跡し、推薦するシステムを提案しています。(Deng & Leung, 2012)
Recommendation of Music Based on Facial Emotion using Machine Learning Technique
顔表情認識に基づいて感情を改善または変更するための音楽を推薦するモデルを提案しており、YoloV5アルゴリズムを使用して顔表情を認識します。(S. G et al., 2023)
Emotion Based Music Recommendation System
本研究は、リスナーの感情、感覚、活動コンテキストに基づいて音楽を推薦するパーソナライズド音楽推薦システムの設計について論じています。(Rumiantcev & Khriyenko, 2020)
Music Recommendation System Based on Emotion
ランダムフォレスト分類器とXGBoostアルゴリズムを使用して、楽器性、エネルギー、アコースティック、ライブネス、TF-IDFを用いた歌詞の類似性などの特徴に基づいて感情を識別し、音楽を推薦するシステムを提案しています。(Ulleri et al., 2021)
Music recommendation system using emotion triggering low-level features
実験結果によると、低レベルの音楽特徴が感情ベースの音楽推薦システムにおいて信頼性が高いことが確認されました。(Yoon et al., 2012)
An Emotion-Aware Personalized Music Recommendation System Using a Convolutional Neural Networks Approach
深層畳み込みニューラルネットワーク（DCNN）と重み付き特徴抽出（WFE）アプローチを組み合わせ、ユーザーデータと音楽との相関関係を抽出することで、従来のシステムと比較して音楽推薦を改善したシステムを提案しています。(Abdul et al., 2018)
Emotion-based music recommendation by association discovery from film music
映画音楽からのアソシエーションディスカバリーを利用して感情に基づいた音楽推薦モデルを提案し、平均精度85％を達成しています。(Kuo et al., 2005)
Emotional music recommendation method based on brain-computer interaction
脳波信号を分析して感情を認識し、対応する音楽とマッチさせることで、音楽を自動的に検索・推薦する方法を提案しています。(王 et al., 2013)

これらの論文は、感情認識技術と機械学習を活用した音楽推薦システムの設計と実装に関するさまざまなアプローチを提供しています。

[1] Abdul, Ashu, Jenhui Chen, Hua-Yuan Liao, and Shun-Hao Chang. “An Emotion-Aware Personalized Music Recommendation System Using a Convolutional Neural Networks Approach.” Applied Sciences 8, no. 7 (2018): 1103. https://dx.doi.org/10.3390/APP8071103.
[2] Chin, Yu-Hao, Szu-Hsien Lin, Chang-Hong Lin, E. Siahaan, A. Frisky, and Jia Ching Wang. “Emotion Profile-Based Music Recommendation.” In 2014 IEEE 7th International Conference on Ubi-Media Computing and Workshops, 32-37. IEEE, 2014. https://dx.doi.org/10.1109/U-MEDIA.2014.32.
[3] Deng, J., and C. Leung. “Emotion-based music recommendation using audio features and user playlist.” Proceedings of the 20th ACM International Conference on Multimedia, 2012.
[4] G, S., Evangelin Blessy A, Jeya Aravinth S, Vignesh Prabhu M, and VijayaSarathy R. “Recommendation of Music Based on Facial Emotion using Machine Learning Technique.” In Proceedings of the 2023 International Conference on Advanced Computing, Intelligent and Secure Systems (ACIMS), 16. IEEE, 2023. https://dx.doi.org/10.53759/acims/978-9914-9946-9-8_16.
[5] Kuo, Fang-Fei, Meng-Fen Chiang, M. Shan, and Suh-Yin Lee. “Emotion-based music recommendation by association discovery from film music.” In Proceedings of the 13th ACM International Conference on Multimedia, 507-510. ACM, 2005. https://dx.doi.org/10.1145/1101149.1101263.
[6] Rozhevskii, Danila, Jie Zhu, and Boyuan Zhao. “Psychologically-Inspired Music Recommendation System.” arXiv preprint arXiv:2205.03459 (2022). http://arxiv.org/pdf/2205.03459.
[7] Rumiantcev, M., and Oleksiy Khriyenko. “Emotion Based Music Recommendation System.” Zenodo (2020). https://dx.doi.org/10.5281/ZENODO.4007450.
[8] Shreya, L., and N. Nagarathna. “Emotion Based Music Recommendation System for Specially-Abled.” In 2021 6th International Conference on Recent Trends in Electronics, Information & Communication Technology (RTEICT), 321-325. IEEE, 2021. https://dx.doi.org/10.1109/RTEICT52294.2021.9574033.
[9] Ulleri, Pranesh, Shilpa Hari Prakash, Kiran B Zenith, Gouri S Nair, and Jinesh M. Kannimoola. “Music Recommendation System Based on Emotion.” In 2021 International Conference on Computing, Communication and Networking Technologies (ICCCNT), 1-5. IEEE, 2021. https://dx.doi.org/10.1109/ICCCNT51525.2021.9579689.
[10] Yoon, Kyoungro, Jonghyung Lee, and Min-Uk Kim. “Music recommendation system using emotion triggering low-level features.” IEEE Transactions on Consumer Electronics 58, no. 2 (2012): 612-618. https://dx.doi.org/10.1109/TCE.2012.6227467.