Čak i to! Vještačka inteligencija može proizvesti pjesmu koja odgovara vašem raspoloženju

06.08.2023. | 14:26

Ispitujući moždanu aktivnost osobe, vještačka inteligencija može proizvesti pjesmu koja odgovara žanru, ritmu, raspoloženju i instrumentali muzike koju je osoba nedavno čula.

Naučnici su prethodno “rekonstruisali” druge zvukove iz aktivnosti mozga, poput ljudskog govora, ptičjeg cvrkuta, međutim nije poznato da je iko uspio stvoriti muziku iz moždanih signala.

No, to je sad uspjelo istraživačima Univerziteta u Osaki i stručnjacima Gugla zahvaljujući umjetnoj inteligenciji zvanoj Brain2Music. Ona koristi podatke o slikanju mozga za generisanje muzike nalik kratkim isječcima pjesama koje je osoba slušala dok joj je “skeniran” mozak.

“Skeniranje” mozga

Snimke mozga prikupljene su funkcionalnom magnetskom rezonancom (fMRI) koja prati protok krvi bogate kiseonikom u mozak i otkriva najaktivnija područja. Skenirane snimke prikupljene su od učesnika koji su slušali 15 sekundi duge muzičke isječke različitih žanrova.

Istraživači su prvo uvježbali UI program da pronađe veze između muzike, uključujući instrumente koji se koriste, žanr, ritam i raspoloženje te moždanih signala slušaoca.

Muzičko raspoloženje definisali su istraživači koristeći oznake kao što su sretno, tužno, nježno, uzbudljivo, ljutito ili zastrašujuće. UI je bio prilagođen svakoj osobi, povezujući njihove jedinstvene obrasce aktivnosti mozga i raznih muzičkih elemenata.

Gugl MusicLM

Obučen UI mogao je pretvoriti prethodno neviđene podatke iz slika mozga u oblik koji predstavlja muzičke elemente originalnih isječaka pjesama. Istraživači su zatim te informacije unijeli u model umjetne inteligencije MusicLM koji je Gugl izvorno razvio za generisanje muzike iz tekstualnih opisa.

Slaganje, u smislu ugođaja rekonstruisane muzike i originalne muzike, bilo je oko 60%, istaknuli su istraživači još nepregledanog rada, postavljenog u bazu podataka arXiv. Žanr i instrumentala u rekonstruisanoj i izvornoj muzici podudarali su se znatno češće nego što bi se to slučajno moglo očekivati. Od svih žanrova, UI je najpreciznije razlikovao klasičnu muziku.

Kako mozak obrađuje muziku

Istraživači su otkrili da slušanje muzike aktivira regije mozga u primarnom auditivnom korteksu, gdje se signali iz ušiju tumače kao zvukovi. Čini se da je za obradu značenja pjesama važna druga regija mozga, lateralni prefrontalni korteks, no to će tek trebati potvrditi daljim istraživanjem. Isto područje mozga uključeno je i u planiranje i rješavanje problema.

Zanimljivo je da su prošla istraživanja, objavljena 2012. u časopisu Scientific Report, otkrila da se aktivnost različitih dijelova prefrontalnog korteksa dramatično mijenja kada reperi slobodno improvizuju svoje stihove.

Buduće studije mogle bi istražiti kako mozak obrađuje muziku različitih žanrova ili raspoloženja, kažu istraživači koji bi htjeli istražiti može li umjetna inteligencija rekonstruisati muziku koju ljudi samo zamišljaju u svojim glavama, umjesto da je stvarno slušaju, prenosi Bug.