• Een getalenteerde groep studenten aan USC Berkley heeft de eerste prijs in de wacht gesleept bij Cal Hacks 2024 voor hun innovatieve BCI-muziekproject "Duet".

• Duet maakt gebruik van AI om muziek te componeren op basis van realtime emotionele toestanden, verzameld en vertaald door een Emotiv EPOC X-headset en EmotivPRO-software met de Cortex API.

• De studenten hopen dat Duet effectieve muziektherapie zal bieden voor kinderen en individuen met een beperking door middel van gepersonaliseerde muzikale ervaringen.

Emotiv feliciteert USC Berkley-studenten Jiahui Jin, Sophia Zhang, Daniel Wang en Justin Wu van harte met het winnen van de eerste prijs op Cal Hacks 2024, 's werelds grootste hackathon voor studenten. Het BCI-project van Jin en haar team, genaamd Duet, vertaalt realtime hersengolf-prestatiemetingen naar door AI gegenereerde muziek en visuele feedback.

De inspiratie voor Duet was om de uitdagingen aan te pakken van het geven van muziekles aan kinderen met ontwikkelingsstoornissen.

"Helaas hebben veel kinderen niet de hulpmiddelen die ze nodig hebben om te communiceren en zich creatief uit te drukken," legt het team uit. "Dat is waar Duet om de hoek komt kijken. Door gebruik te maken van EEG-technologie willen we de manier waarop deze kinderen met muziek omgaan transformeren, zodat ze een stem krijgen en een middel hebben om hun gevoelens te delen."

Hoe het werkt

Duet maakt gebruik van kunstmatige intelligentie om muziek te componeren op basis van de realtime emotionele toestand van een persoon door hersengolven te lezen. Het team gebruikte Emotiv EPOC X-headsets om hersengolfgegevens te streamen en verwerkte deze via Python met de Emotiv Cortex API. Om hen te ondersteunen bij hun inspanningen, heeft Emotiv ervoor gezorgd dat de studenten de EEG-hardware konden lenen en kregen ze tijdelijke toegang tot de PRO-abonnementssoftware.

De gepatenteerde machine learning van Emotiv classificeerde de hersenactiviteit in emotionele toestanden (prestatiemetingen), die in het Gemini-LLM van Google werden ingevoerd om muziek te genereren. In plaats van vaste regels te volgen, trad Duet op als een live componist die op basis van emoties, beschikbare instrumenten en eerdere outputs besliste over de volgende paar seconden muziek.

Sonic Pi verzorgde het afspelen van live muziek, SingleStore beheerde gegevens met lage latentie en onze Next.js-frontend visualiseerde zowel de hersengolven als de bijbehorende muziek in realtime, legde het team uit.

"Bij Duet zetten we ons in om van muziek voor iedereen een inclusieve ervaring te maken, zodat elk kind — en iedereen die moeite heeft om zichzelf uit te drukken — de kans krijgt om zijn of haar ware creatieve zelf te laten horen!"

De toekomst van Duet BCI

Jin en haar team zeggen dat hun grootste uitdaging was om een manier te bedenken om live muziek te genereren met kunstmatige intelligentie.

"We dachten oorspronkelijk dat het onmogelijk was en dat de technologie er nog niet klaar voor was — we konden er online niets over vinden en hebben zelfs urenlang nagedacht over hoe we konden overschakelen naar een ander idee dat we met onze EEG's konden gebruiken," zeiden ze.

"We hebben echter uiteindelijk doorgezet en kwamen met een compleet nieuwe methode voor het live genereren van AI-muziek die, voor zover wij weten, nergens anders bestaat," legde Jin uit. "Het was voor de meesten van ons de eerste keer dat we met dit type hardware werkten, en we liepen tegen veel problemen aan om het goed op onze computers aan te sluiten — maar uiteindelijk hebben we alles soepel aan de praat gekregen, dus het was een enorme prestatie voor ons om dit allemaal te laten werken!"

Om meer te weten te komen over Duet en de code in GitHub te bekijken om het zelf te proberen, bekijk het volledige verhaal op DevPost.

Van ons allemaal bij Emotiv - gefeliciteerd team, we zijn zo trots op jullie!

Misschien vind je dit ook leuk:

• Dit BCI-programma verbindt kinderen met een beperking met hun wereld

• Muziek neurofeedbacktherapie voor de behandeling van depressie bij ouderen

• Hersen-computerinterface voor muziek: hoe je Spotify bedient met je gedachten

BCI-innovatie voor iedereen

Emotiv ondersteunt met trots innovatie ter verbetering van de mensheid. Als je informatie wilt over het lenen van producten, donaties of financiële steun om Emotiv-producten te verkrijgen voor je EEG- of BCI-project, horen we graag van je.

Neem contact met ons op