• Een getalenteerde groep studenten aan USC Berkley heeft de eerste prijs in de wacht gesleept op Cal Hacks 2024 voor hun innovatieve BCI-muziekproject, "Duet".

• Duet maakt gebruik van AI om muziek te componeren op basis van realtime emotionele toustanden, verzameld en vertaald door een Emotiv Epoc X-headset en EmotivPRO-software met de Cortex API.

• De studenten hopen dat Duet effectieve muziektherapie zal bieden voor kinderen en individuen met een beperking door middel van gepersonaliseerde muzikale ervaringen.

Emotiv feliciteert USC Berkley-studenten Jiahui Jin, Sophia Zhang, Daniel Wang en Justin Wu van harte met het winnen van de eerste prijs op Cal Hacks 2024, 's werelds grootste hackathon voor universiteiten. Het BCI-project van Jin en co, genaamd Duet, vertaalt realtime hersengolf-prestatiestatistieken naar door AI gegenereerde muziek en visuele feedback.

De inspiratie voor Duet was om de uitdagingen aan te pakken van het geven van muziekles aan kinderen met ontwikkelingsstoornissen.

"Helaas hebben veel kinderen niet de hulpmiddelen die ze nodig hebben om te communiceren en zich creatief uit te drukken," legt het team uit. "Dat is waar Duet in beeld komt. Door EEG-technologie te gebruiken, willen we de manier waarop deze kinderen met muziek omgaan transformeren, waardoor ze een stem krijgen en een middel om hun gevoelens te delen."

Hoe Het Werkt

Duet gebruikt kunstmatige intelligentie om muziek te componeren op basis van de realtime emotionele toestand van een persoon door hersengolven te lezen. Het team gebruikte Emotiv Epoc X-headsets om hersengolfgegevens te streamen en verwerkte deze via Python met de Emotiv Cortex API. Om hen te ondersteunen in hun inspanningen, heeft Emotiv ervoor gezorgd dat de studenten de EEG-hardware konden lenen en tijdelijk toegang kregen tot de PRO-abonnementssoftware.

De gepatenteerde machine learning van Emotiv classificeerde de hersenactiviteit in emotionele toestanden (prestatiestatistieken), die naar Google's Gemini LLM werden gestuurd om muziek te genereren. In plaats van vaste regels te volgen, trad Duet op als een live componist die op basis van emoties, beschikbare instrumenten en eerdere output besliste over de volgende paar seconden muziek.

Sonic Pi verzorgde de live muziekafspeelfunctie, SingleStore beheerde de data met lage latentie en onze Next.js frontend visualiseerde zowel de hersengolven als de bijbehorende muziek in realtime, legde het team uit.

"Bij Duet zetten we ons in om van muziek een inclusieve ervaring voor iedereen te maken, zodat elk kind — en iedereen die moeite heeft om zich uit te drukken — de kans krijgt om zijn of haar ware creatieve zelf over te brengen!"

De Toekomst van Duet BCI

Jin en co zeggen dat hun grootste uitdaging was om een manier te vinden om live muziek te genereren met kunstmatige intelligentie.

"We dachten oorspronkelijk dat het onmogelijk was en dat de technologie er nog niet klaar voor was — we konden er online niets over vinden en hebben zelfs uren nagedacht over hoe we konden overstappen op een ander idee waarbij we onze EEG's konden gebruiken," zeiden ze.

"We hebben echter uiteindelijk doorgezet en kwamen met een compleet nieuwe methode voor het genereren van live AI-muziek die, voor zover wij weten, nergens anders bestaat," legde Jin en co uit. "Het was voor de meesten van ons de eerste keer dat we met dit type hardware werkten, en we liepen tegen veel problemen aan om het goed aan te sluiten op onze computers — maar uiteindelijk hebben we alles soepel aan de praat gekregen, dus het was een enorme prestatie voor ons om dit allemaal te laten werken!"

Om meer te weten te komen over Duet en de code in GitHub te bekijken om het zelf te proberen, bekijk het volledige verhaal op DevPost.

Van ons allemaal bij Emotiv - gefeliciteerd team, we zijn zo trots op jullie!

Dit vind je misschien ook leuk:

• Dit BCI-programma verbindt kinderen met een beperking met hun wereld

• Muziek-neurofeedbacktherapie voor de behandeling van depressie bij ouderen

• Muziek Brain Computer Interface: hoe je Spotify bedient met je gedachten

BCI-innovatie voor iedereen

Emotiv ondersteunt met trots innovatie voor de verbetering van de mensheid. Als je vragen hebt over het lenen van producten, donaties of financiële ondersteuning om Emotiv-producten te verkrijgen voor je EEG- of BCI-project, dan horen we dat graag.

Neem contact met ons op