• Utalentowana grupa studentów z USC Berkeley zdobyła pierwszą nagrodę na Cal Hacks 2024 za swój innowacyjny projekt muzyczny BCI o nazwie "Duet".

• Duet wykorzystuje sztuczną inteligencję do komponowania muzyki w oparciu o stany emocjonalne w czasie rzeczywistym, rejestrowane i tłumaczone przez zestaw słuchawkowy Epoc X i oprogramowanie EmotivPRO z Cortex API.

• Studenci mają nadzieję, że Duet zaoferuje skuteczną muzykoterapię dla dzieci i osób z niepełnosprawnościami poprzez spersonalizowane doświadczenia muzyczne.

Emotiv składa serdeczne gratulacje studentom USC Berkeley: Jiahui Jin, Sophii Zhang, Danielowi Wang i Justinowi Wu za zdobycie pierwszej nagrody na Cal Hacks 2024, największym na świecie akademickim hackathonie. Projekt BCI zespołu Jin i wsp. o nazwie Duet przekłada wskaźniki wydajności fal mózgowych w czasie rzeczywistym na muzykę generowaną przez sztuczną inteligencję oraz wizualny feedback.

Inspiracją do stworzenia projektu Duet było sprostanie wyzwaniom związanym z nauczaniem muzyki dzieci z zaburzeniami rozwoju.

"Niestety, wiele dzieci pozostaje bez narzędzi potrzebnych do komunikacji i kreatywnego wyrażania siebie" – wyjaśnia zespół. "W tym miejscu pojawia się Duet. Wykorzystując technologię EEG, dążymy do przekształcenia sposobu, w jaki te dzieci wchodzą w interakcję z muzyką, dając im głos i środki do dzielenia się swoimi uczuciami".

Jak to działa

Duet wykorzystuje sztuczną inteligencję do komponowania muzyki na podstawie stanów emocjonalnych człowieka w czasie rzeczywistym poprzez odczyt fal mózgowych. Zespół użył zestawów słuchawkowych Epoc X do przesyłania strumieniowego danych o falach mózgowych i przetwarzał je za pomocą języka Python z Emotiv Cortex API. Aby pomóc im w ich dążeniach, Emotiv umożliwił studentom wypożyczenie sprzętu EEG i przyznał tymczasowy dostęp do swojego oprogramowania subskrypcyjnego PRO.

Opatentowane uczenie maszynowe Emotiv sklasyfikowało aktywność mózgu na stany emocjonalne (wskaźniki wydajności), które zostały wprowadzone do modelu LLM Gemini firmy Google w celu wygenerowania muzyki. Zamiast podążać za sztywnymi regułami, Duet działał jako kompozytor na żywo, decydując o kolejnych kilku sekundach muzyki na podstawie emocji, dostępnych instrumentów i wcześniejszych efektów.

Sonic Pi obsługiwał odtwarzanie muzyki na żywo, SingleStore zarządzał danymi o niskim opóźnieniu, a nasz frontend Next.js wizualizował zarówno fale mózgowe, jak i odpowiadającą im muzykę w czasie rzeczywistym, wyjaśnił zespół.

"W projekcie Duet dążymy do uczynienia muzyki doświadczeniem inkluzywnym dla wszystkich, dbając o to, aby każde dziecko — i każdy, kto ma trudności z wyrażaniem siebie — miało okazję przekazać swoje prawdziwe twórcze ja!"

Przyszłość Duet BCI

Jin i wsp. twierdzą, że ich największym wyzwaniem było wymyślenie sposobu na generowanie muzyki na żywo za pomocą sztucznej inteligencji.

"Początkowo myśleliśmy, że to niemożliwe i że technologia nie jest jeszcze na to gotowa — nie mogliśmy znaleźć nic na ten temat w Internecie i spędziliśmy godziny na zastanawianiu się, jak zmienić kierunek na inny pomysł, w którym moglibyśmy wykorzystać nasze urządzenia EEG" — powiedzieli.

"Jednak w końcu przełamaliśmy bariery i opracowaliśmy zupełnie nową metodę generowania muzyki przez AI na żywo, która według naszej wiedzy nie istnieje nigdzie indziej" — wyjaśnili Jin i wsp. "Dla większości z nas był to pierwszy raz z tego typu sprzętem i napotkaliśmy wiele problemów z prawidłowym podłączeniem go do naszych komputerów — ale ostatecznie udało nam się sprawić, że wszystko działało płynnie, więc sprawienie, by to wszystko zadziałało, było dla nas ogromnym wyczynem!"

Aby dowiedzieć się więcej o projekcie Duet i zobaczyć kod w serwisie GitHub, by wypróbować go samemu, zapoznaj się z pełną historią na portalu DevPost.

Od nas wszystkich w Emotiv - gratulacje, zespole, jesteśmy z Was tacy dumni!

Może Cię również zainteresować:

• Ten program BCI łączy dzieci z niepełnosprawnościami z ich światem

• Terapia neurofeedbackiem muzycznym w leczeniu depresji u seniorów

• Muzyczny interfejs mózg-komputer: jak kontrolować Spotify za pomocą umysłu

Innowacje BCI dla każdego

Emotiv z dumą wspiera innowacje służące polepszeniu życia ludzkości. Jeśli chcesz zapytać o wypożyczenie produktów, darowizny lub pomoc finansową w celu uzyskania produktów Emotiv do swojego projektu EEG lub BCI, chętnie podejmiemy współpracę.

Skontaktuj się z nami