• Utalentowana grupa studentów z USC Berkley zdobyła pierwszą nagrodę na Cal Hacks 2024 za swój innowacyjny projekt muzyczny BCI „Duet”.

• Duet wykorzystuje AI do komponowania muzyki na podstawie bieżących stanów emocjonalnych, odczytywanych i tłumaczonych przez zestaw słuchawkowy Emotiv Epoc X oraz oprogramowanie EmotivPRO z użyciem interfejsu Cortex API.

• Studenci mają nadzieję, że Duet zapewni skuteczną terapię muzyczną dla dzieci i osób z niepełnosprawnościami poprzez spersonalizowane doświadczenia muzyczne.

Emotiv składa serdeczne gratulacje studentom USC Berkley — Jiahui Jin, Sophia Zhang, Daniel Wang i Justin Wu — za zdobycie pierwszej nagrody na Cal Hacks 2024, największym studenckim hackathonie na świecie. Projekt BCI Jin i in., Duet, przekształca bieżące wskaźniki wydajności fal mózgowych w muzykę generowaną przez AI oraz informacje zwrotne wizualne.

Inspiracją dla Duet było sprostanie wyzwaniom związanym z nauczaniem muzyki dzieci z niepełnosprawnościami rozwojowymi.

„Niestety wiele dzieci nie ma narzędzi, których potrzebują, aby komunikować się i twórczo wyrażać siebie”, wyjaśnia zespół wyjaśnia. „Właśnie tutaj pojawia się Duet. Wykorzystując technologię EEG, chcemy odmienić sposób, w jaki te dzieci wchodzą w interakcję z muzyką, dając im głos i możliwość dzielenia się swoimi uczuciami”.

Jak to działa

Duet wykorzystuje sztuczną inteligencję do komponowania muzyki na podstawie bieżących stanów emocjonalnych osoby, odczytywanych z fal mózgowych. Zespół użył zestawów słuchawkowych Emotiv Epoc X do strumieniowania danych o falach mózgowych i przetwarzał je za pomocą Pythona oraz interfejsu API Emotiv Cortex. Aby wesprzeć ich działania, Emotiv zorganizował studentom możliwość wypożyczenia sprzętu EEG oraz przyznał tymczasowy dostęp do oprogramowania subskrypcyjnego PRO.

Autorski system uczenia maszynowego firmy Emotiv klasyfikował aktywność mózgu do stanów emocjonalnych (wskaźniki wydajności), które następnie trafiały do modelu Gemini LLM firmy Google, aby generować muzykę. Zamiast podążać za sztywnymi regułami, Duet działał jak kompozytor na żywo, decydując o kolejnych kilku sekundach muzyki na podstawie emocji, dostępnych instrumentów i wcześniejszych wyników.

Sonic Pi obsługiwał odtwarzanie muzyki na żywo, SingleStore zarządzał danymi o niskich opóźnieniach, a nasz interfejs frontendowy Next.js wizualizował w czasie rzeczywistym zarówno fale mózgowe, jak i odpowiadającą im muzykę — wyjaśnił zespół.

„W Duet jesteśmy zaangażowani w to, by muzyka była doświadczeniem włączającym dla wszystkich, dbając o to, aby każde dziecko — i każdy, kto ma trudności z wyrażaniem siebie — miało możliwość przekazania swojego prawdziwego twórczego ja!”

Przyszłość BCI Duet

Jin i in. twierdzą, że ich największym wyzwaniem było znalezienie sposobu na generowanie muzyki na żywo za pomocą sztucznej inteligencji.

„Początkowo myśleliśmy, że to niemożliwe i że technologia jeszcze tam nie jest — nie mogliśmy znaleźć niczego na ten temat w internecie i spędziliśmy nawet godziny na zastanawianiu się, jak zmienić kierunek na inny pomysł, z którym moglibyśmy wykorzystać nasze EEG”, powiedzieli.

„Jednak ostatecznie przebiliśmy się przez to i opracowaliśmy całkowicie nową metodę tworzenia muzyki AI na żywo, która — jak nam się wydaje — nie istnieje nigdzie indziej”, wyjaśnili Jin i in. „To był dla większości z nas pierwszy kontakt z takim sprzętem i napotkaliśmy wiele problemów z prawidłowym podłączeniem go do naszych komputerów — ale ostatecznie udało nam się wszystko uruchomić bezproblemowo, więc doprowadzenie tego do działania było dla nas ogromnym osiągnięciem!”

Aby dowiedzieć się więcej o Duet i zobaczyć kod w GitHubie, by wypróbować go samodzielnie, sprawdź pełną relację na DevPost.

Wszystkiego najlepszego od całego zespołu Emotiv — gratulacje, jesteśmy z was bardzo dumni!

Może zainteresuje Cię również:

• Ten program BCI łączy dzieci z niepełnosprawnościami z ich światem

• Terapia neurofeedback muzyczny w leczeniu depresji seniorów

• Interfejs mózg-komputer oparty na muzyce: jak sterować Spotify za pomocą myśli

Innowacje BCI dla wszystkich

Emotiv z dumą wspiera innowacje dla dobra ludzkości. Jeśli chcesz zapytać o wypożyczenie produktów, darowizny lub pomoc finansową w uzyskaniu produktów Emotiv do swojego projektu EEG lub BCI, chętnie się z Tobą skontaktujemy.

Skontaktuj się z nami