• Um talentoso grupo de estudantes da USC Berkley levou para casa o primeiro prêmio no Cal Hacks 2024 pelo seu projeto inovador de música em BCI, "Duet".

• O Duet utiliza inteligência artificial para compor música com base em estados emocionais em tempo real, recolhidos e traduzidos por um headset Emotiv EPOC X e pelo software EmotivPRO com a API Cortex.

• Os estudantes esperam que o Duet possa oferecer uma terapia musical eficaz para crianças e indivíduos com deficiências através de experiências musicais personalizadas.

A Emotiv felicita calorosamente os estudantes de USC Berkley, Jiahui Jin, Sophia Zhang, Daniel Wang e Justin Wu, por ganharem o primeiro prêmio no Cal Hacks 2024, a maior maratona de programação (hackathon) universitária do mundo. O projeto de BCI de Jin e seus colaboradores, Duet, traduz métricas de desempenho cerebral em tempo real em música gerada por IA e feedback visual.

A inspiração para o Duet surgiu da necessidade de enfrentar os desafios do ensino de música a crianças com necessidades especiais de desenvolvimento.

"Infelizmente, muitas crianças ficam sem as ferramentas de que necessitam para comunicar e expressar-se de forma criativa", explica a equipa. "É aí que o Duet entra. Ao utilizar a tecnologia de EEG, pretendemos transformar a forma como estas crianças interagem com a música, dando-lhes uma voz e um meio de partilhar os seus sentimentos."

Como Funciona

O Duet utiliza inteligência artificial para compor música baseada nos estados emocionais de uma pessoa em tempo real, lendo as suas ondas cerebrais. A equipa utilizou headsets Emotiv EPOC X para transmitir dados de ondas cerebrais e processou-os via Python com a Emotiv Cortex API. Para os apoiar nos seus esforços, a Emotiv disponibilizou o hardware de EEG para empréstimo aos estudantes e concedeu acesso temporário ao seu software de subscrição PRO.

A aprendizagem automática proprietária da Emotiv classificou a atividade cerebral em estados emocionais (métricas de desempenho), que foram inseridos no LLM Gemini da Google para gerar música. Em vez de seguir regras fixas, o Duet agiu como um compositor ao vivo, decidindo os próximos segundos de música com base em emoções, instrumentos disponíveis e outputs anteriores.

O Sonic Pi tratou da reprodução de música ao vivo, o SingleStore geriu os dados de baixa latência e a nossa interface Next.js visualizou tanto as ondas cerebrais como a música correspondente em tempo real, explicou a equipa.

"No Duet, estamos empenhados em tornar a música numa experiência inclusiva para todos, garantindo que cada criança — e qualquer pessoa que tenha dificuldade em expressar-se — tenha a oportunidade de transmitir o seu verdadeiro eu criativo!"

O Futuro do Duet BCI

Jin e seus colaboradores referem que o seu maior desafio foi encontrar uma forma de gerar música ao vivo com inteligência artificial.

"Inicialmente pensámos que era impossível e que a tecnologia ainda não estava 'lá' — não conseguíamos encontrar nada online sobre o assunto, e até passámos horas a pensar em como mudar para outra ideia com a qual pudéssemos utilizar os nossos EEGs", disseram.

"No entanto, acabámos por conseguir avançar e criámos um método completamente novo de fazer geração de música por IA ao vivo que, tanto quanto sabemos, não existe em mais lado nenhum", explicou Jin et al. "Foi para a maior parte de nós a primeira vez que trabalhámos com este tipo de hardware e deparámo-nos com muitos problemas para conseguir ligá-lo corretamente aos nossos computadores — mas no final, conseguimos que tudo corresse sem problemas, por isso foi uma enorme proeza termos feito tudo funcionar!"

Para saber mais sobre o Duet e ver o código no GitHub para experimentar por si mesmo, consulte a história completa no DevPost.

De todos nós na Emotiv - parabéns, equipa, estamos muito orgulhosos de vocês!

Também poderá gostar de:

• Este programa de BCI liga crianças com deficiência ao seu mundo

• Terapia de neurofeedback musical para tratar a depressão em idosos

• Interface Cérebro-Computador (BCI) Musical: Como controlar o Spotify com a sua mente

Inovação em BCI para Todos

A Emotiv apoia orgulhosamente a inovação para a melhoria da humanidade. Se desejar solicitar um empréstimo de produto, doações ou assistência financeira para obter produtos Emotiv para o seu projeto de EEG ou BCI, gostaríamos muito de receber o seu contacto.

Contacte-nos