Dueto: Projeto de Música de Ondas Cerebrais BCI vence o Cal Hacks 2024
Heidi Duran
Atualizado em
21 de out. de 2024
Dueto: Projeto de Música de Ondas Cerebrais BCI vence o Cal Hacks 2024
Heidi Duran
Atualizado em
21 de out. de 2024
Dueto: Projeto de Música de Ondas Cerebrais BCI vence o Cal Hacks 2024
Heidi Duran
Atualizado em
21 de out. de 2024
Um grupo talentoso de estudantes da USC Berkley levou para casa o primeiro prémio no Cal Hacks 2024 pelo seu inovador projeto musical BCI, "Duet."
O Duet usa IA para compor música com base em estados emocionais em tempo real, recolhidos e traduzidos por um headset Emotiv EPOC X e pelo software EmotivPRO com a Cortex API.
Os estudantes esperam que o Duet ofereça uma terapia musical eficaz para crianças e pessoas com deficiência através de experiências musicais personalizadas.
Emotiv envia calorosas felicitações aos estudantes da USC Berkley Jiahui Jin, Sophia Zhang, Daniel Wang e Justin Wu por terem vencido o primeiro prémio no Cal Hacks 2024, o maior hackathon universitário do mundo. O projeto BCI de Jin et al., Duet, traduz métricas de desempenho de ondas cerebrais em tempo real em música gerada por IA e feedback visual.
A inspiração para o Duet foi responder aos desafios de ensinar música a crianças com deficiências do desenvolvimento.
"Infelizmente, muitas crianças ficam sem as ferramentas de que precisam para comunicar e expressar-se criativamente," explica a equipa. "É aí que o Duet entra. Ao utilizar tecnologia EEG, pretendemos transformar a forma como estas crianças interagem com a música, dando-lhes uma voz e um meio para partilhar os seus sentimentos."
Como Funciona
O Duet usa inteligência artificial para compor música com base nos estados emocionais em tempo real de uma pessoa, lendo as ondas cerebrais. A equipa utilizou headsets Emotiv EPOC X para transmitir dados das ondas cerebrais e processou-os via Python com a Emotiv Cortex API. Para os apoiar nos seus esforços, a Emotiv organizou o empréstimo do hardware EEG aos estudantes e concedeu acesso temporário ao seu software de subscrição PRO.
O machine learning proprietário da Emotiv classificou a atividade cerebral em estados emocionais (métricas de desempenho), que foram depois inseridos no LLM Gemini da Google para gerar música. Em vez de seguir regras fixas, o Duet atuou como um compositor ao vivo, decidindo os próximos segundos de música com base nas emoções, nos instrumentos disponíveis e nas saídas anteriores.
O Sonic Pi tratou da reprodução de música ao vivo, o SingleStore geriu os dados de baixa latência e o nosso frontend em Next.js visualizou, em tempo real, tanto as ondas cerebrais como a música correspondente, explicou a equipa.
"No Duet, estamos empenhados em tornar a música uma experiência inclusiva para todos, garantindo que cada criança — e qualquer pessoa que tenha dificuldade em expressar-se — tenha a oportunidade de transmitir o seu verdadeiro eu criativo!"
O Futuro do Duet BCI
Jin et al. dizem que o seu maior desafio foi encontrar uma forma de gerar música ao vivo com inteligência artificial.
"Pensámos inicialmente que era impossível e que a tecnologia ainda não estava “pronta” — não conseguimos encontrar nada online sobre isso, e até passámos horas a pensar em como mudar para outra ideia em que pudéssemos usar os nossos EEGs," disseram.
"No entanto, acabámos por avançar e criámos um método completamente novo de geração de música com IA em tempo real que, tanto quanto sabemos, não existe em mais lado nenhum," explicou Jin et al. "Foi a maior parte da nossa primeira experiência a trabalhar com este tipo de hardware, e tivemos muitos problemas para o ligar corretamente aos nossos computadores — mas, no fim, conseguimos fazer com que tudo funcionasse sem problemas, por isso foi um enorme feito para nós conseguir pôr tudo a funcionar!"
Para saber mais sobre o Duet e ver o código no GitHub para experimentar por si próprio, veja a história completa no DevPost.
De todos nós na Emotiv - parabéns, equipa, estamos tão orgulhosos de vocês!
Talvez também goste de:
Este programa BCI liga crianças com deficiência ao seu mundo
Terapia de neurofeedback musical para tratar a depressão na terceira idade
Interface cérebro-computador musical: como controlar o Spotify com a sua mente
Inovação BCI para Todos
A Emotiv apoia orgulhosamente a inovação em prol do bem-estar da humanidade. Se quiser informar-se sobre empréstimos de produtos, doações ou apoio financeiro para obter produtos Emotiv para o seu projeto EEG ou BCI, teremos todo o gosto em ouvi-lo.
Contacte-nos
Um grupo talentoso de estudantes da USC Berkley levou para casa o primeiro prémio no Cal Hacks 2024 pelo seu inovador projeto musical BCI, "Duet."
O Duet usa IA para compor música com base em estados emocionais em tempo real, recolhidos e traduzidos por um headset Emotiv EPOC X e pelo software EmotivPRO com a Cortex API.
Os estudantes esperam que o Duet ofereça uma terapia musical eficaz para crianças e pessoas com deficiência através de experiências musicais personalizadas.
Emotiv envia calorosas felicitações aos estudantes da USC Berkley Jiahui Jin, Sophia Zhang, Daniel Wang e Justin Wu por terem vencido o primeiro prémio no Cal Hacks 2024, o maior hackathon universitário do mundo. O projeto BCI de Jin et al., Duet, traduz métricas de desempenho de ondas cerebrais em tempo real em música gerada por IA e feedback visual.
A inspiração para o Duet foi responder aos desafios de ensinar música a crianças com deficiências do desenvolvimento.
"Infelizmente, muitas crianças ficam sem as ferramentas de que precisam para comunicar e expressar-se criativamente," explica a equipa. "É aí que o Duet entra. Ao utilizar tecnologia EEG, pretendemos transformar a forma como estas crianças interagem com a música, dando-lhes uma voz e um meio para partilhar os seus sentimentos."
Como Funciona
O Duet usa inteligência artificial para compor música com base nos estados emocionais em tempo real de uma pessoa, lendo as ondas cerebrais. A equipa utilizou headsets Emotiv EPOC X para transmitir dados das ondas cerebrais e processou-os via Python com a Emotiv Cortex API. Para os apoiar nos seus esforços, a Emotiv organizou o empréstimo do hardware EEG aos estudantes e concedeu acesso temporário ao seu software de subscrição PRO.
O machine learning proprietário da Emotiv classificou a atividade cerebral em estados emocionais (métricas de desempenho), que foram depois inseridos no LLM Gemini da Google para gerar música. Em vez de seguir regras fixas, o Duet atuou como um compositor ao vivo, decidindo os próximos segundos de música com base nas emoções, nos instrumentos disponíveis e nas saídas anteriores.
O Sonic Pi tratou da reprodução de música ao vivo, o SingleStore geriu os dados de baixa latência e o nosso frontend em Next.js visualizou, em tempo real, tanto as ondas cerebrais como a música correspondente, explicou a equipa.
"No Duet, estamos empenhados em tornar a música uma experiência inclusiva para todos, garantindo que cada criança — e qualquer pessoa que tenha dificuldade em expressar-se — tenha a oportunidade de transmitir o seu verdadeiro eu criativo!"
O Futuro do Duet BCI
Jin et al. dizem que o seu maior desafio foi encontrar uma forma de gerar música ao vivo com inteligência artificial.
"Pensámos inicialmente que era impossível e que a tecnologia ainda não estava “pronta” — não conseguimos encontrar nada online sobre isso, e até passámos horas a pensar em como mudar para outra ideia em que pudéssemos usar os nossos EEGs," disseram.
"No entanto, acabámos por avançar e criámos um método completamente novo de geração de música com IA em tempo real que, tanto quanto sabemos, não existe em mais lado nenhum," explicou Jin et al. "Foi a maior parte da nossa primeira experiência a trabalhar com este tipo de hardware, e tivemos muitos problemas para o ligar corretamente aos nossos computadores — mas, no fim, conseguimos fazer com que tudo funcionasse sem problemas, por isso foi um enorme feito para nós conseguir pôr tudo a funcionar!"
Para saber mais sobre o Duet e ver o código no GitHub para experimentar por si próprio, veja a história completa no DevPost.
De todos nós na Emotiv - parabéns, equipa, estamos tão orgulhosos de vocês!
Talvez também goste de:
Este programa BCI liga crianças com deficiência ao seu mundo
Terapia de neurofeedback musical para tratar a depressão na terceira idade
Interface cérebro-computador musical: como controlar o Spotify com a sua mente
Inovação BCI para Todos
A Emotiv apoia orgulhosamente a inovação em prol do bem-estar da humanidade. Se quiser informar-se sobre empréstimos de produtos, doações ou apoio financeiro para obter produtos Emotiv para o seu projeto EEG ou BCI, teremos todo o gosto em ouvi-lo.
Contacte-nos
Um grupo talentoso de estudantes da USC Berkley levou para casa o primeiro prémio no Cal Hacks 2024 pelo seu inovador projeto musical BCI, "Duet."
O Duet usa IA para compor música com base em estados emocionais em tempo real, recolhidos e traduzidos por um headset Emotiv EPOC X e pelo software EmotivPRO com a Cortex API.
Os estudantes esperam que o Duet ofereça uma terapia musical eficaz para crianças e pessoas com deficiência através de experiências musicais personalizadas.
Emotiv envia calorosas felicitações aos estudantes da USC Berkley Jiahui Jin, Sophia Zhang, Daniel Wang e Justin Wu por terem vencido o primeiro prémio no Cal Hacks 2024, o maior hackathon universitário do mundo. O projeto BCI de Jin et al., Duet, traduz métricas de desempenho de ondas cerebrais em tempo real em música gerada por IA e feedback visual.
A inspiração para o Duet foi responder aos desafios de ensinar música a crianças com deficiências do desenvolvimento.
"Infelizmente, muitas crianças ficam sem as ferramentas de que precisam para comunicar e expressar-se criativamente," explica a equipa. "É aí que o Duet entra. Ao utilizar tecnologia EEG, pretendemos transformar a forma como estas crianças interagem com a música, dando-lhes uma voz e um meio para partilhar os seus sentimentos."
Como Funciona
O Duet usa inteligência artificial para compor música com base nos estados emocionais em tempo real de uma pessoa, lendo as ondas cerebrais. A equipa utilizou headsets Emotiv EPOC X para transmitir dados das ondas cerebrais e processou-os via Python com a Emotiv Cortex API. Para os apoiar nos seus esforços, a Emotiv organizou o empréstimo do hardware EEG aos estudantes e concedeu acesso temporário ao seu software de subscrição PRO.
O machine learning proprietário da Emotiv classificou a atividade cerebral em estados emocionais (métricas de desempenho), que foram depois inseridos no LLM Gemini da Google para gerar música. Em vez de seguir regras fixas, o Duet atuou como um compositor ao vivo, decidindo os próximos segundos de música com base nas emoções, nos instrumentos disponíveis e nas saídas anteriores.
O Sonic Pi tratou da reprodução de música ao vivo, o SingleStore geriu os dados de baixa latência e o nosso frontend em Next.js visualizou, em tempo real, tanto as ondas cerebrais como a música correspondente, explicou a equipa.
"No Duet, estamos empenhados em tornar a música uma experiência inclusiva para todos, garantindo que cada criança — e qualquer pessoa que tenha dificuldade em expressar-se — tenha a oportunidade de transmitir o seu verdadeiro eu criativo!"
O Futuro do Duet BCI
Jin et al. dizem que o seu maior desafio foi encontrar uma forma de gerar música ao vivo com inteligência artificial.
"Pensámos inicialmente que era impossível e que a tecnologia ainda não estava “pronta” — não conseguimos encontrar nada online sobre isso, e até passámos horas a pensar em como mudar para outra ideia em que pudéssemos usar os nossos EEGs," disseram.
"No entanto, acabámos por avançar e criámos um método completamente novo de geração de música com IA em tempo real que, tanto quanto sabemos, não existe em mais lado nenhum," explicou Jin et al. "Foi a maior parte da nossa primeira experiência a trabalhar com este tipo de hardware, e tivemos muitos problemas para o ligar corretamente aos nossos computadores — mas, no fim, conseguimos fazer com que tudo funcionasse sem problemas, por isso foi um enorme feito para nós conseguir pôr tudo a funcionar!"
Para saber mais sobre o Duet e ver o código no GitHub para experimentar por si próprio, veja a história completa no DevPost.
De todos nós na Emotiv - parabéns, equipa, estamos tão orgulhosos de vocês!
Talvez também goste de:
Este programa BCI liga crianças com deficiência ao seu mundo
Terapia de neurofeedback musical para tratar a depressão na terceira idade
Interface cérebro-computador musical: como controlar o Spotify com a sua mente
Inovação BCI para Todos
A Emotiv apoia orgulhosamente a inovação em prol do bem-estar da humanidade. Se quiser informar-se sobre empréstimos de produtos, doações ou apoio financeiro para obter produtos Emotiv para o seu projeto EEG ou BCI, teremos todo o gosto em ouvi-lo.
