Duet : le projet de musique Brainwaves BCI remporte le Cal Hacks 2024

• Un groupe talentueux d'étudiants de l'USC Berkley a remporté le premier prix à Cal Hacks 2024 pour leur projet musical BCI innovant, "Duet."

• Duet utilise l'IA pour composer de la musique en fonction des états émotionnels en temps réel, collectés et traduits par un casque Emotiv EPOC X et le logiciel EmotivPRO avec l'API Cortex.

• Les étudiants espèrent que Duet offrira une thérapie musicale efficace pour les enfants et les personnes handicapées à travers des expériences musicales personnalisées.

Emotiv adresse ses sincères félicitations aux étudiants de l'USC Berkley Jiahui Jin, Sophia Zhang, Daniel Wang et Justin Wu pour avoir remporté le premier prix à Cal Hacks 2024, le plus grand hackathon universitaire au monde. Le projet BCI de Jin et al., Duet, traduit les métriques de performance des ondes cérébrales en temps réel en musique générée par l'IA et en retour visuel.

L'inspiration pour Duet était de relever les défis de l'enseignement de la musique aux enfants ayant des handicaps développementaux.

"Malheureusement, de nombreux enfants se retrouvent sans les outils nécessaires pour communiquer et s'exprimer de manière créative," explique l'équipe explique. "C'est là que Duet entre en jeu. En utilisant la technologie EEG, nous visons à transformer la façon dont ces enfants interagissent avec la musique, leur donnant une voix et un moyen de partager leurs sentiments."

Comment cela fonctionne

Duet utilise l'intelligence artificielle pour composer de la musique en fonction des états émotionnels réels d'une personne en lisant les ondes cérébrales. L'équipe a utilisé des casques Emotiv EPOC X pour diffuser les données des ondes cérébrales et les a traitées via Python avec l'API Cortex d'Emotiv. Pour les aider dans leur entreprise, Emotiv a organisé le prêt du matériel EEG aux étudiants et a accordé un accès temporaire à son logiciel d'abonnement PRO.

Le machine learning propriétaire d'Emotiv a classé l'activité cérébrale en états émotionnels (métriques de performance), alimentés dans le LLM Gemini de Google pour générer de la musique. Au lieu de suivre des règles fixes, Duet agissait comme un compositeur en direct, décidant des prochaines secondes de musique en fonction des émotions, des instruments disponibles et des sorties précédentes.

Sonic Pi gérait la lecture de musique en direct, SingleStore gérait les données à faible latence, et notre frontend Next.js visualisait à la fois les ondes cérébrales et la musique correspondante en temps réel, a expliqué l'équipe.

"Chez Duet, nous nous engageons à faire de la musique une expérience inclusive pour tous, en veillant à ce que chaque enfant - et toute personne ayant du mal à s'exprimer - ait la possibilité de transmettre son véritable soi créatif!"

L'avenir de Duet BCI

Jin et al. déclarent que leur plus grand défi était de trouver un moyen de générer de la musique en direct avec l'intelligence artificielle.

"Nous avons initialement pensé que c'était impossible et que la technologie n'était pas encore "prête" - nous n'avons rien trouvé en ligne à ce sujet, et nous avons même passé des heures à réfléchir à la façon de pivoter vers une autre idée avec laquelle nous pourrions utiliser nos EEG," ont-ils déclaré.

"Cependant, nous avons finalement persévéré et avons trouvé une méthode totalement nouvelle pour faire de la génération de musique IA en direct qui, à notre connaissance, n'existe nulle part ailleurs," a expliqué Jin et al. "C'était pour la plupart notre première expérience avec ce type de matériel, et nous avons rencontré de nombreux problèmes pour le connecter correctement à nos ordinateurs - mais à la fin, nous avons réussi à tout faire fonctionner correctement, donc c'était un exploit énorme pour nous de tout faire fonctionner!"

Pour en savoir plus sur Duet et voir le code sur GitHub pour l'essayer vous-même, consultez l'intégralité de l'histoire sur DevPost.

De la part de toute l'équipe d'Emotiv - félicitations, équipe, nous sommes si fiers de vous!

Vous aimerez peut-être aussi :

• Ce programme BCI connecte les enfants handicapés à leur monde

• Thérapie par neurofeedback musical pour traiter la dépression chez les seniors

• Interface cerveau-musique : comment contrôler Spotify par la pensée

Innovation BCI pour tous

Emotiv soutient fièrement l'innovation pour le mieux-être de l'humanité. Si vous souhaitez vous renseigner sur le prêt de matériel, les dons ou l'assistance financière pour obtenir des produits Emotiv pour votre projet EEG ou BCI, nous serions ravis d'avoir de vos nouvelles.

Contactez-nous