• Un groupe talentueux d'étudiants de USC Berkley a remporté le premier prix à Cal Hacks 2024 pour leur projet musical BCI innovant, « Duet ».

• Duet utilise l'IA pour composer de la musique à partir d'états émotionnels en temps réel, tels que collectés et traduits par un casque Emotiv Epoc X et le logiciel EmotivPRO avec l'API Cortex.

• Les étudiants espèrent que Duet offrira une musicothérapie efficace aux enfants et aux personnes en situation de handicap grâce à des expériences musicales personnalisées.

Emotiv adresse ses félicitations les plus sincères aux étudiants de USC Berkley Jiahui Jin, Sophia Zhang, Daniel Wang et Justin Wu pour avoir remporté le premier prix à Cal Hacks 2024, le plus grand hackathon universitaire du monde. Le projet BCI de Jin et al., Duet, traduit des métriques de performance des ondes cérébrales en temps réel en musique générée par IA et en retour visuel.

L'inspiration derrière Duet était de relever les défis de l'enseignement de la musique aux enfants atteints de troubles du développement.

"Malheureusement, de nombreux enfants n'ont pas les outils dont ils ont besoin pour communiquer et s'exprimer de manière créative," explique l'équipe explains. "C'est là qu'intervient Duet. En utilisant la technologie EEG, nous voulons transformer la manière dont ces enfants interagissent avec la musique, en leur donnant une voix et un moyen de partager leurs sentiments."

Comment ça fonctionne

Duet utilise l'intelligence artificielle pour composer de la musique à partir des états émotionnels en temps réel d'une personne en lisant les ondes cérébrales. L'équipe a utilisé des casques Emotiv Epoc X pour diffuser les données des ondes cérébrales et les a traitées via Python avec l'API Emotiv Cortex. Pour les aider dans leurs efforts, Emotiv a organisé le prêt du matériel EEG aux étudiants et leur a accordé un accès temporaire à son logiciel d'abonnement PRO.

L'apprentissage automatique propriétaire d'Emotiv a classé l'activité cérébrale en états émotionnels (métriques de performance), transmis au LLM Gemini de Google pour générer de la musique. Au lieu de suivre des règles fixes, Duet a agi comme un compositeur en direct, décidant des quelques secondes suivantes de musique en fonction des émotions, des instruments disponibles et des sorties précédentes.

Sonic Pi a géré la lecture musicale en direct, SingleStore a administré les données à faible latence, et notre interface Next.js a visualisé en temps réel à la fois les ondes cérébrales et la musique correspondante, a expliqué l'équipe.

"Chez Duet, nous nous engageons à faire de la musique une expérience inclusive pour tous, en veillant à ce que chaque enfant — et toute personne qui a du mal à s'exprimer — ait l'opportunité de transmettre son véritable moi créatif !"

L'avenir de Duet BCI

Jin et al. disent que leur plus grand défi a été de trouver un moyen de générer de la musique en direct avec l'intelligence artificielle.

"Nous pensions au départ que c'était impossible et que la technologie n'était pas encore “là” — nous n'avons rien trouvé en ligne à ce sujet, et avons même passé des heures à réfléchir à la manière de nous réorienter vers une autre idée que nous pourrions utiliser avec nos EEG," ont-ils dit.

"Cependant, nous avons fini par persévérer et avons trouvé une toute nouvelle méthode de génération de musique IA en direct qui, à notre connaissance, n'existe nulle part ailleurs," a expliqué Jin et al. "C'était la plupart du temps la première fois que nous travaillions avec ce type de matériel, et nous avons rencontré de nombreux problèmes pour le faire se connecter correctement à nos ordinateurs — mais au final, nous avons réussi à tout faire fonctionner correctement, donc c'était une énorme réussite pour nous de tout faire marcher !"

Pour en savoir plus sur Duet et voir le code sur GitHub afin de l'essayer vous-même, consultez l'histoire complète sur DevPost.

De la part de nous tous chez Emotiv - félicitations, équipe, nous sommes si fiers de vous !

Vous aimerez peut-être aussi :

• Ce programme BCI connecte les enfants en situation de handicap à leur monde

• Music Neurofeedback Therapy pour traiter la dépression chez les seniors

• Interface cerveau-ordinateur musicale : comment contrôler Spotify avec votre esprit

L'innovation BCI pour tous

Emotiv soutient fièrement l'innovation pour le bien de l'humanité. Si vous souhaitez vous renseigner sur le prêt de produits, les dons ou une aide financière pour obtenir des produits Emotiv pour votre projet EEG ou BCI, nous serions ravis d'avoir de vos nouvelles.

Contactez-nous