• Un groupe d'étudiants talentueux de l'université USC Berkley a remporté le premier prix au Cal Hacks 2024 pour leur projet musical innovant basé sur l'BCI, "Duet".

• Duet utilise l'IA pour composer de la musique en fonction des états émotionnels en temps réel, collectés et traduits par un casque Emotiv Epoc X et le logiciel EmotivPRO avec l'API Cortex.

• Les étudiants espèrent que Duet offrira une musicothérapie efficace aux enfants et aux personnes en situation de handicap grâce à des expériences musicales personnalisées.

Emotiv adresse ses chaleureuses félicitations aux étudiants de l'USC Berkley, Jiahui Jin, Sophia Zhang, Daniel Wang et Justin Wu, pour avoir remporté le premier prix au Cal Hacks 2024, le plus grand hackathon universitaire au monde. Le projet BCI de Jin et ses collègues, Duet, traduit les métriques de performance cérébrale en temps réel en musique générée par IA et en retours visuels.

L'inspiration de Duet est née de la volonté de relever les défis de l'enseignement de la musique aux enfants présentant des troubles du développement.

"Malheureusement, de nombreux enfants se retrouvent sans les outils nécessaires pour communiquer et s'exprimer de manière créative", explique l'équipe. "C'est là que Duet intervient. En utilisant la technologie EEG, nous visons à transformer la façon dont ces enfants interagissent avec la musique, en leur donnant une voix et un moyen de partager leurs sentiments."

Comment ça fonctionne

Duet utilise l'intelligence artificielle pour composer de la musique basée sur les états émotionnels d'une personne en temps réel en lisant les ondes cérébrales. L'équipe a utilisé des casques Emotiv Epoc X pour diffuser les données d'ondes cérébrales et les a traitées via Python avec l'API Emotiv Cortex. Pour les aider dans leurs efforts, Emotiv a permis aux étudiants d'emprunter le matériel EEG et leur a accordé un accès temporaire à son logiciel d'abonnement PRO.

L'apprentissage automatique propriétaire d'Emotiv a classé l'activité cérébrale en états émotionnels (métriques de performance), transmis au LLM Gemini de Google pour générer de la musique. Au lieu de suivre des règles fixes, Duet a agi comme un compositeur en direct, décidant des quelques secondes de musique suivantes en fonction des émotions, des instruments disponibles et des productions précédentes.

Sonic Pi a géré la lecture de musique en direct, SingleStore a géré les données à faible latence, et notre frontend Next.js a visualisé à la fois les ondes cérébrales et la musique correspondante en temps réel, a expliqué l'équipe.

"Chez Duet, nous nous engageons à faire de la musique une expérience inclusive pour tous, en veillant à ce que chaque enfant — et tous ceux qui ont du mal à s'exprimer — aient l'opportunité de révéler leur véritable potentiel créatif !"

L'avenir de Duet BCI

Jin et ses collègues expliquent que leur plus grand défi a été de trouver un moyen de générer de la musique en direct avec de l'intelligence artificielle.

"Au départ, nous pensions que c'était impossible et que la technologie n'était pas encore 'prête' — nous ne trouvions rien en ligne à ce sujet, et nous avons même passé des heures à réfléchir à la façon de pivoter vers une autre idée que nous pourrions utiliser avec nos EEG", ont-ils déclaré.

"Cependant, nous avons fini par persévérer et avons conçu une méthode totalement nouvelle de génération de musique par IA en direct qui, à notre connaissance, n'existe nulle part ailleurs", a expliqué Jin et ses collègues. "Pour la plupart d'entre nous, c'était la première fois que nous travaillions avec ce type de matériel, et nous avons rencontré de nombreux problèmes pour le connecter correctement à nos ordinateurs — mais finalement, nous avons tout fait fonctionner de manière fluide, donc c'était un immense exploit pour nous de tout faire fonctionner !"

Pour en savoir plus sur Duet et consulter le code sur GitHub afin de l'essayer vous-même, découvrez l'histoire complète sur DevPost.

De la part de nous tous chez Emotiv - félicitations à l'équipe, nous sommes si fiers de vous !

Vous aimerez peut-être aussi :

• Ce programme BCI connecte les enfants en situation de handicap à leur monde

• La thérapie par neurofeedback musical pour traiter la dépression des personnes âgées

• Interface Cerveau-Ordinateur musicale : Comment contrôler Spotify avec votre esprit

L'innovation BCI pour tous

Emotiv soutient fièrement l'innovation pour le bien de l'humanité. Si vous souhaitez vous renseigner sur le prêt de produits, les dons ou l'aide financière afin d'obtenir des produits Emotiv pour votre projet d'EEG ou de BCI, nous serions ravis de recevoir de vos nouvelles.

Contactez-nous