• Un groupe d'étudiants talentueux de l'USC Berkley a remporté le premier prix au Cal Hacks 2024 pour leur projet musical innovant basé sur l'interface BCI, intitulé "Duet".

• Duet utilise l'intelligence artificielle pour composer de la musique en fonction des états émotionnels en temps réel, collectés et traduits par un casque Emotiv EPOC X et le logiciel EmotivPRO avec l'API Cortex.

• Les étudiants espèrent que Duet offrira une musicothérapie efficace pour les enfants et les personnes handicapées grâce à des expériences musicales personnalisées.

Emotiv félicite chaleureusement les étudiants de l'USC Berkley Jiahui Jin, Sophia Zhang, Daniel Wang et Justin Wu pour avoir remporté le premier prix au Cal Hacks 2024, le plus grand hackathon universitaire au monde. Le projet BCI de Jin et al., Duet, traduit les mesures de performance des ondes cérébrales en temps réel en musique générée par IA et en retour visuel.

La création de Duet a été inspirée par la volonté de relever les défis de l'enseignement de la musique aux enfants souffrant de troubles du développement.

"Malheureusement, de nombreux enfants se retrouvent sans les outils nécessaires pour communiquer et s'exprimer de manière créative", explique l'équipe. "C'est là qu'intervient Duet. En utilisant la technologie EEG, nous visons à transformer la façon dont ces enfants interagissent avec la musique, en leur donnant une voix et un moyen de partager leurs sentiments."

Comment ça marche

Duet utilise l'intelligence artificielle pour composer de la musique basée sur les états émotionnels d'une personne en temps réel en lisant ses ondes cérébrales. L'équipe a utilisé des casques Emotiv EPOC X pour diffuser les données d'ondes cérébrales et les a traitées via Python avec l'API Emotiv Cortex. Pour les aider dans leurs efforts, Emotiv a permis aux étudiants d'emprunter le matériel EEG et leur a accordé un accès temporaire à sa licence logicielle PRO.

L'apprentissage automatique propriétaire d'Emotiv a classé l'activité cérébrale en états émotionnels (mesures de performance), qui ont été transmis au LLM Gemini de Google pour générer de la musique. Au lieu de suivre des règles fixes, Duet a agi comme un compositeur en direct, décidant des prochaines secondes de musique en fonction des émotions, des instruments disponibles et des morceaux précédents.

Sonic Pi a géré la lecture de la musique en direct, SingleStore a géré les données à faible latence, et notre frontend Next.js a visualisé à la fois les ondes cérébrales et la musique correspondante en temps réel, a expliqué l'équipe.

"Chez Duet, nous nous engageons à faire de la musique une expérience inclusive pour tous, en veillant à ce que chaque enfant — et tous ceux qui ont du mal à s'exprimer — aient l'opportunité de révéler leur véritable potentiel créatif !"

L'avenir de Duet BCI

Jin et al. expliquent que leur plus grand défi a été de trouver un moyen de générer de la musique en direct grâce à l'intelligence artificielle.

"Nous pensions initialement que c'était impossible et que la technologie n'était pas encore “prête” — nous ne trouvions rien à ce sujet en ligne, et nous avons passé des heures à réfléchir à la façon de pivoter vers une autre idée que nous pourrions exploiter avec nos EEG", ont-ils déclaré.

"Cependant, nous avons fini par persévérer et avons conçu une méthode totalement inédite de génération de musique par IA en temps réel qui, à notre connaissance, n'existe nulle part ailleurs", a expliqué Jin et al. "C'était pour la plupart d'entre nous la première fois que nous travaillions avec ce type de matériel, et nous avons rencontré de nombreux problèmes pour le connecter correctement à nos ordinateurs — mais au bout du compte, nous avons réussi à tout faire fonctionner de manière fluide, donc c'était un exploit immense pour nous d'y parvenir !"

Pour en savoir plus sur Duet et consulter le code sur GitHub afin de l'essayer vous-même, découvrez l'histoire complète sur DevPost.

De la part de nous tous chez Emotiv - félicitations à l'équipe, nous sommes si fiers de vous !

Vous aimerez peut-être aussi :

• Ce programme BCI connecte les enfants handicapés à leur monde

• La thérapie par neurofeedback musical pour traiter la dépression des personnes âgées

• Interface Cerveau-Ordinateur Musicale : comment contrôler Spotify par la pensée

L'innovation BCI pour tous

Emotiv soutient fièrement l'innovation pour le bien-être de l'humanité. Si vous souhaitez vous renseigner sur le prêt de produits, les dons ou l'aide financière pour obtenir des produits Emotiv pour votre projet EEG ou BCI, nous serions ravis de vous entendre.

Contactez-nous