• ¡Un talentoso grupo de estudiantes de la UC Berkeley se llevó el primer premio en Cal Hacks 2024 por su innovador proyecto musical de BCI, "Duet"!

• Duet utiliza IA para componer música basada en estados emocionales en tiempo real, recopilados y traducidos por un dispositivo Emotiv EPOC X y el software EmotivPRO con la API Cortex.

• Los estudiantes esperan que Duet ofrezca una musicoterapia eficaz para niños y personas con discapacidad a través de experiencias musicales personalizadas.

Emotiv felicita de todo corazón a los estudiantes de la UC Berkeley Jiahui Jin, Sophia Zhang, Daniel Wang y Justin Wu por ganar el primer premio en Cal Hacks 2024, el hackatón universitario más grande del mundo. El proyecto de BCI de Jin et al., Duet, traduce las métricas de rendimiento de ondas cerebrales en tiempo real en música generada por IA y retroalimentación visual.

La inspiración para Duet fue responder a los desafíos de enseñar música a niños con discapacidades del desarrollo.

"Lamentablemente, muchos niños se quedan sin las herramientas necesarias para comunicarse y expresarse de forma creativa", explica el equipo. "Ahí es donde entra Duet. Al utilizar la tecnología EEG, nuestro objetivo es transformar la forma en que estos niños interactúan con la música, dándoles una voz y un medio para compartir sus sentimientos".

Cómo funciona

Duet utiliza inteligencia artificial para componer música basada en los estados emocionales de una persona en tiempo real mediante la lectura de ondas cerebrales. El equipo utilizó dispositivos Emotiv EPOC X para transmitir datos de ondas cerebrales y los procesó mediante Python con la API Cortex de Emotiv. Para ayudarlos en su empeño, Emotiv facilitó a los estudiantes el préstamo del hardware de EEG y les concedió acceso temporal a su software de suscripción PRO.

El aprendizaje automático patentado de Emotiv clasificó la actividad cerebral en estados emocionales (métricas de rendimiento), que se introdujeron en el LLM Gemini de Google para generar la música. En lugar de seguir reglas de composición fijas, Duet actuó como un compositor en directo, decidiendo los siguientes segundos de música en función de las emociones, los instrumentos disponibles y las respuestas anteriores.

Sonic Pi se encargó de la reproducción de música en directo, SingleStore gestionó los datos de baja latencia y nuestra interfaz frontend en Next.js visualizó tanto las ondas cerebrales como la correspondiente música en tiempo real, explicó el equipo.

"¡En Duet, nos comprometemos a hacer de la música una experiencia inclusiva para todos, garantizando que cada niño —y cualquier persona que tenga dificultades para expresarse— tenga la oportunidad de transmitir su verdadero ser creativo!"

El futuro de Duet BCI

Jin et al. afirman que su mayor reto fue dar con una forma de generar música en directo con inteligencia artificial.

"Al principio pensábamos que era imposible y que la tecnología aún no estaba 'lista', no encontrábamos nada en internet al respecto, e incluso pasamos horas pensando en cómo pivotar hacia otra idea en la que pudiéramos usar nuestros EEG", afirmaron.

"Sin embargo, finalmente salimos adelante y se nos ocurrió un método completamente nuevo para generar música con IA en directo que, hasta donde sabemos, no existe en ningún otro lugar", explicó Jin et al. "Era nuestra primera vez trabajando con este tipo de hardware para la mayoría de nosotros, y tuvimos muchos problemas para conectarlo correctamente a nuestras computadoras; pero al final, logramos que todo funcionara sin problemas, ¡así que fue una gran hazaña para nosotros hacer que todo funcionara!"

Para saber más sobre Duet y ver el código en GitHub para probarlo tú mismo, echa un vistazo a la historia completa en DevPost.

De parte de todos nosotros en Emotiv: ¡felicitaciones equipo, estamos muy orgullosos de ustedes!

También podría interesarte:

• Este programa de BCI conecta a niños con discapacidades con su mundo

• Terapia de neurofeedback musical para tratar la depresión en personas mayores

• Interfaz cerebro-computadora musical: Cómo controlar Spotify con tu mente

Innovación en BCI para todos

Emotiv apoya con orgullo la innovación para el bienestar de la humanidad. Si deseas solicitar información sobre el préstamo de productos, donaciones o asistencia financiera para obtener productos de Emotiv para tu proyecto de EEG o BCI, nos encantaría saber de ti.

Contáctanos