Duet: Brainwaves Music BCI-Projekt gewinnt Cal Hacks 2024
Heidi Duran
21.10.2024
Teilen:
Eine talentierte Gruppe von Studenten der USC Berkley hat beim Cal Hacks 2024 den ersten Preis für ihr innovatives BCI-Musikprojekt "Duet" gewonnen.
Duet nutzt KI, um Musik basierend auf den emotionalen Zuständen in Echtzeit zu komponieren, die von einem Emotiv EPOC X-Headset und der EmotivPRO-Software mit der Cortex-API gesammelt und übersetzt werden.
Die Studenten hoffen, dass Duet effektive Musiktherapie für Kinder und Menschen mit Behinderungen durch personalisierte musikalische Erfahrungen bieten wird.
Emotiv spricht den Studenten der USC Berkley Jiahui Jin, Sophia Zhang, Daniel Wang und Justin Wu herzliche Glückwünsche zum Gewinn des ersten Preises beim Cal Hacks 2024, dem größten Hochschul-Hackathon der Welt, aus. Jin et al.'s BCI-Projekt Duet übersetzt Echtzeit-Daten zu Gehirnwellen-Performance-Metriken in KI-generierte Musik und visuelles Feedback.
Die Inspiration für Duet war das Ziel, die Herausforderungen des Musikunterrichts für Kinder mit Entwicklungsstörungen zu meistern.
"Leider bleiben viele Kinder ohne die Werkzeuge, die sie benötigen, um sich kreativ auszudrücken und zu kommunizieren," erklärt das Team . "Hier setzt Duet an. Durch die Nutzung von EEG-Technologie wollen wir die Art und Weise verändern, wie diese Kinder mit Musik interagieren, ihnen eine Stimme geben und ihnen ermöglichen, ihre Gefühle zu teilen."
Wie es funktioniert
Duet nutzt künstliche Intelligenz, um Musik basierend auf den emotionalen Zuständen einer Person in Echtzeit durch das Lesen von Gehirnwellen zu komponieren. Das Team verwendete Emotiv EPOC X-Headsets, um Gehirnwellen-Daten zu streamen und bearbeitete diese mit Python über die Emotiv Cortex API. Um sie bei ihren Bestrebungen zu unterstützen, arrangierte Emotiv, dass die Studenten die EEG-Hardware ausleihen konnten und gewährte vorübergehenden Zugang zu ihrer PRO-Abonnements-Software.
Emovits proprietäre Maschinenlernmethoden klassifizierten die Gehirnaktivität in emotionale Zustände (Leistungsmetriken), die in Googles Gemini LLM eingespeist wurden, um Musik zu generieren. Anstatt festen Regeln zu folgen, agierte Duet als Live-Komponist und entschied über die nächsten Sekunden Musik basierend auf Emotionen, verfügbaren Instrumenten und vorherigen Ausgaben.
Sonic Pi übernahm die Live-Musik-Wiedergabe, SingleStore verwaltete die latenzarmen Daten, und unser Frontend in Next.js visualisierte sowohl Gehirnwellen als auch die entsprechende Musik in Echtzeit, erklärte das Team.
"Bei Duet setzen wir uns dafür ein, Musik für alle zu einer inklusiven Erfahrung zu machen und sicherzustellen, dass jedes Kind – und jeder, der Schwierigkeiten hat, sich auszudrücken – die Möglichkeit hat, sein wahres kreatives Ich zu vermitteln!"
Die Zukunft von Duet BCI
Jin et al. sagen, dass ihre größte Herausforderung darin bestand, einen Weg zu finden, um mit künstlicher Intelligenz live Musik zu erzeugen.
"Wir dachten ursprünglich, es sei unmöglich und die Technologie sei noch nicht "da" – wir konnten online nichts darüber finden und verbrachten Stunden damit, darüber nachzudenken, wie wir auf eine andere Idee umschwenken könnten, bei der wir unsere EEGs einsetzen könnten," sagten sie.
"Wir haben jedoch schließlich durchgehalten und eine völlig neue Methode zur Live-Generierung von KI-Musik entwickelt, die unseres Wissens nirgendwo sonst existiert," erklärten Jin et al. "Es war für die meisten von uns das erste Mal, dass wir mit dieser Art von Hardware arbeiteten, und wir hatten viele Probleme damit, sie richtig mit unseren Computern zu verbinden – aber am Ende haben wir alles zum Laufen gebracht, sodass es für uns ein großer Erfolg war, dass alles funktionierte!"
Um mehr über Duet zu erfahren und den Code auf GitHub anzusehen, um es selbst auszuprobieren, schau dir die komplette Geschichte auf DevPost an.
Von allen bei Emotiv – herzlichen Glückwunsch, Team, wir sind so stolz auf euch!
Das könnte dir auch gefallen:
Dieses BCI-Programm verbindet Kinder mit Behinderungen mit ihrer Welt
Musik-Neurofeedback-Therapie zur Behandlung von Depressionen bei Senioren
Musik-Gehirn-Computer-Schnittstelle: Wie man Spotify mit dem Geist steuert
BCI-Innovation für Alle
Emotiv unterstützt stolz Innovationen zur Verbesserung der Menschheit. Wenn Sie Informationen über Produktverleih, Spenden oder finanzielle Unterstützung zur Beschaffung von Emotiv-Produkten für Ihr EEG- oder BCI-Projekt wünschen, würden wir uns freuen, von Ihnen zu hören.
Kontaktieren Sie uns
Eine talentierte Gruppe von Studenten der USC Berkley hat beim Cal Hacks 2024 den ersten Preis für ihr innovatives BCI-Musikprojekt "Duet" gewonnen.
Duet nutzt KI, um Musik basierend auf den emotionalen Zuständen in Echtzeit zu komponieren, die von einem Emotiv EPOC X-Headset und der EmotivPRO-Software mit der Cortex-API gesammelt und übersetzt werden.
Die Studenten hoffen, dass Duet effektive Musiktherapie für Kinder und Menschen mit Behinderungen durch personalisierte musikalische Erfahrungen bieten wird.
Emotiv spricht den Studenten der USC Berkley Jiahui Jin, Sophia Zhang, Daniel Wang und Justin Wu herzliche Glückwünsche zum Gewinn des ersten Preises beim Cal Hacks 2024, dem größten Hochschul-Hackathon der Welt, aus. Jin et al.'s BCI-Projekt Duet übersetzt Echtzeit-Daten zu Gehirnwellen-Performance-Metriken in KI-generierte Musik und visuelles Feedback.
Die Inspiration für Duet war das Ziel, die Herausforderungen des Musikunterrichts für Kinder mit Entwicklungsstörungen zu meistern.
"Leider bleiben viele Kinder ohne die Werkzeuge, die sie benötigen, um sich kreativ auszudrücken und zu kommunizieren," erklärt das Team . "Hier setzt Duet an. Durch die Nutzung von EEG-Technologie wollen wir die Art und Weise verändern, wie diese Kinder mit Musik interagieren, ihnen eine Stimme geben und ihnen ermöglichen, ihre Gefühle zu teilen."
Wie es funktioniert
Duet nutzt künstliche Intelligenz, um Musik basierend auf den emotionalen Zuständen einer Person in Echtzeit durch das Lesen von Gehirnwellen zu komponieren. Das Team verwendete Emotiv EPOC X-Headsets, um Gehirnwellen-Daten zu streamen und bearbeitete diese mit Python über die Emotiv Cortex API. Um sie bei ihren Bestrebungen zu unterstützen, arrangierte Emotiv, dass die Studenten die EEG-Hardware ausleihen konnten und gewährte vorübergehenden Zugang zu ihrer PRO-Abonnements-Software.
Emovits proprietäre Maschinenlernmethoden klassifizierten die Gehirnaktivität in emotionale Zustände (Leistungsmetriken), die in Googles Gemini LLM eingespeist wurden, um Musik zu generieren. Anstatt festen Regeln zu folgen, agierte Duet als Live-Komponist und entschied über die nächsten Sekunden Musik basierend auf Emotionen, verfügbaren Instrumenten und vorherigen Ausgaben.
Sonic Pi übernahm die Live-Musik-Wiedergabe, SingleStore verwaltete die latenzarmen Daten, und unser Frontend in Next.js visualisierte sowohl Gehirnwellen als auch die entsprechende Musik in Echtzeit, erklärte das Team.
"Bei Duet setzen wir uns dafür ein, Musik für alle zu einer inklusiven Erfahrung zu machen und sicherzustellen, dass jedes Kind – und jeder, der Schwierigkeiten hat, sich auszudrücken – die Möglichkeit hat, sein wahres kreatives Ich zu vermitteln!"
Die Zukunft von Duet BCI
Jin et al. sagen, dass ihre größte Herausforderung darin bestand, einen Weg zu finden, um mit künstlicher Intelligenz live Musik zu erzeugen.
"Wir dachten ursprünglich, es sei unmöglich und die Technologie sei noch nicht "da" – wir konnten online nichts darüber finden und verbrachten Stunden damit, darüber nachzudenken, wie wir auf eine andere Idee umschwenken könnten, bei der wir unsere EEGs einsetzen könnten," sagten sie.
"Wir haben jedoch schließlich durchgehalten und eine völlig neue Methode zur Live-Generierung von KI-Musik entwickelt, die unseres Wissens nirgendwo sonst existiert," erklärten Jin et al. "Es war für die meisten von uns das erste Mal, dass wir mit dieser Art von Hardware arbeiteten, und wir hatten viele Probleme damit, sie richtig mit unseren Computern zu verbinden – aber am Ende haben wir alles zum Laufen gebracht, sodass es für uns ein großer Erfolg war, dass alles funktionierte!"
Um mehr über Duet zu erfahren und den Code auf GitHub anzusehen, um es selbst auszuprobieren, schau dir die komplette Geschichte auf DevPost an.
Von allen bei Emotiv – herzlichen Glückwunsch, Team, wir sind so stolz auf euch!
Das könnte dir auch gefallen:
Dieses BCI-Programm verbindet Kinder mit Behinderungen mit ihrer Welt
Musik-Neurofeedback-Therapie zur Behandlung von Depressionen bei Senioren
Musik-Gehirn-Computer-Schnittstelle: Wie man Spotify mit dem Geist steuert
BCI-Innovation für Alle
Emotiv unterstützt stolz Innovationen zur Verbesserung der Menschheit. Wenn Sie Informationen über Produktverleih, Spenden oder finanzielle Unterstützung zur Beschaffung von Emotiv-Produkten für Ihr EEG- oder BCI-Projekt wünschen, würden wir uns freuen, von Ihnen zu hören.
Kontaktieren Sie uns
Eine talentierte Gruppe von Studenten der USC Berkley hat beim Cal Hacks 2024 den ersten Preis für ihr innovatives BCI-Musikprojekt "Duet" gewonnen.
Duet nutzt KI, um Musik basierend auf den emotionalen Zuständen in Echtzeit zu komponieren, die von einem Emotiv EPOC X-Headset und der EmotivPRO-Software mit der Cortex-API gesammelt und übersetzt werden.
Die Studenten hoffen, dass Duet effektive Musiktherapie für Kinder und Menschen mit Behinderungen durch personalisierte musikalische Erfahrungen bieten wird.
Emotiv spricht den Studenten der USC Berkley Jiahui Jin, Sophia Zhang, Daniel Wang und Justin Wu herzliche Glückwünsche zum Gewinn des ersten Preises beim Cal Hacks 2024, dem größten Hochschul-Hackathon der Welt, aus. Jin et al.'s BCI-Projekt Duet übersetzt Echtzeit-Daten zu Gehirnwellen-Performance-Metriken in KI-generierte Musik und visuelles Feedback.
Die Inspiration für Duet war das Ziel, die Herausforderungen des Musikunterrichts für Kinder mit Entwicklungsstörungen zu meistern.
"Leider bleiben viele Kinder ohne die Werkzeuge, die sie benötigen, um sich kreativ auszudrücken und zu kommunizieren," erklärt das Team . "Hier setzt Duet an. Durch die Nutzung von EEG-Technologie wollen wir die Art und Weise verändern, wie diese Kinder mit Musik interagieren, ihnen eine Stimme geben und ihnen ermöglichen, ihre Gefühle zu teilen."
Wie es funktioniert
Duet nutzt künstliche Intelligenz, um Musik basierend auf den emotionalen Zuständen einer Person in Echtzeit durch das Lesen von Gehirnwellen zu komponieren. Das Team verwendete Emotiv EPOC X-Headsets, um Gehirnwellen-Daten zu streamen und bearbeitete diese mit Python über die Emotiv Cortex API. Um sie bei ihren Bestrebungen zu unterstützen, arrangierte Emotiv, dass die Studenten die EEG-Hardware ausleihen konnten und gewährte vorübergehenden Zugang zu ihrer PRO-Abonnements-Software.
Emovits proprietäre Maschinenlernmethoden klassifizierten die Gehirnaktivität in emotionale Zustände (Leistungsmetriken), die in Googles Gemini LLM eingespeist wurden, um Musik zu generieren. Anstatt festen Regeln zu folgen, agierte Duet als Live-Komponist und entschied über die nächsten Sekunden Musik basierend auf Emotionen, verfügbaren Instrumenten und vorherigen Ausgaben.
Sonic Pi übernahm die Live-Musik-Wiedergabe, SingleStore verwaltete die latenzarmen Daten, und unser Frontend in Next.js visualisierte sowohl Gehirnwellen als auch die entsprechende Musik in Echtzeit, erklärte das Team.
"Bei Duet setzen wir uns dafür ein, Musik für alle zu einer inklusiven Erfahrung zu machen und sicherzustellen, dass jedes Kind – und jeder, der Schwierigkeiten hat, sich auszudrücken – die Möglichkeit hat, sein wahres kreatives Ich zu vermitteln!"
Die Zukunft von Duet BCI
Jin et al. sagen, dass ihre größte Herausforderung darin bestand, einen Weg zu finden, um mit künstlicher Intelligenz live Musik zu erzeugen.
"Wir dachten ursprünglich, es sei unmöglich und die Technologie sei noch nicht "da" – wir konnten online nichts darüber finden und verbrachten Stunden damit, darüber nachzudenken, wie wir auf eine andere Idee umschwenken könnten, bei der wir unsere EEGs einsetzen könnten," sagten sie.
"Wir haben jedoch schließlich durchgehalten und eine völlig neue Methode zur Live-Generierung von KI-Musik entwickelt, die unseres Wissens nirgendwo sonst existiert," erklärten Jin et al. "Es war für die meisten von uns das erste Mal, dass wir mit dieser Art von Hardware arbeiteten, und wir hatten viele Probleme damit, sie richtig mit unseren Computern zu verbinden – aber am Ende haben wir alles zum Laufen gebracht, sodass es für uns ein großer Erfolg war, dass alles funktionierte!"
Um mehr über Duet zu erfahren und den Code auf GitHub anzusehen, um es selbst auszuprobieren, schau dir die komplette Geschichte auf DevPost an.
Von allen bei Emotiv – herzlichen Glückwunsch, Team, wir sind so stolz auf euch!
Das könnte dir auch gefallen:
Dieses BCI-Programm verbindet Kinder mit Behinderungen mit ihrer Welt
Musik-Neurofeedback-Therapie zur Behandlung von Depressionen bei Senioren
Musik-Gehirn-Computer-Schnittstelle: Wie man Spotify mit dem Geist steuert
BCI-Innovation für Alle
Emotiv unterstützt stolz Innovationen zur Verbesserung der Menschheit. Wenn Sie Informationen über Produktverleih, Spenden oder finanzielle Unterstützung zur Beschaffung von Emotiv-Produkten für Ihr EEG- oder BCI-Projekt wünschen, würden wir uns freuen, von Ihnen zu hören.
