• Eine talentierte Gruppe von Studierenden an der USC Berkley gewann bei Cal Hacks 2024 den ersten Preis für ihr innovatives BCI-Musikprojekt „Duet“.

• Duet nutzt KI, um Musik auf der Grundlage von Echtzeit-Emotionszuständen zu komponieren, die von einem Emotiv Epoc X-Headset und der EmotivPRO-Software mit der Cortex API erfasst und übersetzt werden.

• Die Studierenden hoffen, dass Duet durch personalisierte musikalische Erlebnisse eine wirksame Musiktherapie für Kinder und Menschen mit Behinderungen bieten wird.

Emotiv übermittelt den Studierenden der USC Berkley, Jiahui Jin, Sophia Zhang, Daniel Wang und Justin Wu, herzliche Glückwünsche zum ersten Preis bei Cal Hacks 2024, dem größten Hochschul-Hackathon der Welt. Das BCI-Projekt Duet von Jin et al. übersetzt Echtzeit-Leistungskennzahlen von Gehirnwellen in KI-generierte Musik und visuelles Feedback.

Die Inspiration für Duet war, den Herausforderungen des Musikunterrichts für Kinder mit Entwicklungsstörungen zu begegnen.

„Leider bleiben vielen Kindern die Werkzeuge, die sie brauchen, um zu kommunizieren und sich kreativ auszudrücken, verwehrt“, erklärt das Team. „Genau hier kommt Duet ins Spiel. Durch den Einsatz von EEG-Technologie wollen wir die Art und Weise verändern, wie diese Kinder mit Musik interagieren, ihnen eine Stimme geben und ihnen ein Mittel an die Hand geben, ihre Gefühle mitzuteilen.“

So funktioniert es

Duet nutzt künstliche Intelligenz, um Musik auf der Grundlage der emotionalen Zustände einer Person in Echtzeit zu komponieren, indem es Gehirnwellen liest. Das Team verwendete Emotiv Epoc X-Headsets, um Gehirnwellen-Daten zu streamen, und verarbeitete sie mit Python über die Emotiv Cortex API. Um sie bei ihren Bemühungen zu unterstützen, organisierte Emotiv, dass die Studierenden die EEG-Hardware ausleihen konnten, und gewährte vorübergehenden Zugriff auf seine PRO-Abonnementsoftware.

Das proprietäre Machine-Learning von Emotiv klassifizierte die Gehirnaktivität in emotionale Zustände (Leistungskennzahlen) und speiste sie in Googles Gemini-LLM ein, um Musik zu erzeugen. Anstatt festen Regeln zu folgen, agierte Duet als Live-Komponist und entschied auf Grundlage von Emotionen, verfügbaren Instrumenten und vorherigen Ausgaben über die nächsten Sekunden der Musik.

Sonic Pi übernahm die Live-Wiedergabe der Musik, SingleStore verwaltete Daten mit geringer Latenz, und unser Next.js-Frontend visualisierte sowohl die Gehirnwellen als auch die dazugehörige Musik in Echtzeit, erklärten die Studierenden.

„Bei Duet setzen wir uns dafür ein, Musik zu einer inklusiven Erfahrung für alle zu machen und sicherzustellen, dass jedes Kind – und jeder, der Schwierigkeiten hat, sich auszudrücken – die Möglichkeit hat, sein wahres kreatives Selbst zum Ausdruck zu bringen!“

Die Zukunft von Duet BCI

Jin et al. sagen, dass ihre größte Herausforderung darin bestand, einen Weg zu finden, Live-Musik mit künstlicher Intelligenz zu erzeugen.

„Wir dachten ursprünglich, dass es unmöglich sei und dass die Technik noch nicht so weit war – wir konnten online nichts darüber finden und verbrachten sogar Stunden damit, darüber nachzudenken, wie wir auf eine andere Idee umschwenken könnten, mit der wir unsere EEGs verwenden könnten“, sagten sie.

„Wir haben uns jedoch schließlich durchgebissen und eine völlig neue Methode entwickelt, um Live-KI-Musik zu generieren, die unseres Wissens nach sonst nirgendwo existiert“, erklärte Jin et al. „Für die meisten von uns war es das erste Mal, mit dieser Art von Hardware zu arbeiten, und wir stießen auf viele Probleme dabei, sie ordnungsgemäß mit unseren Computern zu verbinden – aber am Ende bekamen wir alles reibungslos zum Laufen, also war es eine enorme Leistung für uns, dass alles funktioniert hat!“

Um mehr über Duet zu erfahren und den Code auf GitHub anzusehen, um es selbst auszuprobieren, sehen Sie sich die vollständige Geschichte auf DevPost an.

Von uns allen bei Emotiv – Glückwunsch, Team, wir sind so stolz auf euch!

Das könnte Ihnen auch gefallen:

• Dieses BCI-Programm verbindet Kinder mit Behinderungen mit ihrer Welt

• Musik-Neurofeedback-Therapie zur Behandlung von Depressionen bei Senioren

• Musik-Brain-Computer-Interface: Wie Sie Spotify mit Ihrem Geist steuern

BCI-Innovation für alle

Emotiv unterstützt stolz Innovation zum Wohle der Menschheit. Wenn Sie sich nach Produktleihgaben, Spenden oder finanzieller Unterstützung erkundigen möchten, um Emotiv-Produkte für Ihr EEG- oder BCI-Projekt zu erhalten, würden wir uns freuen, von Ihnen zu hören.

Kontaktieren Sie uns