Duet: Proyek Musik Gelombang Otak BCI Memenangkan Cal Hacks 2024

• Sekelompok mahasiswa berbakat di USC Berkley memenangkan hadiah utama di Cal Hacks 2024 untuk proyek musik BCI inovatif mereka, "Duet."

• Duet menggunakan AI untuk menyusun musik berdasarkan keadaan emosional waktu nyata yang dikumpulkan dan diterjemahkan oleh headset Emotiv EPOC X dan perangkat lunak EmotivPRO dengan API Cortex.

• Mahasiswa berharap Duet akan menawarkan terapi musik yang efektif untuk anak-anak dan individu dengan disabilitas melalui pengalaman musik yang dipersonalisasi.

Emotiv mengucapkan selamat yang tulus kepada mahasiswa USC Berkley Jiahui Jin, Sophia Zhang, Daniel Wang, dan Justin Wu karena telah memenangkan hadiah utama di Cal Hacks 2024, hackathon perguruan tinggi terbesar di dunia. Proyek BCI Jin dkk., Duet, menerjemahkan metrik kinerja gelombang otak waktu nyata menjadi musik yang dihasilkan oleh AI dan umpan balik visual.

Inspirasi untuk Duet adalah untuk menghadapi tantangan dalam mengajarkan musik kepada anak-anak dengan disabilitas perkembangan.

"Sayangnya, banyak anak yang ditinggalkan tanpa alat yang mereka butuhkan untuk berkomunikasi dan mengekspresikan diri secara kreatif," jelas tim menjelaskan. "Di situlah Duet berperan. Dengan memanfaatkan teknologi EEG, kami bertujuan untuk mengubah cara anak-anak ini berinteraksi dengan musik, memberikan mereka suara dan sarana untuk membagikan perasaan mereka."

Cara Kerjanya

Duet menggunakan kecerdasan buatan untuk menyusun musik berdasarkan keadaan emosional waktu nyata seseorang dengan membaca gelombang otak. Tim menggunakan headset Emotiv EPOC X untuk menyiarkan data gelombang otak dan memprosesnya melalui Python dengan API Corteks Emotiv. Untuk membantu mereka dalam usaha mereka, Emotiv mengatur agar mahasiswa meminjam perangkat keras EEG dan memberikan akses sementara ke perangkat lunak langganan PRO-nya.

Machine learning milik Emotiv mengklasifikasikan aktivitas otak menjadi keadaan emosional (metrik kinerja), yang dimasukkan ke dalam LLM Gemini Google untuk menghasilkan musik. Alih-alih mengikuti aturan tetap, Duet bertindak sebagai komposer langsung, memutuskan beberapa detik musik berikutnya berdasarkan emosi, instrumen yang tersedia, dan keluaran sebelumnya.

Sonic Pi menangani pemutaran musik langsung, SingleStore mengelola data latensi rendah, dan frontend Next.js kami memvisualisasikan baik gelombang otak maupun musik yang sesuai secara waktu nyata, jelas tim.

"Di Duet, kami berkomitmen untuk menjadikan musik sebagai pengalaman yang inklusif untuk semua, memastikan bahwa setiap anak—dan siapa pun yang kesulitan mengekspresikan diri—memiliki kesempatan untuk menyampaikan diri kreatif mereka yang sebenarnya!"

Masa Depan Duet BCI

Jin dkk. mengatakan tantangan terbesar mereka adalah menemukan cara untuk menghasilkan musik langsung dengan kecerdasan buatan.

"Kami awalnya berpikir itu tidak mungkin dan bahwa teknologinya belum "ada" — kami tidak dapat menemukan apa pun secara online tentang itu, dan bahkan menghabiskan berjam-jam berpikir tentang bagaimana beralih ke ide lain yang bisa kami gunakan dengan EEG kami," kata mereka.

"Namun, kami akhirnya berhasil dan menemukan metode baru untuk melakukan generasi musik AI langsung yang, sepengetahuan kami, tidak ada di tempat lain," jelas Jin dkk. "Ini adalah sebagian besar dari pertama kalinya kami bekerja dengan jenis perangkat keras ini, dan kami mengalami banyak masalah untuk menghubungkannya dengan benar ke komputer kami — tetapi pada akhirnya, kami berhasil menjalankannya dengan lancar, jadi itu adalah pencapaian besar bagi kami untuk membuat semuanya berfungsi!"

Untuk mempelajari lebih lanjut tentang Duet dan melihat kode di GitHub untuk mencobanya sendiri, lihat cerita lengkapnya di DevPost.

Dari kami semua di Emotiv - selamat, tim, kami sangat bangga pada kalian!

Anda juga mungkin menyukai:

• Program BCI Ini Menghubungkan Anak-Anak dengan Disabilitas ke Dunia Mereka

• Terapi Neurofeedback Musik untuk Mengatasi Depresi pada Lansia

• Antarmuka Komputer Otak Musik: Cara Mengendalikan Spotify dengan Pikiran Anda

Inovasi BCI untuk Semua

Emotiv dengan bangga mendukung inovasi untuk perbaikan kemanusiaan. Jika Anda ingin menanyakan tentang pinjaman produk, donasi, atau bantuan keuangan untuk mendapatkan produk Emotiv untuk proyek EEG atau BCI Anda, kami senang mendengar dari Anda.

Hubungi Kami