Duet: โครงการดนตรีคลื่นสมอง BCI ชนะเลิศที่ Cal Hacks 2024

• กลุ่มนักเรียนที่มีความสามารถจาก USC Berkley ได้รับรางวัลที่หนึ่งในงาน Cal Hacks 2024 สำหรับโครงการดนตรี BCI ที่เป็นนวัตกรรมของพวกเขา "Duet"

• Duet ใช้ AI ในการประพันธ์ดนตรีตามสถานะทางอารมณ์ตามเวลาจริงที่รวบรวมและแปลโดยชุดหูฟัง Emotiv Epoc X และซอฟต์แวร์ emotivpro ด้วย Cortex API

• นักเรียนหวังว่า Duet จะเสนอการบำบัดด้วยดนตรีที่มีประสิทธิภาพสำหรับเด็กและบุคคลที่มีความบกพร่องทางร่างกายผ่านประสบการณ์ดนตรีที่ปรับให้เหมาะสม

Emotiv ขอแสดงความยินดีอย่างสุดใจต่อ Jiahui Jin, Sophia Zhang, Daniel Wang, และ Justin Wu นักเรียน USC Berkley ที่ได้รับรางวัลที่หนึ่งในงาน Cal Hacks 2024 ซึ่งเป็นการท้าทาย hackathon ระดับมหาวิทยาลัยที่ใหญ่ที่สุดในโลก โครงการ BCI ของ Jin และคณะ Duet แปลเมตริกประสิทธิภาพคลื่นสมองแบบเรียลไทม์เป็นดนตรีที่สร้างด้วย AI และการตอบกลับภาพ

แรงบันดาลใจสำหรับ Duet คือการตอบสนองความท้าทายในการสอนดนตรีให้กับเด็กที่มีความบกพร่องในการพัฒนา

"น่าเสียดายที่เด็กหลายคนไม่มีเครื่องมือที่จำเป็นในการสื่อสารและแสดงความสร้างสรรค์," ทีมงาน อธิบาย. "นั่นคือที่ Duet เข้ามาช่วย ด้วยการใช้เทคโนโลยี EEG เรามุ่งหวังที่จะเปลี่ยนวิธีที่เด็กเหล่านี้มีปฏิสัมพันธ์กับดนตรี ให้พวกเขามีเสียงและวิธีในการแบ่งปันความรู้สึกของพวกเขา"

วิธีการทำงาน

Duet ใช้ปัญญาประดิษฐ์ในการประพันธ์เพลงตามสถานะทางอารมณ์ของบุคคลตามเวลาจริงโดยการอ่านคลื่นสมอง ทีมงานใช้ ชุดหูฟัง Emotiv Epoc X เพื่อสตรีมข้อมูลคลื่นสมองและประมวลผลด้วย Python กับ Emotiv Cortex API. เพื่อช่วยพวกเขาในการดำเนินการ Emotiv ได้จัดให้นักเรียนยืมฮาร์ดแวร์ EEG และให้การเข้าถึงชั่วคราวกับซอฟต์แวร์ PRO ที่สมัครสมาชิก

การเรียนรู้เครื่องเฉพาะตัวของ Emotiv ทำการจัดประเภทกิจกรรมสมองให้เป็นสถานะทางอารมณ์ (เมตริกประสิทธิภาพ), เสนอเป็นข้อมูลให้กับ Google Gemini LLM ในการสร้างดนตรี แทนที่จะทำตามกฎที่กำหนดไว้ Duet ทำงานเป็นนักประพันธ์สด ตัดสินใจสร้างดนตรีในไม่กี่วินาทีถัดไปตามอารมณ์ เครื่องดนตรีที่มีอยู่ และผลลัพธ์ก่อนหน้า

Sonic Pi จัดการการเล่นดนตรีสด SingleStore บริหารจัดการข้อมูลความหน่วงต่ำ และ Next.js frontend ของเราแสดงภาพคลื่นสมองและดนตรีที่เกี่ยวข้องในเวลาจริง ทีมงานอธิบาย

"ที่ Duet เราทุ่มเทให้ดนตรีเป็นประสบการณ์ที่ครอบคลุมสำหรับทุกคน, มั่นใจว่าเด็กทุกคน—และคนที่มีความยากลำบากในการแสดงออก—มีโอกาสในการแสดงความคิดสร้างสรรค์ที่แท้จริงของตัวเอง!"

อนาคตของ Duet BCI

Jin et al. กล่าวว่าความท้าทายที่ใหญ่ที่สุดของพวกเขาคือการคิดวิธีสร้างดนตรีสดด้วยปัญญาประดิษฐ์

"เราเคยคิดว่าเป็นไปไม่ได้และเทคโนโลยีไม่ “ถึงที่นั่น” หลังจากไม่พบอะไรออนไลน์เกี่ยวกับเรื่องนี้, และแม้กระทั่งใช้เวลาหลายชั่วโมงคิดเกี่ยวกับการเปลี่ยนแนวคิดใหม่ที่จะใช้ EEG ของเราได้," พวกเขากล่าว

"อย่างไรก็ตาม เราผลักดันไปข้างหน้าและคิดหาวิธีใหม่ทั้งหมดของการสร้างดนตรี AI สดที่, เท่าที่เราทราบ, ไม่เคยมีอยู่ที่ไหนเลย," Jin et al. อธิบาย "มันเป็นครั้งแรกของเราหลายครั้งในการทำงานกับฮาร์ดแวร์ประเภทนี้, และเราพบปัญหามากมายในการทำให้มันเชื่อมต่อกับคอมพิวเตอร์ของเราอย่างถูกต้อง—แต่ท้ายที่สุด, เราทำให้ทุกอย่างทำงานได้อย่างราบรื่น, ดังนั้นมันเป็นความสำเร็จที่ใหญ่หลวงในการทำให้มันทำงานได้!"

เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับ Duet และดูโค้ดใน GitHub ลองทำเอง ดูเรื่องราวเต็มบน DevPost.

จากพวกเราทุกคนที่ Emotiv - ขอแสดงความยินดี, ทีมงาน, เราภูมิใจในตัวคุณมาก!

คุณอาจจะสนใจ:

• โปรแกรม BCI นี้เชื่อมต่อเด็กที่มีความบกพร่องทางร่างกายกับโลกของพวกเขา

• การบำบัดด้วยเสียงดนตรี Neurofeedback สำหรับรักษาอาการซึมเศร้าของผู้สูงอายุ

• Music Brain Computer Interface: วิธีควบคุม Spotify ด้วยสมองของคุณ

นวัตกรรม BCI สำหรับทุกคน

Emotiv สนับสนุนการนวัตกรรมเพื่อปรับปรุงมนุษยชาติอย่างภูมิใจ หากคุณต้องการสอบถามเกี่ยวกับการให้ยืมผลิตภัณฑ์, การบริจาค, หรือความช่วยเหลือทางการเงินในการได้รับผลิตภัณฑ์ Emotiv สำหรับโครงการ EEG หรือ BCI ของคุณ, เราอยากได้ยินจากคุณ

ติดต่อเรา