• กลุ่มนักศึกษาที่มีความสามารถโดดเด่นจาก USC Berkley คว้ารางวัลชนะเลิศในงาน Cal Hacks 2024 จากโครงการดนตรี BCI ที่เป็นนวัตกรรมใหม่ภายใต้ชื่อ "Duet"

• Duet ใช้ AI ในการประพันธ์เพลงตามสถานะทางอารมณ์แบบเรียลไทม์ ซึ่งรวบรวมและแปลผลโดยชุดหูฟัง Emotiv Epoc X และซอฟต์แวร์ EmotivPRO ร่วมกับ Cortex API

• เหล่านักศึกษาหวังว่า Duet จะช่วยมอบดนตรีบำบัดที่มีประสิทธิภาพให้กับเด็กและผู้พิการผ่านประสบการณ์ทางดนตรีที่ออกแบบมาเฉพาะบุคคล

Emotiv ขอแสดงความยินดีอย่างสุดซึ้งกับนักศึกษาจาก USC Berkley ได้แก่ Jiahui Jin, Sophia Zhang, Daniel Wang และ Justin Wu ที่คว้ารางวัลชนะเลิศในงาน Cal Hacks 2024 ซึ่งเป็นงานแฮกกาธอนระดับมหาวิทยาลัยที่ใหญ่ที่สุดในโลก โครงการ BCI ของ Jin และคณะที่ชื่อว่า Duet นี้ ทำการแปลงข้อมูลประสิทธิภาพคลื่นสมองแบบเรียลไทม์ให้เป็นเพลงที่สร้างโดย AI และการตอบสนองในรูปแบบภาพ

แรงบันดาลใจสำหรับ Duet คือการตอบสนองต่อความท้าทายในการสอนดนตรีให้แก่เด็กที่มีความบกพร่องทางพัฒนาการ

"น่าเสียดายที่เด็กๆ หลายคนขาดเครื่องมือที่จำเป็นในการสื่อสารและแสดงออกอย่างสร้างสรรค์" ทีมงาน อธิบาย "นั่นคือจุดเริ่มต้นของ Duet ด้วยการใช้เทคโนโลยี EEG เรามีเป้าหมายที่จะเปลี่ยนวิธีที่เด็กเหล่านี้มีปฏิสัมพันธ์กับดนตรี เพื่อมอบเสียงและช่องทางในการแบ่งปันความรู้สึกของพวกเขา"

วิธีการทำงาน

Duet ใช้ปัญญาประดิษฐ์ในการประพันธ์เพลงตามสถานะทางอารมณ์แบบเรียลไทม์ของบุคคลโดยการอ่านคลื่นสมอง ทีมงานใช้ชุดหูฟัง Emotiv Epoc X เพื่อสตรีมข้อมูลคลื่นสมองและประมวลผลผ่าน Python ด้วย Emotiv Cortex API เพื่อช่วยเหลือพวกเขาในความเพียรพยายามนี้ Emotiv จึงได้จัดเตรียมอุปกรณ์ฮาร์ดแวร์ EEG ให้เหล่านักศึกษาหยิบยืม และอนุญาตให้เข้าใช้งานซอฟต์แวร์การสมัครสมาชิกแบบ PRO เป็นการชั่วคราว

แมชชีนเลิร์นนิงที่เป็นกรรมสิทธิ์ของ Emotiv จะจำแนกประเภทกิจกรรมของสมองออกเป็นสถานะทางอารมณ์ (ตัวชี้วัดประสิทธิภาพ) แล้วส่งข้อมูลไปยัง Gemini LLM ของ Google เพื่อสร้างดนตรี แทนที่จะปฏิบัติตามกฎที่ตายตัว Duet ทำหน้าที่เหมือนกับนักประพันธ์เพลงสด โดยตัดสินใจเลือกดนตรีในอีกไม่กี่วินาทีข้างหน้าตามอารมณ์ เครื่องดนตรีที่มีอยู่ และผลลัพธ์ก่อนหน้า

Sonic Pi รับหน้าที่จัดการการเล่นดนตรีสด SingleStore จัดการข้อมูลที่มีความหน่วงต่ำ และ Next.js ในส่วนหน้า (frontend) ของเราจะแสดงผลภาพทั้งคลื่นสมองและดนตรีที่สอดคล้องกันแบบเรียลไทม์ ทีมงานอธิบาย

"ที่ Duet เรามุ่งมั่นที่จะทำให้ดนตรีเป็นประสบการณ์ที่ครอบคลุมสำหรับทุกคน มั่นใจได้ว่าเด็กทุกคน—และใครก็ตามที่ดิ้นรนกับการแสดงออก—จะมีโอกาสถ่ายทอดตัวตนที่สร้างสรรค์ที่แท้จริงของพวกเขาได้!"

อนาคตของ Duet BCI

Jin และคณะกล่าวว่าความท้าทายที่ยิ่งใหญ่ที่สุดของพวกเขาคือการคิดค้นวิธีสร้างดนตรีสดด้วยปัญญาประดิษฐ์

"ตอนแรกเราคิดว่ามันเป็นไปไม่ได้ และเทคโนโลยียังไปไม่ถึงจุดนั้น — เราไม่พบข้อมูลใดๆ เกี่ยวกับเรื่องนี้ทางออนไลน์เลย และถึงกับใช้เวลาหลายชั่วโมงในการคิดว่าจะเปลี่ยนไปใช้ไอเดียอื่นที่สามารถใช้กับ EEG ของเราได้อย่างไร" พวกเขากล่าว

"อย่างไรก็ตาม ในที่สุดเราก็ผลักดันจนสำเร็จและคิดค้นวิธีการใหม่ทั้งหมดในการสร้างสรรค์ดนตรีสดด้วย AI ซึ่งเท่าที่เราทราบ ไม่มีอยู่ที่อื่นเลย" Jin และคณะอธิบาย "นี่เป็นครั้งแรกของพวกเราส่วนใหญ่ที่ได้ทำงานกับฮาร์ดแวร์ประเภทนี้ และเราพบปัญหามากมายในการเชื่อมต่อกับคอมพิวเตอร์ของเราอย่างถูกต้อง — แต่ท้ายที่สุด เราก็ทำให้ทุกอย่างดำเนินไปได้อย่างราบรื่น ดังนั้นมันจึงเป็นความสำเร็จที่ยิ่งใหญ่มากสำหรับเราที่ทำให้มันทำงานร่วมกันได้ทั้งหมด!"

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Duet และดูโค้ดบน GitHub เพื่อทดลองใช้ด้วยตัวเอง เข้าไปดูเรื่องราวทั้งหมดบน DevPost ได้เลย

จากพวกเราทุกคนที่ Emotiv — ขอแสดงความยินดีด้วยนะทีมงาน พวกเราภูมิใจในตัวคุณมาก!

คุณอาจจะสนใจเช่นกัน:

• โปรแกรม BCI นี้เชื่อมโยงเด็กผู้พิการเข้ากับโลกของพวกเขา

• ดนตรีบำบัดด้วยวิธีประสาทป้อนกลับ (Neurofeedback) สำหรับการรักษาโรคซึมเศร้าในผู้สูงอายุ

• อินเทอร์เฟซสมองกับคอมพิวเตอร์ทางดนตรี: วิธีควบคุม Spotify ด้วยความคิดของคุณ

นวัตกรรม BCI เพื่อทุกคน

Emotiv สนับสนุนนวัตกรรมเพื่อความเป็นอยู่ที่ดีขึ้นของมนุษยชาติอย่างภาคภูมิใจ หากคุณต้องการสอบถามเกี่ยวกับการขอยืมผลิตภัณฑ์ การบริจาค หรือความช่วยเหลือทางการเงินเพื่อรับผลิตภัณฑ์ Emotiv ไปใช้ในโครงการ EEG หรือ BCI ของคุณ เรายินดีที่จะรับฟังจากคุณ

ติดต่อเรา