• กลุ่มนักศึกษาที่มีความสามารถโดดเด่นจาก UC Berkeley คว้ารางวัลชนะเลิศอันดับหนึ่งในงาน Cal Hacks 2024 จากโครงการดนตรี BCI ที่เป็นนวัตกรรมใหม่ในชื่อ "Duet"

• Duet ใช้ AI ในการแต่งเพลงตามสภาวะอารมณ์แบบเรียลไทม์ ซึ่งรวบรวมและแปลผลโดยเฮดเซ็ท Emotiv Epoc X และซอฟต์แวร์ EmotivPRO ร่วมกับ Cortex API

• นักศึกษาหวังว่า Duet จะเป็นดนตรีบำบัดที่มีประสิทธิภาพสำหรับเด็กและบุคคลที่มีความบกพร่องทางร่างกายและสติปัญญาผ่านประสบการณ์ทางดนตรีที่เป็นส่วนตัว

Emotiv ขอแสดงความยินดีอย่างจริงใจกับนักศึกษาจาก UC Berkeley ได้แก่ Jiahui Jin, Sophia Zhang, Daniel Wang และ Justin Wu ที่ได้รับรางวัลชนะเลิศอันดับหนึ่งจากงาน Cal Hacks 2024 ซึ่งเป็นงานแฮกกาธอนระดับมหาวิทยาลัยที่ใหญ่ที่สุดในโลก โครงการ BCI ของ Jin และคณะในชื่อ Duet นี้ แปลค่าชี้วัดประสิทธิภาพของคลื่นสมองแบบเรียลไทม์ให้เป็นเพลงที่สร้างโดย AI และการตอบสนองทางภาพ

แรงบันดาลใจสำหรับ Duet คือการตอบสนองต่อความท้าทายในการสอนดนตรีให้กับเด็กที่มีความบกพร่องทางพัฒนาการ

"น่าเสียดายที่เด็กๆ หลายคนไม่มีเครื่องมือที่จำเป็นในการสื่อสารและแสดงออกอย่างสร้างสรรค์" ทีมงาน อธิบาย "นั่นคือจุดเริ่มต้นของ Duet ด้วยการใช้เทคโนโลยี EEG เรามีเป้าหมายที่จะเปลี่ยนวิธีที่เด็กๆ เหล่านี้โต้ตอบกับดนตรี เพื่อให้พวกเขามีเสียงและช่องทางในการแบ่งปันความรู้สึกของพวกเขา"

วิธีการทำงาน

Duet ใช้ปัญญาประดิษฐ์ในการแต่งเพลงตามสภาวะอารมณ์แบบเรียลไทม์ของแต่ละบุคคลด้วยการอ่านคลื่นสมอง ทีมงานใช้ เฮดเซ็ท Emotiv Epoc X เพื่อสตรีมข้อมูลคลื่นสมองและประมวลผลผ่าน Python ด้วย Emotiv Cortex API เพื่อช่วยเหลือพวกเขาในความพยายามนี้ Emotiv ได้จัดเตรียมให้นักศึกษายืมฮาร์ดแวร์ EEG และอนุญาตให้เข้าใช้งานซอฟต์แวร์สมัครสมาชิกแบบ PRO ได้เป็นการชั่วคราว

การเรียนรู้ของเครื่องที่เป็นกรรมสิทธิ์ของ Emotiv ได้จำแนกกิจกรรมของสมองออกเป็นสภาวะอารมณ์ (ค่าชี้วัดประสิทธิภาพ) จากนั้นป้อนข้อมูลไปยัง Gemini LLM ของ Google เพื่อสร้างเพลง แทนที่จะทำตามกฎที่ตายตัว Duet ทำหน้าที่เหมือนผู้ประพันธ์เพลงสด โดยตัดสินใจเลือกเพลงในอีกไม่กี่วินาทีข้างหน้าตามอารมณ์ เครื่องดนตรีที่มี และผลลัพธ์ก่อนหน้า

Sonic Pi จัดการการเล่นเพลงสด SingleStore จัดการข้อมูลที่มีเวลาแฝงต่ำ และส่วนหน้าของ Next.js ของเราช่วยแสดงภาพทั้งคลื่นสมองและเพลงที่สอดคล้องกันแบบเรียลไทม์ ทีมงานอธิบาย

"ที่ Duet เรามุ่งมั่นที่จะทำให้ดนตรีเป็นประสบการณ์ที่ครอบคลุมสำหรับทุกคน เพื่อให้มั่นใจว่าเด็กทุกคน—และใครก็ตามที่ดิ้นรนในการแสดงออก—มีโอกาสถ่ายทอดตัวตนที่สร้างสรรค์ที่แท้จริงของพวกเขา!"

อนาคตของ Duet BCI

Jin และคณะกล่าวว่าความท้าทายที่ยิ่งใหญ่ที่สุดของพวกเขาคือการหาวิธีสร้างเพลงสดด้วยปัญญาประดิษฐ์

"ตอนแรกเราคิดว่าเป็นไปไม่ได้และเทคโนโลยียังไม่ 'ถึงขั้น' นั้น — เราไม่พบข้อมูลใดๆ เกี่ยวกับเรื่องนี้ทางออนไลน์เลย และใช้เวลาหลายชั่วโมงในการคิดว่าจะเปลี่ยนไปใช้แนวคิดอื่นที่เราสามารถนำ EEG มาประยุกต์ใช้ได้อย่างไร" พวกเขากล่าว

"อย่างไรก็ตาม ในที่สุดเราก็ผลักดันจนผ่านไปได้ และคิดค้นวิธีการใหม่ทั้งหมดในการสร้างสรรค์เพลงแบบสดๆ ด้วย AI ซึ่งเท่าที่เราทราบไม่มีอยู่ที่อื่นเลย" Jin และคณะอธิบาย "นี่เป็นครั้งแรกของพวกเราส่วนใหญ่ที่ได้ทำงานกับฮาร์ดแวร์ประเภทนี้ และเราพบปัญหามากมายในการเชื่อมต่อกับคอมพิวเตอร์อย่างถูกต้อง — แต่ท้ายที่สุดแล้ว เราก็ทำให้ทุกอย่างดำเนินไปอย่างราบรื่น ดังนั้นมันจึงเป็นความสำเร็จที่ยิ่งใหญ่มากสำหรับเราในการทำให้ทั้งหมดนี้สำเร็จ!"

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Duet และดูโค้ดใน GitHub เพื่อลองใช้งานด้วยตัวคุณเอง เข้าไปอ่านเรื่องราวทั้งหมดได้ที่ DevPost

จากพวกเราทุกคนที่ Emotiv - ขอแสดงความยินดีด้วยนะทีมงาน พวกเราภูมิใจในตัวคุณมาก!

คุณอาจสนใจสิ่งนี้เช่นกัน:

• โปรแกรม BCI นี้เชื่อมโยงเด็กที่มีความบกพร่องทางร่างกายและสติปัญญากับโลกของพวกเขา

• การบำบัดด้วยการป้อนกลับทางประสาทด้วยดนตรีสำหรับการรักษาอาการซึมเศร้าในผู้สูงอายุ

• อินเทอร์เฟซสมองกับคอมพิวเตอร์ทางดนตรี: วิธีควบคุม Spotify ด้วยความคิดของคุณ

นวัตกรรม BCI เพื่อทุกคน

Emotiv สนับสนุนนวัตกรรมเพื่อความก้าวหน้าของมนุษยชาติอย่างน่าภาคภูมิใจ หากคุณต้องการสอบถามเกี่ยวกับการขอยืมผลิตภัณฑ์ การบริจาค หรือการช่วยเหลือทางการเงินเพื่อรับผลิตภัณฑ์ Emotiv สำหรับโครงการ EEG หรือ BCI ของคุณ เรายินดีที่จะรับฟังจากคุณ

ติดต่อเรา