• Một nhóm sinh viên tài năng tại USC Berkley đã giành giải nhất tại Cal Hacks 2024 nhờ dự án âm nhạc BCI đầy sáng tạo của họ mang tên "Duet".

• Duet sử dụng AI để sáng tác âm nhạc dựa trên trạng thái cảm xúc theo thời gian thực được thu thập và chuyển dịch bởi thiết bị đầu Epoc X của Emotiv và phần mềm EmotivPRO với Cortex API.

• Các sinh viên hy vọng Duet sẽ mang lại liệu pháp âm nhạc hiệu quả cho trẻ em và những người khuyết tật thông qua các trải nghiệm âm nhạc được cá nhân hóa.

Emotiv gửi lời chúc mừng chân thành đến các sinh viên USC Berkley gồm Jiahui Jin, Sophia Zhang, Daniel Wang và Justin Wu đã giành giải nhất tại Cal Hacks 2024, cuộc thi hackathon dành cho sinh viên lớn nhất thế giới. Dự án BCI của nhóm Jin, Duet, chuyển dịch các chỉ số hiệu suất sóng não trong thời gian thực thành âm nhạc do AI tạo ra và phản hồi hình ảnh trực quan.

Nguồn cảm hứng cho Duet là nhằm giải quyết những thách thức trong việc dạy nhạc cho trẻ em khuyết tật phát triển.

"Thật không may, nhiều trẻ em không có các công cụ cần thiết để giao tiếp và thể hiện bản thân một cách sáng tạo", nhóm chia sẻ. "Đó là lý do Duet ra đời. Bằng cách sử dụng công nghệ EEG, chúng tôi đặt mục tiêu thay đổi cách những trẻ em này tương tác với âm nhạc, mang lại cho các em một tiếng nói và phương tiện để chia sẻ cảm xúc của mình".

Cách thức Hoạt động

Duet sử dụng trí tuệ nhân tạo để sáng tác âm nhạc dựa trên trạng thái cảm xúc theo thời gian thực của một người bằng cách đọc sóng não. Nhóm nghiên cứu đã sử dụng thiết bị đầu Emotiv EPOC X để truyền dữ liệu sóng não và xử lý dữ liệu đó qua Python với Emotiv Cortex API. Để hỗ trợ nỗ lực của họ, Emotiv đã sắp xếp cho các sinh viên mượn phần cứng EEG và cấp quyền truy cập tạm thời vào phần mềm đăng ký PRO của mình.

Công nghệ máy học độc quyền của Emotiv đã phân loại hoạt động não bộ thành các trạng thái cảm xúc (chỉ số hiệu suất), đưa vào LLM Gemini của Google để tạo ra âm nhạc. Thay vì tuân theo các quy tắc cố định, Duet hoạt động như một nhạc sĩ biểu diễn trực tiếp, quyết định vài giây âm nhạc tiếp theo dựa trên cảm xúc, các nhạc cụ sẵn có và các kết quả đầu ra trước đó.

Sonic Pi đảm nhận việc phát nhạc trực tiếp, SingleStore quản lý dữ liệu có độ trễ thấp và giao diện Next.js của chúng tôi trực quan hóa cả sóng não cùng âm nhạc tương ứng trong thời gian thực, nhóm nghiên cứu giải thích.

"Tại Duet, chúng tôi cam kết biến âm nhạc thành một trải nghiệm hòa nhập cho tất cả mọi người, đảm bảo rằng mọi trẻ em—và bất kỳ ai gặp khó khăn trong việc thể hiện bản thân—đều có cơ hội truyền tải bản thân sáng tạo thực sự của họ!"

Tương lai của Duet BCI

Nhóm của Jin cho biết thử thách lớn nhất của họ là tìm ra cách tạo ra âm nhạc trực tiếp bằng trí tuệ nhân tạo.

"Ban đầu chúng tôi nghĩ điều đó là không thể và công nghệ vẫn chưa đạt đến mức "đó" — chúng tôi không thể tìm thấy bất cứ thông tin nào về việc này trên mạng, và thậm chí đã dành hàng giờ để suy nghĩ về việc chuyển sang một ý tưởng khác mà chúng tôi có thể ứng dụng EEG của mình vào", họ chia sẻ.

"Tuy nhiên, cuối cùng chúng tôi đã vượt qua và nghĩ ra một phương pháp hoàn toàn mới để tạo nhạc AI trực tiếp mà theo chúng tôi biết là chưa từng tồn tại ở bất kỳ nơi nào khác", Jin và các đồng nghiệp giải thích. "Đây là lần đầu tiên hầu hết chúng tôi làm việc với loại phần cứng này, và chúng tôi đã gặp rất nhiều sự cố khi kết nối nó với máy tính một cách chính xác — nhưng cuối cùng, chúng tôi đã giúp mọi thứ chạy mượt mà, vì vậy đó là một kỳ tích lớn đối với chúng tôi khi làm cho tất cả hoạt động ổn định!"

Để tìm hiểu thêm về Duet và xem mã nguồn trên GitHub để tự mình trải nghiệm, hãy xem toàn bộ câu chuyện trên DevPost.

Từ tất cả chúng tôi tại Emotiv - xin chúc mừng cả nhóm, chúng tôi rất tự hào về các bạn!

Có thể bạn cũng thích:

• Chương trình BCI này kết nối trẻ em khuyết tật với thế giới của các em

• Liệu pháp phản hồi thần kinh bằng âm nhạc để điều trị chứng trầm cảm ở người cao tuổi

• Giao diện bộ não - máy tính trong âm nhạc: Cách điều khiển Spotify bằng tâm trí của bạn

Đổi mới BCI cho Tất cả Mọi người

Emotiv tự hào hỗ trợ sự đổi mới vì sự phát triển tốt đẹp hơn của nhân loại. Nếu bạn muốn hỏi về việc mượn sản phẩm, quyên góp hoặc hỗ trợ tài chính để có được các sản phẩm của Emotiv cho dự án EEG hoặc BCI của mình, chúng tôi rất mong nhận được phản hồi từ bạn.

Liên hệ với Chúng tôi