3 phương pháp để khắc phục cuộc khủng hoảng khả năng tái lập trong ngành khoa học thần kinh:

1. Chạy các nghiên cứu thử nghiệm với mục đích chạy lại thí nghiệm đó.

2. Đảm bảo tập mẫu lớn hơn.

3. Đa dạng hóa mẫu của bạn bằng cách sử dụng các cộng đồng tình nguyện viên trực tuyến.

Có một cuộc khủng hoảng khả năng tái lập đã được mô tả rõ ràng trong nghiên cứu khoa học hiện đại, đặc biệt là khoa học thần kinh nhận thức. Nghĩa là, do chi phí và công tác hậu cần để thu hút các đối tượng mẫu hoặc sử dụng thiết bị công nghệ cao như fMRI, các phòng thí nghiệm khoa học thần kinh nhận thức hiếm khi tái lập kết quả của các thử nghiệm thực nghiệm.

Khả năng tái lập, trong bài viết này, được định nghĩa là một quy trình nội bộ của phòng thí nghiệm, trong đó thiết kế thực nghiệm chuyển từ các thử nghiệm thực nghiệm mang tính định hướng/khám phá sang các thử nghiệm thực nghiệm lớn hơn, được kiểm soát chặt chẽ hơn và sẽ chạy nhiều lần. Trong các thí nghiệm được thiết kế đúng cách, dữ liệu thu thập được và kết quả từ mỗi thử nghiệm phải có khả năng:

• Gộp vào một tập dữ liệu lớn hơn.

• Có kích thước mẫu lớn hơn

• Có lực lượng thống kê cao.

Những yếu tố này thiết lập các thí nghiệm khoa học thần kinh xứng đáng với các báo cáo nghiên cứu được công bố để các phòng thí nghiệm khác có thể cố gắng tái lập các phát hiện. Tuy nhiên, thật đáng tiếc, điều này hiếm khi xảy ra vì một vài lý do.

Cuộc khủng hoảng khả năng tái lập này đe dọa tương lai của khoa học vì nó lãng phí thời gian, công sức, tài nguyên và chuyên môn vào các nghiên cứu không được tái lập. Nếu không có sự tái lập, các nghiên cứu "mang tính cột mốc" sẽ mờ nhạt dần vào truyền thuyết và hiếm khi tác động đến thế giới theo những cách đã hứa hẹn. Một báo cáo phân tích bởi phó chủ tịch Nghiên cứu Huyết học và Ung thư ước tính rằng việc thiếu khả năng tái lập gây tiêu tốn tới 28 tỷ đô la mỗi năm chỉ riêng tại Hoa Kỳ. Những khoản kinh phí này cuối cùng bị lãng phí vào công việc tiền lâm sàng không đáp ứng được tiêu chuẩn về khả năng tái lập đáng tin cậy.

Để sửa đổi mô thức này, trước tiên chúng ta phải hiểu nó. Chúng ta có thể bắt đầu bằng cách công nhận các hoạt động và văn hóa hiện tại của ngành khoa học thần kinh. Bài viết này sẽ thảo luận về thiết kế thực nghiệm và lập lịch trình thử nghiệm để cung cấp một số cách giúp phòng thí nghiệm của bạn có thể cải thiện khả năng tái lập thực nghiệm, cả trong phòng thí nghiệm (thử nghiệm thực nghiệm) và ngoài phòng thí nghiệm (chia sẻ dữ liệu khoa học mở). Đến cuối cùng, bạn sẽ biết cách một số tài nguyên có thể giảm chi phí và công tác hậu cần trong việc thu thập dữ liệu mẫu và đối tượng thử nghiệm.

Hãy chạy lại lần nữa!

Có thể đạt được sự tin cậy vào khả năng tái lập cho nghiên cứu của bạn.

Thông thường, hầu hết các thiết kế thực nghiệm bắt đầu bằng một nghiên cứu định hướng hoặc khám phá với kích thước mẫu nhỏ hơn, tùy thuộc vào tính chất của thí nghiệm. Trong khoa học thần kinh nhận thức, kích thước mẫu ban đầu đó thường là n < 20. Mục đích của chúng là đảm bảo hiệu ứng thực nghiệm mà bạn đang thấy là một hiệu ứng tiềm năng thực sự và để chứng minh cho việc sử dụng các tài nguyên bổ sung mà một thí nghiệm lớn hơn cần có. Những nghiên cứu này cũng quan trọng để thử nghiệm và cải tiến quy trình của họ.

Nói chung, các nhà nghiên cứu khoa học thần kinh nhận thức đang cố gắng cân bằng lực lượng thống kê với kích thước mẫu có chi phí nhỏ nhất có thể đạt được một cách hợp lý ở giai đoạn định hướng. Mục tiêu của các nghiên cứu này là cung cấp bằng chứng thống kê tạm thời cho sự hiện diện của một hiệu ứng. Những nghiên cứu này không nhằm mục đích viết báo cáo nghiên cứu hoặc công bố mà là để xác thực một hướng điều tra, chứng minh cho các đơn xin tài trợ và đóng vai trò làm nền tảng cho các nghiên cứu trong tương lai.

Sau khi các nghiên cứu định hướng hoặc khám phá được hoàn thành trong các thí nghiệm khoa học thần kinh nhận thức, bước tiếp theo là "chạy lại lần nữa!". Với việc tập trung vào các thông số khác nhau, việc chạy lại cuộc điều tra là một cách để vượt qua cuộc khủng hoảng khả năng tái lập trong dữ liệu thực nghiệm khoa học thần kinh nhận thức. Lực lượng thống kê thấp thường có thể được khắc phục bằng kích thước mẫu lớn hơn. Để xác định kích thước mẫu phù hợp, Tạp chí Khoa học Thần kinh đã đưa ra các khuyến nghị này vào năm 2020. Giống như nhiều khái niệm và nguyên lý trong khoa học thần kinh nhận thức, nó phụ thuộc vào bối cảnh và mục tiêu dự kiến của thí nghiệm của bạn.

Một lần nữa, những nghiên cứu ban đầu này không nhằm mục đích trở thành các báo cáo nghiên cứu được công bố. Tuy nhiên, đôi khi diều đó dường như vẫn xảy ra, và điều đó dẫn đến một cuộc khủng hoảng khả năng tái lập.

Các tập mẫu lớn hơn & Khoa học mở

Có được sự tin cậy rằng hiệu ứng bạn đang thấy là một hiệu ứng thực sự có ý nghĩa thực tiễn.

Vượt ra ngoài nghiên cứu định hướng để chuyển sang các thử nghiệm thực nghiệm nhằm mục đích công bố thường là bước tiếp theo trong quy trình nghiên cứu của phòng thí nghiệm khoa học thần kinh.

Nhờ nghiên cứu định hướng, các nhà nghiên cứu tin tưởng vào phương pháp luận của họ và dường như có được một hiệu ứng thực sự.

Ở giai đoạn này, họ:

• Thiết kế thí nghiệm với tập mẫu lớn hơn.

• Cần thu thập thêm dữ liệu.

• Chạy lại thử nghiệm thực nghiệm.

Nếu các kiểm định thống kê có ý nghĩa và không mâu thuẫn, các nhà khoa học thần kinh cần thu thập thêm nhiều bằng chứng hơn nữa để tin tưởng rằng họ đang thấy một hiệu ứng thực sự.

Khoa học mở

Trong các ấn phẩm nghiên cứu, có một phong trào ngày càng phát triển được gọi là "khoa học mở", nơi dữ liệu và các kịch bản phân tích được công bố cùng với bài tường thuật nghiên cứu. Trong khoa học thần kinh nhận thức, một trong những tài nguyên tốt nhất cho nghiên cứu khoa học thần kinh mở là Khung Thông tin Khoa học Thần kinh (NIF; neuinfo.org).

Thuyết Khoa học mở bao gồm tất cả các giai đoạn của chu kỳ nghiên cứu, trong đó sẽ có sự minh bạch được nâng cao trong việc thu thập, xử lý, lưu trữ và đánh giá dữ liệu thực nghiệm. Triết lý về sự minh bạch trong khoa học mở cũng bao gồm các thiết kế thực nghiệm - chia sẻ các chi tiết với cộng đồng khoa học để cải thiện việc tái lập và khả năng tái lập của các thí nghiệm khoa học thần kinh cốt lõi. Những phương pháp như vậy khuyến khích các nhà khoa học tiếp tục tạo ra nghiên cứu chất lượng cao và chống lại cuộc khủng hoảng tái lập ngày càng tăng trong khoa học thần kinh nhận thức.

Các nhóm như EmotivLABs đang nuôi dưỡng các cộng đồng nghiên cứu khoa học thần kinh nhận thức cho phép họ chia sẻ các thiết kế thực nghiệm với các nhà nghiên cứu khác.

Khi cuộc khủng hoảng khả năng tái lập tiếp tục tác động đến cộng đồng khoa học, nhu cầu về các nghiên cứu chất lượng cao, có khả năng tái lập chưa bao giờ cao hơn thế. Có một số lựa chọn thiết kế để cho phép các nhà khoa học khác tái lập các thí nghiệm. Những lựa chọn này mang lại cho các nhà nghiên cứu khoa học thần kinh cơ hội để:

• Xác định kích thước mẫu phù hợp của họ.

• Sử dụng các công cụ sáng tạo, đã được xác thực, đáng tin cậy để phân tích dữ liệu.

• Tham khảo ý kiến của các đồng nghiệp và các nhà lãnh đạo khoa học.

• Nhanh chóng sử dụng các nguyên tắc hướng dẫn của khoa học mở.

Cộng đồng tình nguyện viên từ xa đa dạng

Kích thước mẫu nhỏ tác động tiêu cực đến tính giá trị và khả năng tái lập của nghiên cứu vì kết quả tạo ra từ một vài người tham gia không thể khái quát hóa cho phần còn lại của quần thể. Những kết quả này không bao gồm tính đa dạng thần kinh của xã hội. Như vậy, các công cụ thu thập dữ liệu từ xa là tương lai của ngành khoa học thần kinh toàn diện.

EmotivLABs: Nuôi dưỡng một cộng đồng Khoa học thần kinh nhận thức

Gặp gỡ Emotiv

Được thành lập vào năm 2011, Emotiv là một công ty tin sinh học có trụ sở tại San Francisco với sứ mệnh nâng cao hiểu biết của chúng ta về bộ não con người bằng cách sử dụng phần cứng điện não đồ (EEG) tùy chỉnh, phân tích và trực quan hóa.

Trọng tâm của khoa học mở là sự hợp tác. Nền tảng và đội ngũ nhân viên của Emotiv nhằm mục đích thúc đẩy tính trung thực khoa học và sự chặt chẽ trong thực nghiệm. Nền tảng nghiên cứu có thể mở rộng của chúng tôi, EmotivLABs, kết nối các nhà khoa học thần kinh nhận thức trên toàn thế giới với một quần thể toàn cầu gồm các nhà nghiên cứu và người tham gia nghiên cứu. Nhận thức được tính tuyến tính cộng dồn của nghiên cứu khoa học thần kinh, chúng tôi hỗ trợ các nhà nghiên cứu bằng cách cung cấp các tập dữ liệu phong phú, đa chiều và sâu rộng, cho phép bạn đưa ra các kết luận có ý nghĩa từ một mẫu rộng lớn.

Phát triển kích thước mẫu nghiên cứu của bạn

EmotivLABs chống lại cuộc khủng hoảng khả năng tái lập bằng cách kết nối các nhà nghiên cứu với những người tham gia nghiên cứu đủ điều kiện, đã được kiểm chứng và giảm bớt gánh nặng hậu cần của việc tuyển dụng trong khi vẫn đảm bảo đủ lực lượng thống kê.

Đảm bảo công trình của bạn được lưu trữ an toàn, có thể chuyển đổi và khôi phục

Một mối đe dọa khác đối với khả năng tái lập là việc tái lập phân tích, vốn đòi hỏi tập dữ liệu gốc để xác thực kết quả. Tìm kiếm và tài trợ cho một địa điểm lưu trữ an toàn là công việc tẻ nhạt. Hoạt động như một kho lưu trữ dữ liệu, EmotivLABs lưu trữ an toàn dữ liệu của bạn sau khi người tham gia tải lên các bản ghi của họ. Dữ liệu đó được tự động tải lên và mã hóa nghiêm ngặt ở tất cả các giai đoạn truyền tải và lưu trữ.

Hợp lý hóa các quy trình

Để giúp các nhà nghiên cứu thiết kế các thí nghiệm khoa học thần kinh nhận thức và công bố các nghiên cứu đóng góp cho cộng đồng khoa học lớn hơn, chúng tôi đã phát triển một bộ công cụ mạnh mẽ, được tinh giản, EmotivPro, để tạo ra các thí nghiệm sáng tạo, có khả năng tái lập.

Các hướng dẫn rõ ràng và phương pháp minh bạch của chúng tôi đóng vai trò là kim chỉ nam cho phép các nhà nghiên cứu xác minh các phát hiện ban đầu. Công cụ tạo Thí nghiệm (Experiment Builder) trực quan và dễ sử dụng sẽ cho phép các nhà nghiên cứu khác muốn tái lập nghiên cứu của bạn bằng cách cung cấp một mẫu tạo sẵn trong nền tảng. Ngoài ra, những nhà nghiên cứu khoa học thần kinh nhận thức này có thể tạo ra một thí nghiệm độc đáo, cho phép họ điều chỉnh từng chi tiết từ đầu.

Công nghệ Emotiv

Emotiv đã thiết kế một bộ công cụ để hỗ trợ từng bước của nghiên cứu khoa học thần kinh trong suốt chặng đường.

Phần mềm EmotivPRO cho phép người dùng xử lý, phân tích và trực quan hóa kết quả thử nghiệm. Các nhà nghiên cứu cũng có thể thiết kế các thí nghiệm ở cấp độ chuyên nghiệp, trong đó bất kỳ người tham gia nào có thiết bị đeo đầu Emotiv đều có thể tham gia nếu tuân thủ thiết kế thực nghiệm.

Bộ công cụ phát triển phần mềm (SDK) dành cho Emotiv cũng có sẵn để các ứng dụng tùy chỉnh, tương tác hoặc thiết kế thực nghiệm có thể được thực hiện khi đang di chuyển chỉ bằng thiết bị đeo đầu và điện thoại thông minh.

Khi số lượng các chuyên ngành và thị trường thương mại áp dụng các công cụ và phương pháp khoa học thần kinh tăng lên, (các) hệ thống EEG chi phí thấp, dễ sử dụng của Emotiv đang được sử dụng trong:

• Nghiên cứu khoa học thần kinh

• Các sáng kiến tiếp thị về sức khỏe và thể chất

• Ngành công nghiệp ô tô

• Tiếp thị thần kinh (Neuromarketing)

• Nghiên cứu người tiêu dùng

• Giáo dục

• Môi trường giải trí

Ngoài ra, với chất lượng, chi phí và khả năng vận chuyển thiết bị đeo đầu Emotiv trên toàn thế giới, các nhà nghiên cứu có thể tuyển dụng và đăng ký những cá nhân đủ điều kiện. Do các chỉ số kiểm soát chất lượng mà phần mềm xử lý đánh giá, các nhà nghiên cứu cũng có thể tin tưởng vào quy trình thu thập dữ liệu.

Bạn muốn tìm hiểu thêm về những gì nền tảng EmotivLABs có thể làm cho nghiên cứu của bạn?

EmotivLABS cho phép bạn xây dựng thí nghiệm của mình, triển khai thí nghiệm một cách an toàn và bảo mật, tuyển dụng từ một hội đồng toàn cầu gồm các học viên đã được xác minh và thu thập dữ liệu EEG chất lượng cao, tất cả từ một nền tảng duy nhất. Nhấp vào đây để tìm hiểu thêm hoặc yêu cầu bản demo.