신경과학 재현성 위기를 해결하는 3가지 접근법

신경과학 재현성 위기를 해결하기 위한 3가지 접근법:

1. 실험을 반복할 의도로 시험 연구를 수행하십시오.

2. 더 큰 샘플 세트를 보장하십시오.

3. 온라인 자원봉사 커뮤니티를 이용하여 샘플을 다양화하십시오.

현대 과학 연구에서는 잘 설명된 재현성 위기가 있으며, 특히 인지 신경과학에서 두드러집니다. 즉, 샘플 피실험자를 얻거나 fMRI와 같은 첨단 장비를 사용하는 데 드는 비용과 물류 때문에, 인지 신경과학 실험실은 실험 시험의 결과를 재현하는 경우가 드물습니다.

이 게시물에서 재현성이란, 실험 설계가 파일럿/탐색 실험에서 더 크고, 더 제어된 실험 시험으로 전환되어 여러 번 실행되는 내부 연구실 프로세스를 정의합니다. 적절하게 설계된 실험에서 수집된 데이터와 각 시험의 결과는 다음과 같아야 합니다:

• 더 큰 데이터 세트에 통합될 수 있습니다.

• 더 큰 샘플 크기를 가져야 합니다.

• 높은 통계적 파워를 가져야 합니다.

이러한 요소는 신경과학 실험이 발표된 연구 보고서로 가치가 있도록 설정하여 다른 실험실이 발견한 내용을 복제하려고 시도할 수 있게 합니다. 그러나 불행히도, 이는 여러 가지 이유로 인해 드물게 발생합니다.

이 재현성 위기는 시간을 낭비하고, 노력과 자원, 전문 지식을 사용할 뿐만 아니라 과학의 미래를 위협합니다. 복제가 없으면 “획기적인” 연구는 전설로 사라지고 약속한 방식으로 세상에 영향을 미치지 못합니다. 혈액학 및 종양학 연구의 부회장에 의한 분석 보고서에 따르면, 재현성이 부족하여 매년 미국에서만 280억 달러에 달하는 비용이 발생한다고 합니다. 이 자금은 최종적으로 신뢰할 수 있는 재현성의 기준을 충족하지 못하는 전임상 작업에 낭비됩니다.

이 패턴을 수정하기 위해서는 먼저 이를 이해해야 합니다. 우리는 신경과학의 현재 관행과 문화를 인식하는 것부터 시작할 수 있습니다. 이 게시물에서는 실험 설계 및 시험 일정에 대해 설명하여 귀하의 연구실이 실험 재현성을 개선할 수 있는 여러 방법을 제공할 것입니다(실험 시험 내 및 연구실 외(오픈 사이언스 데이터 공유)). 끝까지 읽으시면 일부 자원이 샘플 데이터 및 테스트 피험자를 얻는 데 드는 비용과 물류를 줄일 수 있는 방법을 알 수 있습니다.

다시 해보세요!

귀하의 연구의 재현성에 대한 신뢰를 얻는 것이 가능합니다.

일반적으로 대부분의 실험 설계는 파일럿 또는 탐색 연구로 시작하며, 이는 실험의 성격에 따라 더 작은 샘플 크기로 진행됩니다. 인지 신경과학에서는 이러한 초기 샘플 크기가 일반적으로 n < 20입니다. 그 목적은 귀하가 보고 있는 실험 효과가 실제 잠재 효과인지 확인하고, 더 큰 실험이 사용하는 추가 자원의 사용을 정당화하는 것입니다. 이러한 연구는 또한 프로토콜을 테스트하고 개선하는 데 중요합니다.

일반적으로 인지 신경과학 연구자들은 파일럿 단계에서 합리적으로 달성할 수 있는 가장 작은 비용의 샘플 크기와 통계적 파워를 균형 있게 유지하려고 합니다. 이 연구의 목표는 효과의 존재에 대한 잠정적인 통계적 증거를 제공하는 것입니다. 이러한 연구는 연구 보고서나 출판을 위한 것이 아니라 오히려 탐구의 선을 검증하고, 보조금 신청서를 입증하며, 향후 연구의 기본이 되는 역할을 합니다.

파일럿 또는 탐색 연구가 완료된 후, 인지 신경과학 실험의 다음 단계는 "다시 해보세요!"입니다. 다양한 매개변수에 초점을 맞추고 연구를 다시 수행하는 것은 인지 신경과학 실험 데이터의 재현성 위기를 극복하는 방법입니다. 낮은 통계적 파워는 일반적으로 더 큰 샘플 크기로 극복될 수 있습니다. 적절한 샘플 크기를 결정하기 위해, 신경과학 저널은 2020년에 이러한 권장 사항을 제시했습니다. 많은 개념과 원칙처럼 인지 신경과학에서의 결정도 실험의 맥락과 의도된 목표에 따라 달라집니다.

다시 말하지만, 이러한 초기 연구는 발표된 연구 보고서를 위한 것이 아닙니다. 그러나 때때로 그렇게 되는 것처럼 보이며, 이는 재현성 위기로 이어집니다.

더 큰 샘플 세트 및 오픈 사이언스

귀하가 보고 있는 효과가 실제로 유의미한 효과인지에 대한 신뢰를 얻으십시오.

파일럿에서 발표를 위한 실험 시험으로 넘어가는 것은 일반적으로 신경과학 연구실의 과정에서 다음 단계입니다.

파일럿 연구 덕분에 연구자들은 그들의 방법론에 대해 신뢰하고 있으며, 실제 효과가 있는 것으로 보입니다.

이 단계에서 그들은:

• 더 큰 샘플 세트로 실험을 설계합니다.

• 더 많은 데이터를 수집해야 합니다.

• 실험 시험을 다시 수행합니다.

통계적 테스트가 유의미하고 모순되지 않는 경우, 신경 과학자는 실제 효과를 보고 있다는 것에 대한 자신감을 얻기 위해 더 많은 증거를 수집해야 합니다.

오픈 사이언스

연구 출판물에서 "오픈 사이언스"라는 성장하는 운동이 있으며, 데이터와 분석 스크립트는 연구 서사와 함께 공개됩니다. 인지 신경과학에서는 오픈 신경 과학 연구를 위한 최고의 리소스 중 하나가 Neuroscience Information Framework (NIF; neuinfo.org).

오픈 사이언스 이론은 연구 사이클의 모든 단계를 포함하며, 여기에서 강화된 투명성을 실험 데이터 수집, 처리, 저장 및 검토에 제공합니다. 오픈 사이언스의 투명성 철학은 또한 실험 설계를 포함하며, 과학 커뮤니티와 세부 사항을 공유하여 핵심 신경 과학 실험의 복제 및 재현성을 개선합니다. 이러한 방법은 과학자가 고품질 연구를 계속 생산하도록 장려하고 인지 신경과학의 심화되는 재현성 위기에 맞서 싸웁니다.

EmotivLABs와 같은 그룹은 다른 연구자와 실험 설계를 공유할 수 있는 인지 신경 과학 연구 커뮤니티를 발전시키고 있습니다.

재현성 위기가 과학 커뮤니티에 계속 영향을 미치면서, 고품질의 재현 가능한 연구 연구에 대한 필요성은 그 어느 때보다 높아졌습니다. 다른 과학자가 실험을 재현할 수 있도록 여러 설계 옵션이 있습니다. 이러한 옵션은 신경과학 연구자에게 다음을 수행할 수 있는 기회를 제공합니다:

• 적합한 샘플 크기를 결정하십시오.

• 혁신적이고 검증된, 신뢰할 수 있는 도구를 데이터 분석을 위해 사용하십시오.

• 동료 및 과학 리더십과 상담하십시오.

• 빠르게 오픈 사이언스의 지침 원칙을 활용하십시오.

다양한 원격 자원봉사 커뮤니티

작은 샘플 크기는 연구의 유효성과 재현성에 부정적인 영향을 미치며, 여러 참가자에서 생성된 결과는 나머지 인구에 일반화될 수 없습니다. 이러한 결과는 사회의 신경다양성을 포함하지 않습니다. 따라서 원격 데이터 수집 도구는 포괄적인 신경과학의 미래입니다.

EmotivLABs: 인지 신경과학 커뮤니티를 발전시키기

EMOTIV 소개

2011년에 설립된 EMOTIV는 사용자 맞춤형 뇌파(EEG) 하드웨어, 분석 및 시각화를 사용하여 인간의 이해를 증진하는 것을 목표로 하는 샌프란시스코 기반의 생물정보학 회사입니다.

오픈 사이언스의 핵심은 협업입니다. Emotiv의 플랫폼과 직원들은 과학적 무결성과 실험적 철저함을 촉진하는 것을 목표로 하고 있습니다. 우리의 확장 가능한 연구 플랫폼인 EmotivLABs는 전 세계의 인지 신경과학자와 연구 참여자 및 조사자를 연결합니다. 신경과학 연구의 부가 선형성을 인식하여 우리는 연구자들에게 광범위한 샘플에서 의미 있는 결론을 도출할 수 있도록 폭넓고 다차원적인 데이터 세트를 제공합니다.

연구 샘플 크기를 늘리세요

EmotivLABs는 조사가 재현성 위기를 극복하는 데 도움을 주며, 조사자를 검증된 자격을 갖춘 연구 참여자와 연결하고 모집의 물류 부담을 덜어주면서 충분한 통계적 파워를 보장합니다.

귀하의 작업이 안전하게 저장되고 변환 가능하며 복구 가능하도록 합니다.

재현성에 대한 또 다른 위협은 원래 데이터 세트를 검증 결과로 요구하는 분석 복제입니다. 안전한 저장 위치를 찾고 자금을 조달하는 것은 번거롭습니다. 데이터 저장소로 기능하는 EmotivLABs는 참여자가 자신의 녹음을 업로드한 후 데이터를 안전하게 저장합니다. 이 데이터는 모든 전송 및 저장 단계에서 자동으로 업로드되고 철저하게 암호화됩니다.

프로세스 간소화

우리는 조사자가 인지 신경 과학 실험을 설계하고 더 큰 과학 커뮤니티에 기여하는 연구 연구를 출판하도록 돕기 위해 혁신적이고 재현 가능한 실험을 생성하기 위한 강력하고 간소화된 도구 모음인 EmotivPro를 개발했습니다.

우리의 명확한 지침과 투명한 방법은 조사자가 원래 발견을 검증할 수 있도록 가이드 역할을 합니다. 직관적이고 사용하기 쉬운 실험 빌더는 연구자가 귀하의 연구를 재현할 수 있도록 플랫폼 내에서 미리 만들어진 템플릿을 제공합니다. 또는 이러한 인지 신경과학 연구자들은 각 세부 사항을 처음부터 맞춤화할 수 있는 독특한 실험을 만들 수 있습니다.

EMOTIV 기술

EMOTIV는 신경과학 연구의 모든 단계에서 지원할 수 있는 도구 모음을 설계했습니다.

EmotivPRO 소프트웨어를 사용하면 사용자가 시험 결과를 처리, 분석 및 시각화할 수 있습니다. 연구자는 또한 모든 참여자가 실험 설계에 따라 EMOTIV 헤드셋을 사용하여 전문 수준에서 실험을 설계할 수 있습니다.

EMOTIV에 대한 소프트웨어 개발 키트(SDK)도 제공되어 헤드셋과 스마트폰만으로 이동 중에 사용자 정의 앱, 상호작용 또는 실험 설계를 실행할 수 있습니다.

신경과학 도구 및 방법론을 수용하는 분야 및 상업적 시장의 수가 증가함에 따라, EMOTIV의 저렴하고 사용하기 쉬운 EEG 시스템은 다음과 같이 사용되고 있습니다:

• 신경과학 연구

• 건강 및 웰빙 마케팅 이니셔티브

• 자동차 산업

• 신경 마케팅

• 소비자 연구

• 교육

• 오락 분야

또한 EMOTIV 헤드셋의 품질, 비용, 전 세계 배송 능력 덕분에 연구자는 자격을 갖춘 개인을 모집하고 등록할 수 있습니다. 처리 소프트웨어가 평가하는 품질 관리 지표 덕분에 연구자는 데이터 수집 프로세스도 신뢰할 수 있습니다.

EmotivLABs 플랫폼이 귀하의 연구에 대해 더 많이 배우고 싶으신가요?

EmotivLABS는 귀하가 실험을 구축하고, 안전하고 보안된 방식으로 실험을 배포하며, 검증된 참가자들의 글로벌 패널에서 모집하고, 하나의 플랫폼에서 고품질 EEG 데이터를 수집할 수 있도록 합니다. 더 알아보려면 클릭하거나 데모를 요청하십시오.