뇌과학 재현성 위기를 해결하는 3가지 방법:

1. 실험을 재실행할 의도를 가지고 파일럿 연구를 진행합니다.

2. 더 큰 표본 집단을 확보합니다.

3. 온라인 자원봉사 커뮤니티를 활용하여 표본을 다양화합니다.

현대 과학 연구, 특히 인지 뇌과학 분야에서 재현성 위기는 잘 알려져 있습니다. 즉, fMRI와 같은 첨단 장비를 사용하거나 표본 피험자를 확보하는 데 따르는 비용과 물류적인 문제 때문에 인지 뇌과학 연구실에서 실험적 시도의 결과를 재현하는 경우는 흔치 않습니다.

이 글에서 재현성은 실험 설계가 파일럿/탐색적 단계에서 여러 번 실행될 더 크고 통제된 실험적 시도로 이동하는 연구실 내부 프로세스로 정의됩니다. 적절하게 설계된 실험에서는 각 시도에서 수집된 데이터와 결과가 다음과 같아야 합니다.

• 더 큰 데이터 세트로 병합될 수 있어야 합니다.

• 더 큰 표본 크기를 가져야 합니다.

• 높은 통계적 검정력을 가져야 합니다.

이러한 요소들은 뇌과학 실험이 연구 보고서로 출판되어 다른 연구실에서 결과를 재현하기 위해 시도할 가치가 있게 만듭니다. 그러나 불행하게도, 몇 가지 이유로 이런 일은 거의 일어나지 않습니다.

이러한 재현성 위기는 복제되지 않을 연구에 시간, 노력, 자원, 전문 지식을 낭비하게 만들기 때문에 과학의 미래를 위협합니다. 복제 없이는 "기념비적인" 연구도 전설 속으로 사라지고 약속했던 방식으로 세상에 영향을 미치기 어렵습니다. 혈액학 및 종양학 연구 부사장의 분석 보고서에 따르면, 미국에서만 재현성 부족으로 인해 매년 최대 280억 달러의 비용이 발생하는 것으로 추정됩니다. 이러한 자금은 결국 신뢰할 수 있는 재현성 표준을 충족하지 못하는 임상 전 단계 작업에 낭비되고 있습니다.

이러한 패턴을 바로잡으려면 먼저 그것을 이해해야 합니다. 우리는 뇌과학의 현재 관행과 문화를 인식하는 것부터 시작할 수 있습니다. 이 글에서는 연구실 내부(실험적 시도)와 연구실 외부(오픈 과학 데이터 공유) 모두에서 실험 재현성을 개선할 수 있는 몇 가지 방법을 제공하기 위해 실험 설계 및 시도 일정 계획에 대해 논의할 것입니다. 마지막에는 일부 리소스가 표본 데이터와 피험자를 확보하는 데 드는 비용과 물류 부담을 어떻게 줄일 수 있는지 알게 될 것입니다.

다시 실행하세요!

연구의 재현성에 대한 신뢰를 달성할 수 있습니다.

일반적으로 대부분의 실험 설계는 실험의 성격에 따라 더 작은 표본 크기로 파일럿 또는 탐색적 연구부터 시작합니다. 인지 뇌과학에서 초기 표본 크기는 보통 n < 20입니다. 이들의 목적은 여러분이 보고 있는 실험적 효과가 진정한 잠재적 효과인지 확인하고, 더 큰 규모의 실험에 소요되는 추가 자원 사용을 정당화하는 것입니다. 이 연구들은 또한 프로토콜을 테스트하고 개선하는 데 중요합니다.

일반적으로 인지 뇌과학 연구자들은 파일럿 단계에서 합리적으로 달성할 수 있는 최소 비용의 표본 크기와 통계적 검정력 사이에서 균형을 맞추려고 노력합니다. 이들 연구의 목표는 효과의 존재에 대한 임시적인 통계적 증거를 제공하는 것입니다. 이러한 연구들은 연구 보고서나 출판을 목적으로 하는 게 아니라, 조사 방향을 검증하고 연구비 지원 신청을 구체화하며 향후 연구의 디딤돌 역할을 하기 위한 것입니다.

인지 뇌과학 실험에서 파일럿 또는 탐색적 연구가 완료된 후, 다음 단계는 "다시 실행하는 것"입니다. 다양한 매개변수에 초점을 맞춰 조사를 재실행하는 것은 인지 뇌과학 실험 데이터의 재현성 위기를 극복하는 방법 중 하나입니다. 낮은 통계적 검정력은 일반적으로 더 큰 표본 크기로 극복할 수 있습니다. 적절한 표본 크기를 결정하기 위해 Journal of Neuroscience는 2020년에 이러한 권장 사항을 제시했습니다. 인지 뇌과학의 많은 개념 및 원리와 마찬가지로, 이는 실험의 맥락과 의도된 목표에 따라 달라집니다.

다시 한번 말씀드리지만, 이 초기 연구들은 출판용 연구 보고서로 작성된 것이 아닙니다. 그러나 때때로 그런 일이 실제로 일어나는 것처럼 보이며, 이는 재현성 위기로 이어집니다.

더 큰 표본 집단 & 오픈 과학

여러분이 보고 있는 효과가 실질적인 의미를 갖는 진정한 효과라는 확신을 얻으십시오.

파일럿 단계를 넘어 출판을 목적으로 하는 실험적 시도로 나아가는 것은 일반적으로 뇌과학 연구실의 다음 연구 단계입니다.

파일럿 연구 덕분에 연구진은 방법론에 자신감을 갖게 되고 진정한 효과가 있는 것처럼 보입니다.

이 단계에서 연구진은:

• 더 큰 표본 집단으로 실험을 설계합니다.

• 더 많은 데이터를 수집해야 합니다.

• 실험적 시도를 다시 실행합니다.

통계적 테스트가 유의미하고 모순되지 않는다면, 뇌과학자들은 자신들이 진정한 효과를 보고 있다는 확신을 갖기 위해 더 많은 증거를 모아야 합니다.

오픈 과학

연구 출판물에서 데이터와 분석 스크립트를 연구 내러티브와 함께 게시하는 "오픈 과학"이라는 운동이 확산되고 있습니다. 인지 뇌과학의 경우, 오픈 뇌과학 연구를 위한 최고의 리소스 중 하나는 Neuroscience Information Framework(NIF; neuinfo.org)입니다.

오픈 과학 이론은 연구 주기의 모든 단계를 아우르며, 실험 데이터의 수집, 처리, 저장 그리고 검토의 투명성을 강화합니다. 오픈 과학의 투명성 철학에는 실험 설계도 포함됩니다. 세부 사항을 과학계와 공유하여 핵심 뇌과학 실험의 복제 및 재현성을 향상시킵니다. 이러한 방법은 과학자들이 고품질의 연구를 지속적으로 생산하도록 장려하고 인지 뇌과학에서 증가하는 복제 위기에 대처하도록 돕습니다.

EmotivLABs와 같은 그룹은 실험 설계를 다른 연구자들과 공유할 수 있는 인지 뇌과학 연구 커뮤니티를 육성하고 있습니다.

재현성 위기가 과학계에 계속 영향을 미치고 있기 때문에, 고품질의 재현 가능한 연구 연구에 대한 필요성이 그 어느 때보다 높습니다. 다른 과학자들이 실험을 재현할 수 있도록 지원하는 다양한 설계 옵션이 존재합니다. 이러한 옵션은 뇌과학 연구자들에게 다음과 같은 기회를 제공합니다.

• 적절한 표본 크기를 결정합니다.

• 데이터 분석을 위해 검증되고 신뢰할 수 있는 혁신적인 도구를 사용합니다.

• 동료 및 과학계 리더들과 상의합니다.

• 오픈 과학의 지도 원칙을 신속하게 활용합니다.

다양한 원격 자원봉사 커뮤니티

작은 표본 크기는 연구의 타당성과 재현성에 부정적인 영향을 미칩니다. 소수의 참가자로부터 노출된 결과는 나머지 일반 인구로 일반화할 수 없기 때문입니다. 이러한 결과는 사회의 신경다양성을 포괄하지 못합니다. 따라서 원격 데이터 수집 도구는 포용적인 뇌과학의 미래입니다.

EmotivLABs: 인지 뇌과학 커뮤니티 육성

Emotiv 소개

2011년에 설립된 Emotiv는 샌프란시스코에 본사를 둔 생명정보학 기업으로, 맞춤형 뇌전도(EEG) 하드웨어, 분석 및 시각화를 활용하여 인간 두뇌에 대한 이해를 증진하는 것을 사명으로 삼고 있습니다.

오픈 과학의 중심에는 협업이 있습니다. Emotiv의 플랫폼과 직원들은 과학적 정직성과 실험적 엄격함을 촉진하는 것을 목표로 합니다. 당사의 확장 가능한 연구 플랫폼인 EmotivLABs는 전 세계 인지 뇌과학자들을 글로벌 연구 참가자 및 조사자들과 연결해 줍니다. 뇌과학 연구의 가산적 선형성을 인식하여, 풍부하고 다차원적인 대규모 데이터 세트를 제공함으로써 연구자들이 광범위한 표본으로부터 의미 있는 결론을 도출할 수 있도록 돕습니다.

연구 표본 크기 확장

EmotivLABs는 조사자들을 검증되고 자격을 갖춘 연구 참가자들과 연결해 주어 모집에 따른 물류적 부담을 완화하는 동시에 충분한 통계적 검정력을 확보함으로써 재현성 위기에 대응합니다.

작업물의 안전한 저장, 변환 및 복구 보장

재현성을 위협하는 또 다른 요인은 결과를 검증하기 위해 원본 데이터 세트가 필요한 분석적 복제입니다. 안전한 저장 위치를 찾고 재정을 확보하는 일은 지루한 과정입니다. 데이터 저장소 역할을 하는 EmotivLABs는 참가자가 기록을 업로드한 후 데이터를 안전하게 보관합니다. 해당 데이터는 전송 및 저장의 모든 단계에서 자동으로 업로드되며 강력하게 암호화됩니다.

프로세스 간소화

조사자들이 인지 뇌과학 실험을 설계하고 더 넓은 과학계에 기여하는 연구 연구를 발표할 수 있도록 돕기 위해, 당사는 혁신적이고 재현 가능한 실험을 생성할 수 있는 강력하고 간소화된 툴킷인 EmotivPRO를 개발했습니다.

당사의 명확한 지침과 투명한 방법은 조사자가 독창적인 발견을 검증할 수 있도록 안내하는 가이드 역할을 합니다. 직관적이고 사용하기 쉬운 Experiment Builder는 플랫폼 내에서 기성 템플릿을 제공하여 연구를 재현하려는 다른 연구자들을 지원합니다. 또는 이러한 인지 뇌과학 연구자들은 독창적인 실험을 생성하여 처음부터 모든 세부 사항을 맞춤 설정할 수도 있습니다.

Emotiv 기술

Emotiv는 뇌과학 연구의 모든 단계를 지원하기 위한 도구 제품군을 설계했습니다.

EmotivPRO 소프트웨어를 사용하면 실험 결과를 처리, 분석 및 시각화할 수 있습니다. 또한 연구자들은 전문적인 수준으로 실험을 설계할 수 있으며, 이 실험 설계에 부합하는 경우 Emotiv 헤드셋을 착용한 모든 참가자가 참여할 수 있습니다.

Emotiv용 소프트웨어 개발 키트(SDK)도 제공되므로 헤드셋과 스마트폰만 있으면 이동 중에도 맞춤형 앱, 인터랙션 또는 실험 설계를 수행할 수 있습니다.

뇌과학 도구와 방법론을 수용하는 학문 분야와 상업 시장의 수가 증가함에 따라, Emotiv의 저비용 및 사용하기 쉬운 EEG 시스템은 다음 분야에서 활용되고 있습니다.

• 뇌과학 연구

• 건강 및 웰빙 마케팅 이니셔티브

• 자동차 산업

• 뉴로마케팅

• 소비자 조사

• 교육

• 엔터테인먼트 환경

또한, 전 세계에 Emotiv 헤드셋을 배송할 수 있는 품질, 비용 및 기능 덕분에 연구자들은 자격을 갖춘 개인을 모집하고 등록할 수 있습니다. 처리 소프트웨어가 평가하는 품질 제어 메트릭으로 인해 연구자들은 데이터 수집 프로세스도 신뢰할 수 있습니다.

EmotivLABs 플랫폼이 귀하의 연구에 기여할 수 있는 역할에 대해 더 자세히 알아보시겠습니까?

EmotivLABS를 사용하면 단 하나의 플랫폼에서 실험을 설계하고 안전하게 배포하며, 검증된 참가자로 구성된 글로벌 패널에서 모집하고, 고품질의 EEG 데이터를 수집할 수 있습니다. 자세히 알아보거나 데모를 요청하려면 여기를 클릭하십시오.