인지신경과학의 재현성 위기
메훌 나야크
업데이트됨
인지신경과학의 재현성 위기
메훌 나야크
업데이트됨
인지신경과학의 재현성 위기
메훌 나야크
업데이트됨
통계적 유의성을 향상시키기 위해 인지 신경과학 연구에서의 재현성 위기를 정면으로 다룹니다.
인지 신경과학 및 사회적 행동 연구에서 EEG 연구 방법론은 다양한 활동이나 외부 환경과 관련된 뇌 활동의 특성을 연구하여 인간의 마음을 이해하는 것을 목표로 합니다. 무선 휴대용 EEG 헤드셋이 출시됨에 따라 EEG 연구의 중요한 차별화 요소는 실험실에 갇혀 있기보다 실제 환경에서 장기적인 뇌 활동과 사회적 행동을 조사할 수 있다는 점입니다.
재현성 위기란 무엇인가요?
재현성 위기(replication crisis)는 연구자가 다른 연구자의 실험 결과를 복제하거나 재현할 수 없는 상황을 의미합니다. 그 결과, 연구 결과가 표본 집단에서 일반 대중으로 확대 적용될 수 없습니다.
불행히도 적은 표본 크기는 현재 신경과학 연구의 핵심적인 도전 과제입니다. 적은 표본 크기는 통계적 유의성에 영향을 미치고, 의미 있는 결론을 도출하는 데 어려움을 가중시키며, 갈수록 심각해지는 재현성 위기를 악화시킵니다.
재현은 과학적 과정에서 매우 중요한 단계이기 때문에 이러한 재현성 위기를 해결하는 것은 필수적입니다. 그렇지 않으면 재현할 수 없는 실증적 결과는 해당 이론의 신뢰성을 떨어뜨리고, 결과적으로 그 과정에서 도출되는 모든 치료법, 치료제 또는 규정의 신뢰성마저 약화시킵니다.
이 글에서는 재현성 위기에 대한 개요와 이것이 실제 세계를 이해하기 위해 수집된 데이터의 잠재력을 최대한 발휘하려는 신경과학자들의 능력에 어떤 영향을 미치는지 살펴보겠습니다. 그런 다음 AI 매개 크라우드소싱 연구와 같은 21세기 기술이 어떻게 재현성 위기에 대한 해결책을 제공하는지 소개합니다.
신경과학 연구에서 재현 가능성의 중요성
현대의 실증 연구는 데이터 획득과 분석을 모두 포함합니다. 따라서 재현 가능성에 대한 고려는 다음 두 가지 질문으로 귀결됩니다.
재현 가능성(Reproducibility): 귀하의 실험은 데이터 해석을 위해 필요한 분석 검증과 필수 인증을 갖추고 있습니까?
재현(Replication): 귀하의 실험은 새롭고 독립적인 데이터를 얻기 위해 반복하여 수행될 수 있는 역량을 가지고 있습니까?
안타깝게도 신경과학 연구에서 두 질문에 대한 답은 모두 '아니오'입니다.
2016년, Nature지가 1,576명의 연구자를 대상으로 설문조사를 실시한 결과, 70% 이상의 연구자가 다른 과학자의 실험을 재현하는 데 실패한 경험이 있는것으로 나타났습니다. 그리고 절반 이상은 자신들의 실험조차 재현하지 못했습니다. 이러한 실패에도 불구하고 오직 52%의 연구자들만이 위기라는 인식을 공유했으며, 31%는 결과가 아마도 틀렸을 것이라고 생각했습니다.
연구 결과를 재현하지 못하는 것은 일반적으로 통계적으로 보완하거나 감지할 수 없는 실험 조건의 고유한 특성 때문입니다. 그날의 날씨부터 실험을 수행하는 개별 실험실 연구원, 실험 결과를 평가하기 위해 개발된 분석 또는 통계 도구에 이르기까지 모든 것이 재현을 복잡하게 만드는 고유한 요소를 가질 수 있습니다.
나아가 신경과학 연구에 필요한 제한된 자원과 전문성 때문에, 실험은 표본이 과소 추출되는 경향이 있으며 이미 WEIRD(서구의, 교육받은, 산업화된, 부유하고, 민주적인) 제한된 인구 표본만을 포함하고 있습니다.
연구에서 재현이 중요한 이유는 무엇인가요?
모집 문제, 실험실 공간의 제약, 적은 표본 크기와 같은 물적 제약으로 인해 연구자들은 기존의 연구 관행과 패턴에 의존해 왔습니다. 그 결과 실제 사회적 행동과 개인 정보를 연구하는 연구자들은 다양하고 창의적으로 실험을 진행할 수 없습니다. 이러한 제약은 치료법, 치료제, 심지어 규정과 같은 실제 응용 분야로 연구 결과를 전환하는 신경과학 연구자들의 역량에 영향을 미쳤습니다. 이러한 표본 집단의 제약과 실제 상황에서의 테스트 능력 한계가 재현성 위기의 핵심입니다.
실험실 내에서 실험 결과를 재현할 수 없으면 통계적 검정력이 높은 결론을 도출하기가 어렵습니다. 실험 결과로부터 도출된 추론에 의심이 생기면 전체 시스템의 신뢰가 흔들리게 됩니다. 이러한 의심은 폭넓고 실질적인 실생활의 영향력을 가질 연구를 지원하는 임무를 맡은 연구 지원 재단에도 부정적인 영향을 미칠 수 있습니다.
재현 가능성 향상은 종종 연구 방법의 정립에서 비롯됩니다. 연구자가 더 큰 표본 집단을 대상으로 한 실험에서 데이터 수집, 품질 관리, 분석 절차의 엄격한 표준화를 달성할 때 결과의 재현성이 향상됩니다.
지난 10년 동안 크라우드소싱 소프트웨어 및 하드웨어의 기술 혁신은 연구자들이 재현성 위기, 통계적 검정력 문제, 그리고 재현 가능성 위기를 해결하는 핵심적인 표준화 요소를 제공할 수 있도록 도왔습니다.
크라우드소싱 연구 방식
크라우드소싱 연구를 통해 더 많은 피험자를 찾아 글로벌화하기
크라우드소싱 기술은 지난 20년 동안 급속히 발전해 왔습니다. 이는 연구자가 전 세계적으로 연결된 네트워크를 통해 개인으로부터 훨씬 더 많은 데이터를 수집할 수 있는 접근 방식입니다. 예를 들어, 컴퓨터 음성 인식 기술의 발전을 생각해 보십시오. 수십 년 동안 이 연구는 Google, Amazon, Apple과 같은 기업들이 수십만 명의 인터넷 사용자로부터 누적된 입력을 수집할 때까지 사실상 정체 상태였습니다. 이렇게 방대한 데이터 세트를 보유하게 되면서, 그들은 음성 인식 소프트웨어를 개선하여 오늘날 Google, Alexa 및 Siri 서비스에서 흔히 사용되는 형태로 발전시킬 수 있었습니다.
그러나 대부분의 기술 혁신과 마찬가지로 크라우드소싱은 여러 상업 및 과학 연구 방식에 맞게 조정되었습니다. Zooniverse, Folding@Home, Seek by iNaturalist는 가장 잘 알려진 세 가지 크라우드소싱 플랫폼입니다.
Zooniverse는 2백만 개의 등록된 계정을 보유한 사상 최대 규모의 시민 참여형 연구 플랫폼입니다. 인공지능이나 컴퓨터는 여전히 특정 패턴을 식별하는 데 어려움을 겪는 반면, 인간은 이에 독특하게 적응되어 있습니다. 일반 대중은 연구자들이 은하계 모양부터 동물 유형에 이르기까지 모든 것을 식별하고 분류하도록 도울 수 있습니다. Zooniverse 커뮤니티는 많은 발견에 기여했으며, 누구나 커뮤니티에 공개된 프로젝트에 자신의 데이터를 업로드할 수 있습니다.
다른 인기 있는 크라우드소싱 플랫폼으로는 Folding@Home과 Seek by iNaturalist가 있습니다. Folding@Home은 화면 보호기가 활성화된 동안 컴퓨터 컴퓨팅 파워를 빌려 DNA 코드에서 번역된 단백질의 구조와 상호 작용 가능성을 계산합니다. iNaturalist의 Seek은 카메라를 통해 모든 식물이나 동물의 속(genus)과 종(species)을 식별하는 휴대폰 애플리케이션입니다.
데이터 수집 측면에서 Seek은 매일 업로드되는 이미지가 평균 거의 200,000장에 달합니다. 이미지가 업로드되면 2백만 명 이상의 과학자 및 시민 과학자 커뮤니티가 데이터 품질 분석가 역할을 하여 식별 정확도를 제안하고 확인하는 방식으로 데이터와 상호 작용합니다.
크라우드소싱과 신경과학은 처음부터 운명적인 파트너였습니다
크라우드소싱 연구는 실험의 실질적 가치를 높이는 방법입니다. 이는 연구에 기여하고 연구자들이 영향력을 미치도록 돕는 데 관심이 있는 개인들을 하나로 모읍니다. 크라우드소싱을 통해 이러한 연구 방식의 통계적 검정력이 증가합니다. 충분한 통계적 검정력을 보장할 수 있는 대규모 표본 크기가 존재하기 때문에, 연구자들은 통계적으로 유의미한 차이가 존재할 때 이를 감지할 가능성이 더 커집니다.
크라우드소싱 기술의 최근 발전과 고품질의 휴대용 연구용 EEG 헤드셋 및 장비는 재현성 위기 해결에 대한 희망을 제시합니다. 다양하고 흩어져 있는 수천 명의 개인으로부터 연구 목적에 맞는 품질의 데이터를 크라우드소싱하는 것은 연구 방식에 한층 더 강력한 통계적 검정력을 제공하는 것으로 보입니다. 가장 까다로운 혁신 및 연구 질문에 답하기 위해 대중(Crowd)은 최고의 파트너로 떠오르고 있습니다.
재현성 위기에 대한 논의가 계속되는 가운데, Emotiv는 이 문제를 해결할 가치가 있는 도전이자 하나의 기회로 재정의했으며, 바로 이 부분에서 중대한 진전을 이루었습니다. 인지 신경과학 연구에서의 재현성 위기를 해결하기 위해 Emotiv는 확장 가능한 분산형 신경과학 연구 플랫폼인 EmotivLABS를 개발했습니다.
EmotivLABS와 함께 재현성 위기 극복하기
우리는 함께 협력함으로써 연구를 가속화할 수 있습니다.
EmotivLABS는 Emotiv의 확장 가능한 분산형 연구 플랫폼입니다. 전 세계의 참가자들이 직접 보유한 Emotiv EEG 헤드셋을 통해 신경과학 연구에 참여하고 기여에 대한 대가를 받을 수 있습니다.
이 플랫폼의 핵심적인 특징은 연구자가 참가자로부터 고품질의 연구용 데이터를 획득할 수 있도록 보장하는 정교한 품질 보증 프로세스입니다. 사용자는 헤드셋 작동 방식을 이해하고 고품질 EEG 데이터를 획득할 수 있음을 증명하는 인증 과정을 완료해야 합니다. 인증을 받으면 사용자는 플랫폼에서 신경과학 연구 실험에 참여할 수 있으며 경우에 따라 보상을 받을 수도 있습니다.
연구원들은 가공되지 않은 raw EEG 데이터 외에도 밴드 파워(band power) 데이터뿐만 아니라 주의 집중, 좌절감, 흥미, 이완, 관여도, 흥분, 인지적 스트레스를 포함하는 일련의 정동 및 인지 감지 알고리즘에도 접근할 수 있습니다.
Emotiv의 실험 빌더(Experiment Builder)를 사용하여 연구 실험을 설계한 다음 EmotivLABS에 배포할 수 있습니다. 하나의 플랫폼 안에서 인증된 전 세계 참가자 패널을 연결 및 모집하고 고품질 EEG 데이터를 수집해 보세요.
EmotivLABS와 결합된 Emotiv의 EEG 헤드셋은 모집 물류, 통계적 유의성, 그리고 보다 다양하고 포용적인 인구 통계학적 그룹에 대한 접근성 확보라는 재현성 위기의 세 가지 주요 문제를 해결합니다.
궁극적으로 신경과학 도구와 방법론을 채택하는 학문 분야 및 상업 시장의 수가 증가함에 따라, Emotiv의 저비용 연구용 헤드셋은 신경과학 연구, 건강 및 웰빙, 자동차, 뉴로마케팅, 소비자 연구, 교육 및 엔터테인먼트 분야에서 폭넓게 사용되고 있습니다.
결과적으로 이 정도 규모의 신경기술 혁신은 우리의 감성적, 지적 삶에 대한 더 깊은 Insight을 얻을 수 있게 해 주었습니다. 이는 과거의 실험 설계와 연구 관행 때문에 도달할 수 없었던 지식이었습니다. 이러한 통찰력을 적용함으로써 우리는 개인적, 직업적 삶을 의식적으로 조정하여 성과를 극대화하고 개인으로서뿐만 아니라 타인과의 관계에서 우리 고유의 능력을 풍요롭게 하는 데 더 큰 통제력을 가질 수 있게 될 것입니다.
여기에서 연구를 강화하는 방법에 대해 자세히 알아보세요.
Emotiv에 대해 더 알아보기
2011년에 설립된 Emotiv는 샌프란시스코에 본사를 둔 생물정보학(bioinformatics) 기업으로, 맞춤형 뇌전도(EEG) 하드웨어, 분석 및 시각화 기술을 사용하여 인간 뇌에 대한 이해를 증진하는 것을 사명으로 삼고 있습니다.
오픈 사이언스(open science)의 중심에는 협업이 있습니다. Emotiv의 연구 플랫폼과 직원들은 과학적 진실성과 실험적 엄격함을 증진하는 것을 목표로 합니다. Emotiv의 확장 가능한 연구 플랫폼인 EmotivLABS는 전 세계의 인지 신경과학자들과 글로벌 연구 참가자 및 조사자들을 연결합니다. 신경과학 연구의 점진적인 선형성을 이해하고 있는 당사는 연구자들에게 광범위하고 다차원적인 풍부한 데이터 세트를 제공하여 넓은 표본에서 의미 있는 결론을 내릴 수 있도록 돕습니다.
Emotiv 헤드셋
Emotiv Insight
Emotiv는 전문가부터 단순히 자신의 뇌에 대해 배우고자 하는 개인에 이르기까지 폭넓은 사용자 커뮤니티에 서비스를 제공합니다. Emotiv Insight는 뇌-컴퓨터 인터페이스(BCI)용으로 설계된 5채널 EEG 헤드셋입니다. Insight는 혁신적인 센서 기술과 깔끔하고 설치가 간편한 디자인을 결합했습니다.
Emotiv EPOC X 및 EPOC Flex
Emotiv EPOC X는 14채널 EEG 헤드셋이며 Flex는 32채널 EEG 시스템입니다. 모든 환경에서의 신경과학 연구를 위해 설계된 EPOC 헤드셋은 향상된 센서 기술을 탑재한 무선 장치입니다. 두 헤드셋 모두 독립적인 연구 기관을 통해 작동이 검증되었으며 신뢰할 수 있는 고품질 연구용 데이터를 제공하는 것으로 입증되었습니다.
Emotiv EEG 헤드셋의 기술적 사양에 대한 상세한 비교는 Emotiv 웹사이트에서 확인하실 수 있습니다.
Emotiv 기술
Emotiv는 신경과학 연구의 모든 단계를 지원하기 위한 일련의 도구를 설계했습니다.
EmotivPRO 소프트웨어를 사용하면 실험 결과를 처리, 분석 및 시각화할 수 있습니다. 또한 연구자들은 전문가 수준에서 실험을 설계할 수 있으며, 이 실험 설계 요건을 준수한다면 Emotiv 헤드셋을 가진 누구나 참여할 수 있습니다.
Emotiv 전용 소프트웨어 개발 키트(SDK)도 제공되므로 헤드셋과 스마트폰만으로 이동 중에도 맞춤형 앱 개발, 상호 작용 및 실험 설계를 수행할 수 있습니다.
신경과학 도구와 방법론을 도입하는 학문 분야와 상업 시장이 늘어남에 따라, 저렴하고 사용하기 쉬운 Emotiv의 EEG 헤드셋은 다음과 같은 분야에서 활용되고 있습니다.
신경과학 연구
헬스 및 웰빙
자동차 산업
뉴로마케팅
소비자 조사
교육
엔터테인먼트 환경
통계적 유의성을 향상시키기 위해 인지 신경과학 연구에서의 재현성 위기를 정면으로 다룹니다.
인지 신경과학 및 사회적 행동 연구에서 EEG 연구 방법론은 다양한 활동이나 외부 환경과 관련된 뇌 활동의 특성을 연구하여 인간의 마음을 이해하는 것을 목표로 합니다. 무선 휴대용 EEG 헤드셋이 출시됨에 따라 EEG 연구의 중요한 차별화 요소는 실험실에 갇혀 있기보다 실제 환경에서 장기적인 뇌 활동과 사회적 행동을 조사할 수 있다는 점입니다.
재현성 위기란 무엇인가요?
재현성 위기(replication crisis)는 연구자가 다른 연구자의 실험 결과를 복제하거나 재현할 수 없는 상황을 의미합니다. 그 결과, 연구 결과가 표본 집단에서 일반 대중으로 확대 적용될 수 없습니다.
불행히도 적은 표본 크기는 현재 신경과학 연구의 핵심적인 도전 과제입니다. 적은 표본 크기는 통계적 유의성에 영향을 미치고, 의미 있는 결론을 도출하는 데 어려움을 가중시키며, 갈수록 심각해지는 재현성 위기를 악화시킵니다.
재현은 과학적 과정에서 매우 중요한 단계이기 때문에 이러한 재현성 위기를 해결하는 것은 필수적입니다. 그렇지 않으면 재현할 수 없는 실증적 결과는 해당 이론의 신뢰성을 떨어뜨리고, 결과적으로 그 과정에서 도출되는 모든 치료법, 치료제 또는 규정의 신뢰성마저 약화시킵니다.
이 글에서는 재현성 위기에 대한 개요와 이것이 실제 세계를 이해하기 위해 수집된 데이터의 잠재력을 최대한 발휘하려는 신경과학자들의 능력에 어떤 영향을 미치는지 살펴보겠습니다. 그런 다음 AI 매개 크라우드소싱 연구와 같은 21세기 기술이 어떻게 재현성 위기에 대한 해결책을 제공하는지 소개합니다.
신경과학 연구에서 재현 가능성의 중요성
현대의 실증 연구는 데이터 획득과 분석을 모두 포함합니다. 따라서 재현 가능성에 대한 고려는 다음 두 가지 질문으로 귀결됩니다.
재현 가능성(Reproducibility): 귀하의 실험은 데이터 해석을 위해 필요한 분석 검증과 필수 인증을 갖추고 있습니까?
재현(Replication): 귀하의 실험은 새롭고 독립적인 데이터를 얻기 위해 반복하여 수행될 수 있는 역량을 가지고 있습니까?
안타깝게도 신경과학 연구에서 두 질문에 대한 답은 모두 '아니오'입니다.
2016년, Nature지가 1,576명의 연구자를 대상으로 설문조사를 실시한 결과, 70% 이상의 연구자가 다른 과학자의 실험을 재현하는 데 실패한 경험이 있는것으로 나타났습니다. 그리고 절반 이상은 자신들의 실험조차 재현하지 못했습니다. 이러한 실패에도 불구하고 오직 52%의 연구자들만이 위기라는 인식을 공유했으며, 31%는 결과가 아마도 틀렸을 것이라고 생각했습니다.
연구 결과를 재현하지 못하는 것은 일반적으로 통계적으로 보완하거나 감지할 수 없는 실험 조건의 고유한 특성 때문입니다. 그날의 날씨부터 실험을 수행하는 개별 실험실 연구원, 실험 결과를 평가하기 위해 개발된 분석 또는 통계 도구에 이르기까지 모든 것이 재현을 복잡하게 만드는 고유한 요소를 가질 수 있습니다.
나아가 신경과학 연구에 필요한 제한된 자원과 전문성 때문에, 실험은 표본이 과소 추출되는 경향이 있으며 이미 WEIRD(서구의, 교육받은, 산업화된, 부유하고, 민주적인) 제한된 인구 표본만을 포함하고 있습니다.
연구에서 재현이 중요한 이유는 무엇인가요?
모집 문제, 실험실 공간의 제약, 적은 표본 크기와 같은 물적 제약으로 인해 연구자들은 기존의 연구 관행과 패턴에 의존해 왔습니다. 그 결과 실제 사회적 행동과 개인 정보를 연구하는 연구자들은 다양하고 창의적으로 실험을 진행할 수 없습니다. 이러한 제약은 치료법, 치료제, 심지어 규정과 같은 실제 응용 분야로 연구 결과를 전환하는 신경과학 연구자들의 역량에 영향을 미쳤습니다. 이러한 표본 집단의 제약과 실제 상황에서의 테스트 능력 한계가 재현성 위기의 핵심입니다.
실험실 내에서 실험 결과를 재현할 수 없으면 통계적 검정력이 높은 결론을 도출하기가 어렵습니다. 실험 결과로부터 도출된 추론에 의심이 생기면 전체 시스템의 신뢰가 흔들리게 됩니다. 이러한 의심은 폭넓고 실질적인 실생활의 영향력을 가질 연구를 지원하는 임무를 맡은 연구 지원 재단에도 부정적인 영향을 미칠 수 있습니다.
재현 가능성 향상은 종종 연구 방법의 정립에서 비롯됩니다. 연구자가 더 큰 표본 집단을 대상으로 한 실험에서 데이터 수집, 품질 관리, 분석 절차의 엄격한 표준화를 달성할 때 결과의 재현성이 향상됩니다.
지난 10년 동안 크라우드소싱 소프트웨어 및 하드웨어의 기술 혁신은 연구자들이 재현성 위기, 통계적 검정력 문제, 그리고 재현 가능성 위기를 해결하는 핵심적인 표준화 요소를 제공할 수 있도록 도왔습니다.
크라우드소싱 연구 방식
크라우드소싱 연구를 통해 더 많은 피험자를 찾아 글로벌화하기
크라우드소싱 기술은 지난 20년 동안 급속히 발전해 왔습니다. 이는 연구자가 전 세계적으로 연결된 네트워크를 통해 개인으로부터 훨씬 더 많은 데이터를 수집할 수 있는 접근 방식입니다. 예를 들어, 컴퓨터 음성 인식 기술의 발전을 생각해 보십시오. 수십 년 동안 이 연구는 Google, Amazon, Apple과 같은 기업들이 수십만 명의 인터넷 사용자로부터 누적된 입력을 수집할 때까지 사실상 정체 상태였습니다. 이렇게 방대한 데이터 세트를 보유하게 되면서, 그들은 음성 인식 소프트웨어를 개선하여 오늘날 Google, Alexa 및 Siri 서비스에서 흔히 사용되는 형태로 발전시킬 수 있었습니다.
그러나 대부분의 기술 혁신과 마찬가지로 크라우드소싱은 여러 상업 및 과학 연구 방식에 맞게 조정되었습니다. Zooniverse, Folding@Home, Seek by iNaturalist는 가장 잘 알려진 세 가지 크라우드소싱 플랫폼입니다.
Zooniverse는 2백만 개의 등록된 계정을 보유한 사상 최대 규모의 시민 참여형 연구 플랫폼입니다. 인공지능이나 컴퓨터는 여전히 특정 패턴을 식별하는 데 어려움을 겪는 반면, 인간은 이에 독특하게 적응되어 있습니다. 일반 대중은 연구자들이 은하계 모양부터 동물 유형에 이르기까지 모든 것을 식별하고 분류하도록 도울 수 있습니다. Zooniverse 커뮤니티는 많은 발견에 기여했으며, 누구나 커뮤니티에 공개된 프로젝트에 자신의 데이터를 업로드할 수 있습니다.
다른 인기 있는 크라우드소싱 플랫폼으로는 Folding@Home과 Seek by iNaturalist가 있습니다. Folding@Home은 화면 보호기가 활성화된 동안 컴퓨터 컴퓨팅 파워를 빌려 DNA 코드에서 번역된 단백질의 구조와 상호 작용 가능성을 계산합니다. iNaturalist의 Seek은 카메라를 통해 모든 식물이나 동물의 속(genus)과 종(species)을 식별하는 휴대폰 애플리케이션입니다.
데이터 수집 측면에서 Seek은 매일 업로드되는 이미지가 평균 거의 200,000장에 달합니다. 이미지가 업로드되면 2백만 명 이상의 과학자 및 시민 과학자 커뮤니티가 데이터 품질 분석가 역할을 하여 식별 정확도를 제안하고 확인하는 방식으로 데이터와 상호 작용합니다.
크라우드소싱과 신경과학은 처음부터 운명적인 파트너였습니다
크라우드소싱 연구는 실험의 실질적 가치를 높이는 방법입니다. 이는 연구에 기여하고 연구자들이 영향력을 미치도록 돕는 데 관심이 있는 개인들을 하나로 모읍니다. 크라우드소싱을 통해 이러한 연구 방식의 통계적 검정력이 증가합니다. 충분한 통계적 검정력을 보장할 수 있는 대규모 표본 크기가 존재하기 때문에, 연구자들은 통계적으로 유의미한 차이가 존재할 때 이를 감지할 가능성이 더 커집니다.
크라우드소싱 기술의 최근 발전과 고품질의 휴대용 연구용 EEG 헤드셋 및 장비는 재현성 위기 해결에 대한 희망을 제시합니다. 다양하고 흩어져 있는 수천 명의 개인으로부터 연구 목적에 맞는 품질의 데이터를 크라우드소싱하는 것은 연구 방식에 한층 더 강력한 통계적 검정력을 제공하는 것으로 보입니다. 가장 까다로운 혁신 및 연구 질문에 답하기 위해 대중(Crowd)은 최고의 파트너로 떠오르고 있습니다.
재현성 위기에 대한 논의가 계속되는 가운데, Emotiv는 이 문제를 해결할 가치가 있는 도전이자 하나의 기회로 재정의했으며, 바로 이 부분에서 중대한 진전을 이루었습니다. 인지 신경과학 연구에서의 재현성 위기를 해결하기 위해 Emotiv는 확장 가능한 분산형 신경과학 연구 플랫폼인 EmotivLABS를 개발했습니다.
EmotivLABS와 함께 재현성 위기 극복하기
우리는 함께 협력함으로써 연구를 가속화할 수 있습니다.
EmotivLABS는 Emotiv의 확장 가능한 분산형 연구 플랫폼입니다. 전 세계의 참가자들이 직접 보유한 Emotiv EEG 헤드셋을 통해 신경과학 연구에 참여하고 기여에 대한 대가를 받을 수 있습니다.
이 플랫폼의 핵심적인 특징은 연구자가 참가자로부터 고품질의 연구용 데이터를 획득할 수 있도록 보장하는 정교한 품질 보증 프로세스입니다. 사용자는 헤드셋 작동 방식을 이해하고 고품질 EEG 데이터를 획득할 수 있음을 증명하는 인증 과정을 완료해야 합니다. 인증을 받으면 사용자는 플랫폼에서 신경과학 연구 실험에 참여할 수 있으며 경우에 따라 보상을 받을 수도 있습니다.
연구원들은 가공되지 않은 raw EEG 데이터 외에도 밴드 파워(band power) 데이터뿐만 아니라 주의 집중, 좌절감, 흥미, 이완, 관여도, 흥분, 인지적 스트레스를 포함하는 일련의 정동 및 인지 감지 알고리즘에도 접근할 수 있습니다.
Emotiv의 실험 빌더(Experiment Builder)를 사용하여 연구 실험을 설계한 다음 EmotivLABS에 배포할 수 있습니다. 하나의 플랫폼 안에서 인증된 전 세계 참가자 패널을 연결 및 모집하고 고품질 EEG 데이터를 수집해 보세요.
EmotivLABS와 결합된 Emotiv의 EEG 헤드셋은 모집 물류, 통계적 유의성, 그리고 보다 다양하고 포용적인 인구 통계학적 그룹에 대한 접근성 확보라는 재현성 위기의 세 가지 주요 문제를 해결합니다.
궁극적으로 신경과학 도구와 방법론을 채택하는 학문 분야 및 상업 시장의 수가 증가함에 따라, Emotiv의 저비용 연구용 헤드셋은 신경과학 연구, 건강 및 웰빙, 자동차, 뉴로마케팅, 소비자 연구, 교육 및 엔터테인먼트 분야에서 폭넓게 사용되고 있습니다.
결과적으로 이 정도 규모의 신경기술 혁신은 우리의 감성적, 지적 삶에 대한 더 깊은 Insight을 얻을 수 있게 해 주었습니다. 이는 과거의 실험 설계와 연구 관행 때문에 도달할 수 없었던 지식이었습니다. 이러한 통찰력을 적용함으로써 우리는 개인적, 직업적 삶을 의식적으로 조정하여 성과를 극대화하고 개인으로서뿐만 아니라 타인과의 관계에서 우리 고유의 능력을 풍요롭게 하는 데 더 큰 통제력을 가질 수 있게 될 것입니다.
여기에서 연구를 강화하는 방법에 대해 자세히 알아보세요.
Emotiv에 대해 더 알아보기
2011년에 설립된 Emotiv는 샌프란시스코에 본사를 둔 생물정보학(bioinformatics) 기업으로, 맞춤형 뇌전도(EEG) 하드웨어, 분석 및 시각화 기술을 사용하여 인간 뇌에 대한 이해를 증진하는 것을 사명으로 삼고 있습니다.
오픈 사이언스(open science)의 중심에는 협업이 있습니다. Emotiv의 연구 플랫폼과 직원들은 과학적 진실성과 실험적 엄격함을 증진하는 것을 목표로 합니다. Emotiv의 확장 가능한 연구 플랫폼인 EmotivLABS는 전 세계의 인지 신경과학자들과 글로벌 연구 참가자 및 조사자들을 연결합니다. 신경과학 연구의 점진적인 선형성을 이해하고 있는 당사는 연구자들에게 광범위하고 다차원적인 풍부한 데이터 세트를 제공하여 넓은 표본에서 의미 있는 결론을 내릴 수 있도록 돕습니다.
Emotiv 헤드셋
Emotiv Insight
Emotiv는 전문가부터 단순히 자신의 뇌에 대해 배우고자 하는 개인에 이르기까지 폭넓은 사용자 커뮤니티에 서비스를 제공합니다. Emotiv Insight는 뇌-컴퓨터 인터페이스(BCI)용으로 설계된 5채널 EEG 헤드셋입니다. Insight는 혁신적인 센서 기술과 깔끔하고 설치가 간편한 디자인을 결합했습니다.
Emotiv EPOC X 및 EPOC Flex
Emotiv EPOC X는 14채널 EEG 헤드셋이며 Flex는 32채널 EEG 시스템입니다. 모든 환경에서의 신경과학 연구를 위해 설계된 EPOC 헤드셋은 향상된 센서 기술을 탑재한 무선 장치입니다. 두 헤드셋 모두 독립적인 연구 기관을 통해 작동이 검증되었으며 신뢰할 수 있는 고품질 연구용 데이터를 제공하는 것으로 입증되었습니다.
Emotiv EEG 헤드셋의 기술적 사양에 대한 상세한 비교는 Emotiv 웹사이트에서 확인하실 수 있습니다.
Emotiv 기술
Emotiv는 신경과학 연구의 모든 단계를 지원하기 위한 일련의 도구를 설계했습니다.
EmotivPRO 소프트웨어를 사용하면 실험 결과를 처리, 분석 및 시각화할 수 있습니다. 또한 연구자들은 전문가 수준에서 실험을 설계할 수 있으며, 이 실험 설계 요건을 준수한다면 Emotiv 헤드셋을 가진 누구나 참여할 수 있습니다.
Emotiv 전용 소프트웨어 개발 키트(SDK)도 제공되므로 헤드셋과 스마트폰만으로 이동 중에도 맞춤형 앱 개발, 상호 작용 및 실험 설계를 수행할 수 있습니다.
신경과학 도구와 방법론을 도입하는 학문 분야와 상업 시장이 늘어남에 따라, 저렴하고 사용하기 쉬운 Emotiv의 EEG 헤드셋은 다음과 같은 분야에서 활용되고 있습니다.
신경과학 연구
헬스 및 웰빙
자동차 산업
뉴로마케팅
소비자 조사
교육
엔터테인먼트 환경
통계적 유의성을 향상시키기 위해 인지 신경과학 연구에서의 재현성 위기를 정면으로 다룹니다.
인지 신경과학 및 사회적 행동 연구에서 EEG 연구 방법론은 다양한 활동이나 외부 환경과 관련된 뇌 활동의 특성을 연구하여 인간의 마음을 이해하는 것을 목표로 합니다. 무선 휴대용 EEG 헤드셋이 출시됨에 따라 EEG 연구의 중요한 차별화 요소는 실험실에 갇혀 있기보다 실제 환경에서 장기적인 뇌 활동과 사회적 행동을 조사할 수 있다는 점입니다.
재현성 위기란 무엇인가요?
재현성 위기(replication crisis)는 연구자가 다른 연구자의 실험 결과를 복제하거나 재현할 수 없는 상황을 의미합니다. 그 결과, 연구 결과가 표본 집단에서 일반 대중으로 확대 적용될 수 없습니다.
불행히도 적은 표본 크기는 현재 신경과학 연구의 핵심적인 도전 과제입니다. 적은 표본 크기는 통계적 유의성에 영향을 미치고, 의미 있는 결론을 도출하는 데 어려움을 가중시키며, 갈수록 심각해지는 재현성 위기를 악화시킵니다.
재현은 과학적 과정에서 매우 중요한 단계이기 때문에 이러한 재현성 위기를 해결하는 것은 필수적입니다. 그렇지 않으면 재현할 수 없는 실증적 결과는 해당 이론의 신뢰성을 떨어뜨리고, 결과적으로 그 과정에서 도출되는 모든 치료법, 치료제 또는 규정의 신뢰성마저 약화시킵니다.
이 글에서는 재현성 위기에 대한 개요와 이것이 실제 세계를 이해하기 위해 수집된 데이터의 잠재력을 최대한 발휘하려는 신경과학자들의 능력에 어떤 영향을 미치는지 살펴보겠습니다. 그런 다음 AI 매개 크라우드소싱 연구와 같은 21세기 기술이 어떻게 재현성 위기에 대한 해결책을 제공하는지 소개합니다.
신경과학 연구에서 재현 가능성의 중요성
현대의 실증 연구는 데이터 획득과 분석을 모두 포함합니다. 따라서 재현 가능성에 대한 고려는 다음 두 가지 질문으로 귀결됩니다.
재현 가능성(Reproducibility): 귀하의 실험은 데이터 해석을 위해 필요한 분석 검증과 필수 인증을 갖추고 있습니까?
재현(Replication): 귀하의 실험은 새롭고 독립적인 데이터를 얻기 위해 반복하여 수행될 수 있는 역량을 가지고 있습니까?
안타깝게도 신경과학 연구에서 두 질문에 대한 답은 모두 '아니오'입니다.
2016년, Nature지가 1,576명의 연구자를 대상으로 설문조사를 실시한 결과, 70% 이상의 연구자가 다른 과학자의 실험을 재현하는 데 실패한 경험이 있는것으로 나타났습니다. 그리고 절반 이상은 자신들의 실험조차 재현하지 못했습니다. 이러한 실패에도 불구하고 오직 52%의 연구자들만이 위기라는 인식을 공유했으며, 31%는 결과가 아마도 틀렸을 것이라고 생각했습니다.
연구 결과를 재현하지 못하는 것은 일반적으로 통계적으로 보완하거나 감지할 수 없는 실험 조건의 고유한 특성 때문입니다. 그날의 날씨부터 실험을 수행하는 개별 실험실 연구원, 실험 결과를 평가하기 위해 개발된 분석 또는 통계 도구에 이르기까지 모든 것이 재현을 복잡하게 만드는 고유한 요소를 가질 수 있습니다.
나아가 신경과학 연구에 필요한 제한된 자원과 전문성 때문에, 실험은 표본이 과소 추출되는 경향이 있으며 이미 WEIRD(서구의, 교육받은, 산업화된, 부유하고, 민주적인) 제한된 인구 표본만을 포함하고 있습니다.
연구에서 재현이 중요한 이유는 무엇인가요?
모집 문제, 실험실 공간의 제약, 적은 표본 크기와 같은 물적 제약으로 인해 연구자들은 기존의 연구 관행과 패턴에 의존해 왔습니다. 그 결과 실제 사회적 행동과 개인 정보를 연구하는 연구자들은 다양하고 창의적으로 실험을 진행할 수 없습니다. 이러한 제약은 치료법, 치료제, 심지어 규정과 같은 실제 응용 분야로 연구 결과를 전환하는 신경과학 연구자들의 역량에 영향을 미쳤습니다. 이러한 표본 집단의 제약과 실제 상황에서의 테스트 능력 한계가 재현성 위기의 핵심입니다.
실험실 내에서 실험 결과를 재현할 수 없으면 통계적 검정력이 높은 결론을 도출하기가 어렵습니다. 실험 결과로부터 도출된 추론에 의심이 생기면 전체 시스템의 신뢰가 흔들리게 됩니다. 이러한 의심은 폭넓고 실질적인 실생활의 영향력을 가질 연구를 지원하는 임무를 맡은 연구 지원 재단에도 부정적인 영향을 미칠 수 있습니다.
재현 가능성 향상은 종종 연구 방법의 정립에서 비롯됩니다. 연구자가 더 큰 표본 집단을 대상으로 한 실험에서 데이터 수집, 품질 관리, 분석 절차의 엄격한 표준화를 달성할 때 결과의 재현성이 향상됩니다.
지난 10년 동안 크라우드소싱 소프트웨어 및 하드웨어의 기술 혁신은 연구자들이 재현성 위기, 통계적 검정력 문제, 그리고 재현 가능성 위기를 해결하는 핵심적인 표준화 요소를 제공할 수 있도록 도왔습니다.
크라우드소싱 연구 방식
크라우드소싱 연구를 통해 더 많은 피험자를 찾아 글로벌화하기
크라우드소싱 기술은 지난 20년 동안 급속히 발전해 왔습니다. 이는 연구자가 전 세계적으로 연결된 네트워크를 통해 개인으로부터 훨씬 더 많은 데이터를 수집할 수 있는 접근 방식입니다. 예를 들어, 컴퓨터 음성 인식 기술의 발전을 생각해 보십시오. 수십 년 동안 이 연구는 Google, Amazon, Apple과 같은 기업들이 수십만 명의 인터넷 사용자로부터 누적된 입력을 수집할 때까지 사실상 정체 상태였습니다. 이렇게 방대한 데이터 세트를 보유하게 되면서, 그들은 음성 인식 소프트웨어를 개선하여 오늘날 Google, Alexa 및 Siri 서비스에서 흔히 사용되는 형태로 발전시킬 수 있었습니다.
그러나 대부분의 기술 혁신과 마찬가지로 크라우드소싱은 여러 상업 및 과학 연구 방식에 맞게 조정되었습니다. Zooniverse, Folding@Home, Seek by iNaturalist는 가장 잘 알려진 세 가지 크라우드소싱 플랫폼입니다.
Zooniverse는 2백만 개의 등록된 계정을 보유한 사상 최대 규모의 시민 참여형 연구 플랫폼입니다. 인공지능이나 컴퓨터는 여전히 특정 패턴을 식별하는 데 어려움을 겪는 반면, 인간은 이에 독특하게 적응되어 있습니다. 일반 대중은 연구자들이 은하계 모양부터 동물 유형에 이르기까지 모든 것을 식별하고 분류하도록 도울 수 있습니다. Zooniverse 커뮤니티는 많은 발견에 기여했으며, 누구나 커뮤니티에 공개된 프로젝트에 자신의 데이터를 업로드할 수 있습니다.
다른 인기 있는 크라우드소싱 플랫폼으로는 Folding@Home과 Seek by iNaturalist가 있습니다. Folding@Home은 화면 보호기가 활성화된 동안 컴퓨터 컴퓨팅 파워를 빌려 DNA 코드에서 번역된 단백질의 구조와 상호 작용 가능성을 계산합니다. iNaturalist의 Seek은 카메라를 통해 모든 식물이나 동물의 속(genus)과 종(species)을 식별하는 휴대폰 애플리케이션입니다.
데이터 수집 측면에서 Seek은 매일 업로드되는 이미지가 평균 거의 200,000장에 달합니다. 이미지가 업로드되면 2백만 명 이상의 과학자 및 시민 과학자 커뮤니티가 데이터 품질 분석가 역할을 하여 식별 정확도를 제안하고 확인하는 방식으로 데이터와 상호 작용합니다.
크라우드소싱과 신경과학은 처음부터 운명적인 파트너였습니다
크라우드소싱 연구는 실험의 실질적 가치를 높이는 방법입니다. 이는 연구에 기여하고 연구자들이 영향력을 미치도록 돕는 데 관심이 있는 개인들을 하나로 모읍니다. 크라우드소싱을 통해 이러한 연구 방식의 통계적 검정력이 증가합니다. 충분한 통계적 검정력을 보장할 수 있는 대규모 표본 크기가 존재하기 때문에, 연구자들은 통계적으로 유의미한 차이가 존재할 때 이를 감지할 가능성이 더 커집니다.
크라우드소싱 기술의 최근 발전과 고품질의 휴대용 연구용 EEG 헤드셋 및 장비는 재현성 위기 해결에 대한 희망을 제시합니다. 다양하고 흩어져 있는 수천 명의 개인으로부터 연구 목적에 맞는 품질의 데이터를 크라우드소싱하는 것은 연구 방식에 한층 더 강력한 통계적 검정력을 제공하는 것으로 보입니다. 가장 까다로운 혁신 및 연구 질문에 답하기 위해 대중(Crowd)은 최고의 파트너로 떠오르고 있습니다.
재현성 위기에 대한 논의가 계속되는 가운데, Emotiv는 이 문제를 해결할 가치가 있는 도전이자 하나의 기회로 재정의했으며, 바로 이 부분에서 중대한 진전을 이루었습니다. 인지 신경과학 연구에서의 재현성 위기를 해결하기 위해 Emotiv는 확장 가능한 분산형 신경과학 연구 플랫폼인 EmotivLABS를 개발했습니다.
EmotivLABS와 함께 재현성 위기 극복하기
우리는 함께 협력함으로써 연구를 가속화할 수 있습니다.
EmotivLABS는 Emotiv의 확장 가능한 분산형 연구 플랫폼입니다. 전 세계의 참가자들이 직접 보유한 Emotiv EEG 헤드셋을 통해 신경과학 연구에 참여하고 기여에 대한 대가를 받을 수 있습니다.
이 플랫폼의 핵심적인 특징은 연구자가 참가자로부터 고품질의 연구용 데이터를 획득할 수 있도록 보장하는 정교한 품질 보증 프로세스입니다. 사용자는 헤드셋 작동 방식을 이해하고 고품질 EEG 데이터를 획득할 수 있음을 증명하는 인증 과정을 완료해야 합니다. 인증을 받으면 사용자는 플랫폼에서 신경과학 연구 실험에 참여할 수 있으며 경우에 따라 보상을 받을 수도 있습니다.
연구원들은 가공되지 않은 raw EEG 데이터 외에도 밴드 파워(band power) 데이터뿐만 아니라 주의 집중, 좌절감, 흥미, 이완, 관여도, 흥분, 인지적 스트레스를 포함하는 일련의 정동 및 인지 감지 알고리즘에도 접근할 수 있습니다.
Emotiv의 실험 빌더(Experiment Builder)를 사용하여 연구 실험을 설계한 다음 EmotivLABS에 배포할 수 있습니다. 하나의 플랫폼 안에서 인증된 전 세계 참가자 패널을 연결 및 모집하고 고품질 EEG 데이터를 수집해 보세요.
EmotivLABS와 결합된 Emotiv의 EEG 헤드셋은 모집 물류, 통계적 유의성, 그리고 보다 다양하고 포용적인 인구 통계학적 그룹에 대한 접근성 확보라는 재현성 위기의 세 가지 주요 문제를 해결합니다.
궁극적으로 신경과학 도구와 방법론을 채택하는 학문 분야 및 상업 시장의 수가 증가함에 따라, Emotiv의 저비용 연구용 헤드셋은 신경과학 연구, 건강 및 웰빙, 자동차, 뉴로마케팅, 소비자 연구, 교육 및 엔터테인먼트 분야에서 폭넓게 사용되고 있습니다.
결과적으로 이 정도 규모의 신경기술 혁신은 우리의 감성적, 지적 삶에 대한 더 깊은 Insight을 얻을 수 있게 해 주었습니다. 이는 과거의 실험 설계와 연구 관행 때문에 도달할 수 없었던 지식이었습니다. 이러한 통찰력을 적용함으로써 우리는 개인적, 직업적 삶을 의식적으로 조정하여 성과를 극대화하고 개인으로서뿐만 아니라 타인과의 관계에서 우리 고유의 능력을 풍요롭게 하는 데 더 큰 통제력을 가질 수 있게 될 것입니다.
여기에서 연구를 강화하는 방법에 대해 자세히 알아보세요.
Emotiv에 대해 더 알아보기
2011년에 설립된 Emotiv는 샌프란시스코에 본사를 둔 생물정보학(bioinformatics) 기업으로, 맞춤형 뇌전도(EEG) 하드웨어, 분석 및 시각화 기술을 사용하여 인간 뇌에 대한 이해를 증진하는 것을 사명으로 삼고 있습니다.
오픈 사이언스(open science)의 중심에는 협업이 있습니다. Emotiv의 연구 플랫폼과 직원들은 과학적 진실성과 실험적 엄격함을 증진하는 것을 목표로 합니다. Emotiv의 확장 가능한 연구 플랫폼인 EmotivLABS는 전 세계의 인지 신경과학자들과 글로벌 연구 참가자 및 조사자들을 연결합니다. 신경과학 연구의 점진적인 선형성을 이해하고 있는 당사는 연구자들에게 광범위하고 다차원적인 풍부한 데이터 세트를 제공하여 넓은 표본에서 의미 있는 결론을 내릴 수 있도록 돕습니다.
Emotiv 헤드셋
Emotiv Insight
Emotiv는 전문가부터 단순히 자신의 뇌에 대해 배우고자 하는 개인에 이르기까지 폭넓은 사용자 커뮤니티에 서비스를 제공합니다. Emotiv Insight는 뇌-컴퓨터 인터페이스(BCI)용으로 설계된 5채널 EEG 헤드셋입니다. Insight는 혁신적인 센서 기술과 깔끔하고 설치가 간편한 디자인을 결합했습니다.
Emotiv EPOC X 및 EPOC Flex
Emotiv EPOC X는 14채널 EEG 헤드셋이며 Flex는 32채널 EEG 시스템입니다. 모든 환경에서의 신경과학 연구를 위해 설계된 EPOC 헤드셋은 향상된 센서 기술을 탑재한 무선 장치입니다. 두 헤드셋 모두 독립적인 연구 기관을 통해 작동이 검증되었으며 신뢰할 수 있는 고품질 연구용 데이터를 제공하는 것으로 입증되었습니다.
Emotiv EEG 헤드셋의 기술적 사양에 대한 상세한 비교는 Emotiv 웹사이트에서 확인하실 수 있습니다.
Emotiv 기술
Emotiv는 신경과학 연구의 모든 단계를 지원하기 위한 일련의 도구를 설계했습니다.
EmotivPRO 소프트웨어를 사용하면 실험 결과를 처리, 분석 및 시각화할 수 있습니다. 또한 연구자들은 전문가 수준에서 실험을 설계할 수 있으며, 이 실험 설계 요건을 준수한다면 Emotiv 헤드셋을 가진 누구나 참여할 수 있습니다.
Emotiv 전용 소프트웨어 개발 키트(SDK)도 제공되므로 헤드셋과 스마트폰만으로 이동 중에도 맞춤형 앱 개발, 상호 작용 및 실험 설계를 수행할 수 있습니다.
신경과학 도구와 방법론을 도입하는 학문 분야와 상업 시장이 늘어남에 따라, 저렴하고 사용하기 쉬운 Emotiv의 EEG 헤드셋은 다음과 같은 분야에서 활용되고 있습니다.
신경과학 연구
헬스 및 웰빙
자동차 산업
뉴로마케팅
소비자 조사
교육
엔터테인먼트 환경
계속 읽기