통계적 유의성: 표본 크기 및 통계적 검정력 - 우리를 둘러싼 세상을 이해하기 위해 연구자들은 공식적으로 과학적 방법을 사용하여 의심되는 진실과 가짜를 구분합니다. 인지 신경과학은 유전적, 신경학적, 그리고 행동적 시스템이 유기체가 주변 세계를 감지하고, 상호작용하고, 탐색하고, 이에 대해 생각하는 능력을 어떻게 지원하는지 이해하는 것을 목표로 합니다.

이는 인지 신경과학이 모든 분석 수준에서 실험을 설계하고 데이터를 수집한다는 것을 의미합니다. 자연계에 대한 우리의 이해를 넓히고자 하는 전 세계의 연구 프로그램들은 잘 계획된 일련의 소규모 실험을 통해 가정이나 가설을 정기적으로 테스트하고 있습니다. 이러한 실험들은 환경, 성적 지향, 인종 또는 사회경제적 지위와 같은 외부 요인의 영향을 최소화하면서 결과에 영향을 미치거나 미치지 않을 수 있는 특정 요인을 조사하는 경향이 있습니다.

시나리오 1: 도파민 분비 연구

인지 신경과학에서 도파민은 일반적으로 "기분 좋은" 화합물로 간주됩니다. 측좌핵(NuAc)에서의 도파민 분비는 우리가 행동하도록 동기를 부여하는 행동이나 원인에 의해 유발됩니다. 여기에는 다음과 같은 것들이 포함될 수 있습니다.

• 맛있는 식사 하기

• 사랑하는 사람들과의 시간

• 성관계

• 설탕

원하거나 익숙한 시각적 자극에 노출되기 전, 도중, 또는 후에 측좌핵의 도파민 수치가 최고치에 도달하는지 알아보고 싶다고 가정해 봅시다. 우리는 Amatya Johanna Mackintosh의 연구에서 채택한 EEG 실험 설계를 사용할 수 있습니다. 우리는 도파민 분비가 익숙하거나 원하는 시각적 자극에 노출되는 동안 발생하고 노출된 직후에 최고조에 달한다는 가설을 세울 수 있습니다.

이제 가장 결정적으로, 피험자는 어디서 구해야 할까요?

실험적 상황에서 "모집단"은 연구 대상이 되는 더 크고 전체적인 집단을 의미합니다. 실험실에서 수십만 또는 수백만 명의 사람들을 모집하고 도파민 분비 데이터를 수집하는 기술을 고안하는 것은 비현실적이고 거의 불가능합니다.

따라서 모집단을 이해하기 위해 더 작은 대표 집단 또는 표본으로부터 데이터를 수집할 것입니다. 이를 위해 두 가지 주요 질문에 답해야 합니다.

1. 우리의 표본에 얼마나 많은 개인이 포함되어야 합니까?

2. 이것이 실질적 유의성 및 통계적 검정력과 어떤 관련이 있습니까?

아래에서 자세히 살펴보겠습니다.

통계적 검정력과 실제 효과

통계적 검정력은 통계적으로 유의미한 차이가 실제로 존재할 때 테스트가 이를 감지할 확률로 정의됩니다. 이를 실제 효과라고도 합니다.

실제 효과는 실험 설계의 초석입니다. 과학적 방법에 크게 기여한 Cohen의 1988년 보고서는 연구가 실제 효과를 감지할 확률이 80%가 되도록 설계되어야 한다고 논증했습니다. 이 80%는 고검정력(HP) 테스트 설계를 나타내고, 20%에 가까운 값은 저검정력(LP) 테스트 설계에 해당합니다.

Cohen은 연구가 위음성으로 알려진 제2종 오류를 범할 확률이 항상 20% 미만이어야 한다고 제안했습니다. 또한 연구자가 차이가 실제로 존재함에도 불구하고 유의미한 효과가 없다고 부정확하게 보고할 때 발생하는 발견 누락에 대해서도 동일한 가이드라인 범위를 적용하고 있습니다.

통계적 검정력이 왜 중요한가요?

이러한 시나리오를 생각해 보십시오. 80%의 검정력을 가진 100개의 서로 다른 연구에 실제 효과가 존재하는 경우, 통계 테스트는 100개 중 80개에서 실제 효과를 감지합니다. 그러나 연구의 통계적 검정력이 20%인 경우, 결과에 100개의 실제 비영(non-null) 효과가 있더라도 이러한 연구는 그중 단 20개만 발견할 것으로 예상됩니다.

신경과학 연구에서 통계적 검정력의 한계

신경과학 연구의 자원 집약적인 특성 때문에 이 분야의 통계적 검정력 중앙값은 약 21%이며, 평균적으로 8%~31%의 넓은 범위에 걸쳐 있습니다. 신경과학 연구에서 낮은 통계적 검정력은 다음과 같은 문제를 야기합니다.

• 연구 결과의 재현성에 의문을 제기합니다.

• 과장된 효과 크기를 초래합니다.

• 실제 효과를 정확하게 나타내는 통계적으로 유의미한 결과가 나올 가능성을 낮춥니다.

이처럼 현재 신경과학 연구의 현주소는 이러한 값들이 Cohen의 이론적 문턱값에 훨씬 미치지 못하기 때문에 통계적 검정력 문제에 갇혀 있습니다.

대표 표본 집단 구축

시나리오 1의 목표: 포용적이고 큰 표본 추출을 통해 테스트에서 표본 추출 오류와 제1종 및 제2종 오류를 회피합니다.

실험이 실질적으로 유의미하려면 표본 세트에 얼마나 많은 인간의 뇌 스캔이 포함되어야 합니까? 실질적 유의성이란 실험 결과가 실제 세계에 적용되는지 여부를 의미합니다.

신경학자의 실험이 효과를 결정하는 능력(통계적 검정력)은 표본 크기와 밀접하게 연관되어 있습니다. 시나리오 1의 매개변수를 계속 적용할 때, 목표는 여전히 감정이 실린 시각적 자극을 보여준 후 도파민 분비 시점에 실제 효과가 있는지 통계적으로 평가할 수 있을 만큼 충분한 데이터를 수집하는 것입니다. 또한 표본 추출 오류의 가능성을 최소화하는 표본 포함 기준을 수립해야 합니다.

표본 추출 오류를 피하는 방법

더 진행하기 전에 두 가지 용어를 이해하는 것이 중요합니다.

1. 표본 추출 오류: 표본을 추출할 때 선택된 개인들로부터 수집된 데이터가 전체 모집단을 대표하지 못할 가능성은 항상 존재합니다.

2. 통계적 유의성: 통계적 유의성은 우리의 데이터와 관찰된 효과가 실제 효과일 확률이 높다는 것을 의미합니다. 대부분의 생물의학 분야에서 통계적 유의성은 .05의 유의수준 또는 p-값으로 설정됩니다. 본질적으로 이는 과학자들이 자신들의 실험에서 관찰된 효과에 대해 95% 확신한다는 것을 의미합니다.

데이터가 어떤 관계(예: 도파민 분비)를 보여주는 상황을 가정해 보겠습니다. 이 효과가 우연한 기회에 의한 것이며 변수(시각적 자극)와 무관할 가능성이 5% 있습니다. 이것이 제1종 오류입니다. 또는 실제로 진짜 효과가 있음에도 불구하고 우리가 수집한 데이터 상으로는 도파민 분비와 시각적 자극 사이에 아무런 관계가 없는 것으로 나타날 확률이 5% 있습니다. 이것이 위음성, 즉 제2종 오류입니다.

특정 표본 크기 이후에는 수확 체감의 법칙이 작용하는 지점이 존재하므로, 표본 포함 기준을 신중하게 수립하는 것이 더 영향력이 큽니다.

우리는 모든 인류를 대표하는 데이터를 수집하여 우리의 결론이 실질적이고 통계적으로 만족스럽기를 바랍니다. 우리의 표본 세트를 성공적으로 설계하려면 표본 추출 오류, 제1종 오류(위양성) 또는 제2종 오류(위음성)가 고려되고 회피되어야 합니다.

우리의 실험은 다음과 같은 가설을 검증합니다.

• 영가설 - 측좌핵에서의 도파민 분비 타이밍과 정서적 가치를 지닌 시각적 자극 사이에는 아무런 관계나 효과가 없습니다.

• 대립가설 - 측좌핵에서의 도파민 분비 타이밍과 정서적 가치를 지닌 시각적 자극 사이에는 관계가 존재하며, 시각적 자극을 본 이후에 도파민 분비가 최고조에 달합니다.

측좌핵에서의 도파민 분비 타이밍과 정서적 가치를 지닌 시각적 자극 사이에는 관계가 있습니다. 데이터가 통계적으로 유의미하지 않은 경우:

• 우리의 가설은 기각됩니다.

• 우리는 어떠한 실제 효과나 차이도 찾아내지 못합니다.

• 우리가 관찰한 효과는 단지 우연의 일치일 가능성이 큽니다.

모집단에 대한 이해?

실험 설계에서의 실질적인 한계.

신경과학 연구에서 공식적인 표본 포함 기준은 일반적으로 표본 추출 오류를 예방하기 위해 모집단 전체에서 무작위성 및 참여 가능성을 균등화하고자 시도합니다. 우리는 단순히 접근하기 쉽거나 가장 가까이 있다는 이유만으로 피험자를 선택하는 행위를 피해야 합니다. 이는 표본 추출 오류를 불러오는 지름길이기 때문입니다.

표본 세트를 구성하는 가장 좋은 접근법은 모집단 전체에 걸쳐 무작위로 선택될 확률을 균등화하는 표본 포함 기준을 적용하는 것입니다. 예를 들어, 인구 조사 데이터를 사용하여 오하이오주의 각 카운티에서 무작위로 선택된 50명의 연락처 정보를 얻을 수 있습니다. 이는 모든 지리적 영역에서 무작위로 고르게 이름을 선택하므로 선택 편향을 최소화할 수 있습니다.

실험 설계 구축, 표본 크기 증가, 편향되지 않고 무작위적이며 고르게 적용되는 표본 포함 기준을 완전히 실현하는 일은 실질적인 장애물에 부딪힐 수 있습니다. 이는 학업 프로젝트부터 본격적인 연구 대학 단계에 이르기까지 모든 수준의 과학 연구가 마주하는 문제입니다. 대개 예산과 타임라인의 제약이 타협을 강요하는 첫 번째 요인이 됩니다. 통계적 유의성을 둘러싼 이러한 이슈들은 현재도 활발히 연구되는 분야입니다.

진정한 효과 크기란 무엇 인가요?

신경과학 연구의 통계적 검정력이 낮기 때문에 우리는 연구 결과의 실제 효과 크기를 과대평가하는 경향이 있으며, 이는 많은 연구의 낮은 재현성으로 이어집니다. 나아가 신경과학 연구 본연의 복잡성 때문에 통계적 검정력이 매우 중요합니다.

해당 분야가 채택할 수 있는 한 가지 방법은 표본 크기를 늘려 연구의 검정력을 향상시키는 것입니다. 이는 실제 효과를 감지할 확률을 높여줍니다. 적절한 표본 크기를 선택하는 것은 다음과 같은 연구를 설계하기 위해 필수적입니다.

• 실용적인 발견을 도출합니다.

• 두뇌에서 일어나는 수많은 과정에 대한 우리의 이해를 발전시킵니다.

• 효과적인 치료법을 개발합니다.

현대 신경과학 연구의 과제 극복: EmotivLAB 플랫폼

신경과학 연구의 실험 설계는 신뢰할 수 있는 통계적 유의성을 달성하기 위해 더 많은 표본 그룹 크기와 더 나은 표본 포함 기준을 확립하려 노력해야 합니다. EmotivLAB과 같은 크라우드 소싱 기반 플랫폼을 통해, 연구자들은 잠재적으로 훨씬 다양하고 대표성 있는 피험자 개인들에게 접근할 수 있습니다. 이는 연구진의 물류적 노력을 최소화하면서도 표본 크기를 넓히고 다양한 인구 통계를 포용할 수 있도록 해줍니다.

현대 신경과학 연구는 실험 표본 세트를 구성할 때 다양한 집단을 모집하는 데 사용할 수 있는 자원이 한정되어 있어 표본 추출 오류에 쉽게 노출될 수 있습니다. "WEIRD 그룹" 개념이 이 문제를 단적으로 보여줍니다. 대부분의 대학 연구는 한정된 예산으로 인해 주로 서구권(Western), 교육 수준이 높고(Educated), 산업화되고(Industrialized), 부유하며(Rich), 민주적인(Democratic) 국가 출신의 피험자들을 대상으로 수행됩니다. 그러나 EmotivLAB의 EEG 플랫폼과 같은 원격 데이터 수집 장비 덕분에 연구자들은 대학 캠퍼스를 벗어나 모집단을 더욱 잘 대변할 수 있는 표본 그룹을 모집할 수 있게 되었습니다.

EmotivLAB 플랫폼은 연구자들을 현재의 제약에서 벗어나게 해주며, 대신 실험을 설계하고 결과를 분석하는 데 에너지를 집중할 수 있도록 돕습니다.

EmotivLAB의 플랫폼과 원격 EEG 장비는 연구자들이 실험 표본 그룹에 포함되는 인류의 다양성을 넓히는 데에만 기여하는 것이 아닙니다. 목표 모집단에 대한 전반적인 표본 크기 및 지리적 접근성과 관련된 문제도 훌륭하게 해결해 줍니다.

EmotivLAB 플랫폼은 연구자들을 현재의 제약에서 벗어나게 해주며, 대신 실험을 설계하고 결과를 분석하는 데 에너지를 집중할 수 있도록 돕습니다. 우리 플랫폼은 피험자 풀에서 실험 목적에 가장 적합한 대상을 매칭해 줍니다. 참가자를 모집하고 일정을 조정하며 연구실 내에서 직접 데이터를 수집하느라 시간을 허비할 필요가 없습니다. 설정하고 싶은 인구 통계를 온라인 플랫폼에 지정하기만 하면, EmotivLAB이 사전에 설정된 매개변수에 가장 잘 부합하는 참여자들에게 실험을 제공합니다. 참가자들은 자택에서 편안하게 본인의 장비를 사용하여 연구에 참여할 수 있습니다. 장비 사용법에 이미 친숙하기 때문에 연구자가 사용법을 매번 지시할 필요가 없습니다.

그 이상으로, EmotivLAB 플랫폼은 자동화된 EEG 기록 데이터의 품질 제어 및 평가 기능을 제공합니다. 저품질 데이터가 아무리 많아도 실험 설계의 표본 추출 오류나 통계적 오류를 해결하는 데 아무런 도움이 되지 않습니다. 반면, 양질의 고품질 데이터에 더 많이 다가갈 수 있다면 다음과 같은 영역의 오류를 방지하는 강력한 해결책을 얻을 수 있습니다.

• 표본 추출

• 모집단 설정

• 통계적 유의성

EmotivLAB 플랫폼이 귀하의 연구에 어떤 변화를 가져올 수 있는지 자세히 알아보고 싶으신가요?

EmotivLAB을 사용하면 실험을 구축하고, 안전하고 확실하게 배포하며, 검증된 글로벌 패널 참여자들을 모집하고, 고품질 EEG 데이터를 수집할 수 있습니다. 이 모든 것이 단 하나의 플랫폼을 통해 가능해집니다. 자세히 알아보고 데모를 요청하려면 여기를 클릭하세요.