Statistische relevantie: Steekproefgrootte(s) & Statistische power - Om de wereld om ons heen te begrijpen, gebruiken onderzoekers formeel de wetenschappelijke methode als een manier om vermoedelijke waarheden van onwaarheden te scheiden. Cognitieve neurowetenschap heeft als doel te begrijpen hoe genetische, neurologische en gedragssystemen het vermogen van een organisme ondersteunen om de wereld om hen heen waarna te nemen, ermee te interageren, te navigeren en erover na te denken.

Dit betekent dat de cognitieve neurowetenschap experimenten ontwerpt en gegevens verzamelt op alle niveaus van analyse. Onderzoeksprogramma's wereldwijd die ons begrip van de natuurlijke wereld willen vergroten, testen regelmatig aannames, of hypothesen, in een goed geplande reeks kleinere experimenten. Deze experimenten hebben de neiging om specifieke factoren te onderzoeken die wel of niet een uitkomst kunnen beïnvloeden, terwijl de invloed van externe factoren zoals omgeving, seksuele geaardheid, ras of sociaaleconomische status wordt geminimaliseerd.

Scenario één: Een onderzoek naar dopamineafgifte

In de cognitieve neurowetenschap wordt dopamine over het algemeen beschouwd als een "feel-good" verbinding. De afgifte ervan in de Nucleus Accumbens (NuAc) wordt getriggerd door gedragingen of dingen die ons motiveren om ons te gedragen. Dit kan onder andere zijn:

• Een goede maaltijd eten

• Tijd doorbrengen met dierbaren

• Seks

• Suiker

Stel dat we willen achterhalen of piek-dopamineniveaus in de NuAc optreden vóór, tijdens of na blootstelling aan een gewenste of vertrouwde visuele stimulus. We kunnen het EEG-experimentele ontwerp gebruiken dat is overgenomen uit de studie van Amatya Johanna Mackintosh. We kunnen de hypothese stellen dat de dopamineafgifte optreedt tijdens en een piek bereikt kort na blootstelling aan de vertrouwde of gewenste visuele stimuli.

Nu, het meest kritieke punt: waar halen we proefpersonen vandaan?

In experimentele situaties verwijst "populatie" naar de grotere, totale collectieve groep die wordt bestudeerd. Het is onpraktisch en onwaarschijnlijk dat uw lab een techniek zou kunnen bedenken om dopamineafgiftegegevens van honderdduizenden of miljoenen mensen te werven en te verzamelen.

Daarom zullen we proberen gegevens te verzamelen van een kleinere, representatieve groep of steekproef om de populatie te begrijpen. Om dat te doen, moeten we twee hoofdvragen beantwoorden.

1. Hoeveel individuen moeten er in onze steekproef worden opgenomen?

2. Hoe verhoudt dit zich tot de praktische significantie en statistische power?

Laten we het hieronder opsplitsen.

Statistische power en het ware effect

Statistische power wordt gedefinieerd als de waarschijnlijkheid dat een test een statistisch significant verschil detecteert wanneer een dergelijk verschil werkelijk bestaat. Dit wordt ook wel een waar effect genoemd.

Het ware effect is de hoeksteen van het experimentele ontwerp. Het rapport van Cohen uit 1988, invloedrijk vanwege zijn bijdragen aan de wetenschappelijke methode, redeneerde dat een onderzoek zo ontworpen moet zijn dat het een kans van 80% heeft om een waar effect te detecteren. Deze 80% vertegenwoordigt een testontwerp met hoge power (HP), terwijl elke waarde die de 20% nadert een testontwerp met lage power (LP) is.

Cohen stelde voor dat onderzoeken altijd minder dan 20% kans zouden moeten hebben op het maken van een type II-fout, bekend als een vals-negatieve uitslag. Hij gebruikt ook ditzelfde richtlijnbereik voor gemiste ontdekkingen, die optreden wanneer een onderzoeker onterecht rapporteert dat er geen significant effect is terwijl er werkelijk wel een verschil bestaat.

Waarom is statistische power belangrijk?

Denk aan dit scenario. Als er een waar effect bestaat in 100 verschillende onderzoeken met 80% power, zullen statistische tests in 80 van de 100 een waar effect detecteren. Echter, wanneer een onderzoek een statistische power van 20% heeft, en er zijn 100 oprechte niet-nulleffecten in de resultaten, dan wordt verwacht dat deze onderzoeken er slechts 20 zullen ontdekken.

Tekortkomingen in statistische power in neurowetenschappelijk onderzoek

Het is niet verrassend dat, vanwege het resource-intensieve karakter van neurowetenschappelijk onderzoek, dit vakgebied een mediane statistische power heeft van ongeveer 21% en gemiddeld uitkomt op een brede range van 8%-31%. Lage statistische power in neurowetenschappelijk onderzoek:

• Doet twijfel rijzen over de repliceerbaarheid van bevindingen.

• Leidt tot een overdreven effectgrootte.

• Vermindert de waarschijnlijkheid van statistisch significante resultaten die het ware effect nauwkeurig weergeven.

Als zodanig zit de huidige staat van het neurowetenschappelijk onderzoek gevangen in het probleem van de statistische power, omdat deze waarden ver onder de theoretische drempel van Cohen liggen.

Het vaststellen van een representatieve steekproefgroep(en)

Doel van scenario één: Het vermijden van steekproeffouten en type I- en II-fouten in onze test met inclusieve en grote steekproeven.

Hoeveel hersenscans van mensen moeten er in onze steekproefset worden opgenomen als we willen dat het experiment praktisch significant is? Praktische significantie verwijst naar de vraag of de resultaten van een experiment al dan niet van toepassing zijn op de echte wereld.

Het vermogen van het experiment van een neurowetenschapper om effecten te bepalen (statistische power) is gerelateerd aan de steekproefgrootte. Voortbordurend op de parameters van scenario 1 is het doel nog steeds om voldoende gegevens te verzamelen, zodat we statistisch kunnen evalueren of er een waar effect is in de timing of dopamineafgifte na het tonen van emotioneel geladen visuele stimuli. We moeten ook criteria opstellen voor opname in de steekproef die de kans op een steekproeffout minimaliseren.

Hoe steekproeffouten te vermijden

Twee termen zijn belangrijk om te begrijpen voordat we verder gaan.

1. Steekproeffout: Bij het trekken van een steekproef bestaat er altijd een kans dat de verzamelde gegevens van de geselecteerde individuen niet representatief zijn voor de populatie.

2. Statistische significantie: Statistische significantie betekent dat onze gegevens en onze waargenomen effecten waarschijnlijk ware effecten zijn. In de meeste biomedische wetenschappen wordt statistische significantie vastgesteld met een significantieniveau of p-waarde van 0,05. In wezen betekent dit dat de wetenschappers 95% vertrouwen hebben in het effect dat in hun experimenten is waargenomen.

Stel dat de gegevens een relatie aantonen (d.w.z. dopamineafgifte). Er is een kans van 5% dat het effect op toeval berust en geen verband houdt met de variabele (visuele stimuli). Dit zou een Type I-fout zijn. Alternatief is er een kans van 5% dat onze verzamelde data geen relatie tonen tussen dopamineafgifte en visuele stimuli, terwijl er in feite wel een waar effect is - een vals-negatieve of Type II-fout.

Het zorgvuldig vaststellen van inclusiecriteria heeft meer impact, omdat er sprake is van een punt van afnemende meeropbrengst na een bepaalde steekproefgrootte.

We hopen gegevens te verzamelen die alle mensen vertegenwoordigen, and we willen dat onze conclusies zowel praktisch significant als statistisch significant zijn. Om onze steekproefset succesvol te ontwerpen, moet er rekening worden gehouden met een steekproeffout, een type I-fout (vals-positief) of een type II-fout (vals-negatief) en moeten deze worden vermeden.

Ons experiment test de volgende hypothese:

• Nulhypothese - Geen relatie of effect tussen de timing van dopamineafgifte in de NAc en emotioneel geladen visuele stimuli.

• Hypothese - Er IS een relatie tussen de timing van dopamineafgifte in de NAc and emotioneel geladen visuele stimuli, en de piek in dopamineafgifte treedt op na het zien van de visuele stimuli.

Er is een relatie tussen de timing van dopamineafgifte in de NAc en emotioneel geladen visuele stimuli. Wanneer de gegevens niet statistisch significant zijn:

• Wordt onze hypothese verworpen.

• Wordt er geen waar effect of verschil gevonden.

• Zijn onze waargenomen effecten even waarschijnlijk het gevolg van toeval.

De populatie begrijpen?

Praktische beperkingen in experimenteel ontwerp.

In neurowetenschappelijk onderzoek probeert een formeel inclusiecriterium doorgaans de kans op inclusie in de populatie te herleiden naar toeval en/of te compenseren om steekproeffouten te voorkomen. We moeten vermijden dat we individuen selecteren simpelweg omdat ze het dichtstbijzijnde of het meest toegankelijk zijn om gegevens van te verzamelen, aangezien dit het recept is voor een steekproeffout.

De beste aanpak voor het genereren van een steekproefset is het gebruik van inclusiecriteria die de kans op selectie over de gehele populatie willekeurig gelijkschakelen. Door bijvoorbeeld gebruik te maken van censusgegevens, zouden we contactgegevens kunnen verkrijgen voor 50 willekeurig geselecteerde individuen in elke county van Ohio. Dit zou selectiebias minimaliseren omdat namen willekeurig en gelijkelijk uit alle geografische gebieden zouden worden gekozen.

Het opzetten van het experimentele ontwerp, het vergroten van de steekproefgrootte en het volledig realiseren van onbevooroordeelde, gerandomiseerde en gelijkelijk toegepaste inclusiecriteria kan snel stuiten op praktische beperkingen. Dit is een probleem voor wetenschappelijk onderzoek op alle niveaus, van academische oefeningen tot volwaardige onderzoeksuniversiteiten. Meestal dwingen budgettaire en tijdsbeperkingen als eerste tot compromissen. Gezamenlijk zijn deze kwesties rond statistische significantie actieve onderzoeksgebieden.

Wat is de ware effectgrootte?

Vanwege de lage statistische power van neurowetenschappelijk onderzoek hebben we de neiging om de ware effectgrootte te overschatten, wat leidt tot de lage reproduceerbaarheid van veel onderzoeken. Bovendien maakt de inherente complexiteit van neurowetenschappelijk onderzoek statistische power cruciaal.

Een methode die het vakgebied kan toepassen is het verhogen van de power van een studie door de steekproefgrootte te vergroten. Dit verhoogt de kans op het detecteren van een waar effect. Het kiezen van een geschikte steekproefgrootte is essentieel voor het ontwerpen van onderzoek dat:

• Praktische ontdekkingen doet.

• Ons begrip van de ontelbare processen in de hersenen vergroot.

• Effectieve therapieën ontwikkelt.

Uitdagingen overwinnen in hedendaags neurowetenschappelijk onderzoek: het EmotivLAB-platform

De experimentele ontwerpen van neurowetenschappelijk onderzoek zouden moeten streven naar grotere steekproefgroepen en betere inclusiecriteria om betrouwbare statistische significantie te bereiken. Met toegang tot een crowdsourced platform zoals EmotivLAB krijgen onderzoekers toegang tot potentieel veel diversere, veel representatievere proefpersonen - wat de steekproefgrootte en de inclusiviteit van alle demografische groepen verbetert met minimale extra logistieke inspanning voor de onderzoeksgroepen.

Modern neurowetenschappelijk onderzoek kan kwetsbaar zijn voor steekproeffouten vanwege de beperkte beschikbare middelen om een diverse groep te werven voor de experimentele steekproefset. Het concept van de "WEIRD-groep" vat dit probleem samen. Het meeste universitaire onderzoek wordt gedaan met een krap budget op proefpersonen die over het algemeen westers, hoogopgeleid en uit geïndustrialiseerde, rijke en democratische landen komen (Western, Educated, Industrialized, Rich, Democratic). Echter, apparatuur voor gegevensverzameling op afstand, zoals het EEG-platform van EmotivLAB, stelt onderzoekers in staat om buiten de universiteitscampus te treden om steekproefgroepen te werven die de populatie beter weerspiegelen.

Het platform van EmotivLAB en de mobiele EEG-apparatuur helpen onderzoekers niet alleen om de diversiteit van individuen in experimentele steekproefgroepen te vergroten. Het bemiddelt ook in de problemen met betrekking tot de totale steekproefgrootte en het geografische bereik binnen doelpopulaties.

Het EmotivLAB-platform bevrijdt onderzoekers van de huidige beperkingen en stelt hen in staat hun energie te richten op het ontwerpen van experimenten en het analyseren van de resultaten. Ons platform koppelt het experiment aan de meest geschikte individuen in de proefpersonengroep. Het is niet nodig om tijd te besteden aan het werven van deelnemers, het coördineren en inplannen van hen, en het uitvoeren van dataverzameling in het laboratorium. Het enige dat nodig is, is dat de gewenste demografie wordt gespecificeerd in het online platform, en EmotivLAB zal het experiment beschikbaar stellen aan respondenten die het best voldoen aan de gewenste parameters. Deelnemers kunnen de experimenten thuis uitvoeren, met hun eigen apparatuur. Hun bekendheid met de headset neemt de noodzaak weg voor onderzoekers om instructies te geven over het gebruik ervan.

Daarnaast biedt het EmotivLAB-platform geautomatiseerde kwaliteitscontrole en beoordeling van EEG-registratiegegevens. Grote hoeveelheden kwalitatief slechte gegevens helpen niet om steekproeffouten of statistische fouten in experimentele ontwerpen te overwinnen. Toegang hebben tot meer kwalitatief hoogwaardige gegevens biedt echter wel een oplossing om fouten te helpen voorkomen bij:

• Steekproeven

• Populatie

• Statistische significantie

Wilt u meer weten over wat het EmotivLAB-platform voor uw onderzoek kan betekenen?

EmotivLAB stelt u in staat om uw experiment te bouwen, uw experiment veilig en betrouwbaar uit te rollen, te werven uit een wereldwijd panel van geverifieerde deelnemers en hoogwaardige EEG-gegevens te verzamelen, allemaal vanaf één platform. Klik hier voor meer informatie of om een demo aan te vragen.