Statistische significantie: Steekproefgrootte(s) & Statistische power - Om de wereld om ons heen te begrijpen, gebruiken onderzoekers formeel de wetenschappelijke methode als een manier om vermoedelijke waarheden van onwaarheden te scheiden. Cognitieve neurowetenschap heeft als doel te begrijpen hoe genetische, neurologische en gedragssystemen het vermogen van een organisme ondersteunen om de wereld om hen heen waarna te nemen, ermee te interageren, erin te navigeren en erover na te denken.

Dit betekent dat cognitieve neurowetenschap experimenten ontwerpt en gegevens verzamelt op alle niveaus van analyse. Onderzoeksprogramma's over de hele wereld die ons begrip van de natuurlijke wereld willen vergroten, testen regelmatig aannames, of hypothesen, in een goed geplande reeks kleinere experimenten. Deze experimenten hebben de neiging om specifieke factoren te onderzoeken die wel of niet een resultaat kunnen beïnvloeden, terwijl de invloed van externe factoren zoals omgeving, seksuele geaardheid, ras of sociaaleconomische status wordt geminimaliseerd.

Scenario één: Een onderzoek naar dopamineafgifte

In de cognitieve neurowetenschap wordt dopamine over het algemeen beschouwd als een "feel-good" stof. De afgifte ervan in de nucleus accumbens (NuAc) wordt getriggerd door gedrag of dingen die ons motiveren om ons te gedragen. Dit kan onder andere zijn:

• Een goede maaltijd eten

• Tijd doorbrengen met dierbaren

• Seks

• Suiker

Stel dat we willen achterhalen of piek-dopamineniveaus in de NuAc optreden vóór, tijdens of na blootstelling aan een gewenste of vertrouwde visuele stimulus. We kunnen het EEG-experimenteel ontwerp gebruiken dat is overgenomen uit de studie van Amatya Johanna Mackintosh. We kunnen de hypothese stellen dat dopamineafgifte optreedt tijdens en een piek bereikt kort na blootstelling aan de vertrouwde of gewenste visuele stimuli.

Nu, het meest cruciaal: waar halen we proefpersonen vandaan?

In experimentele situaties verwijst "populatie" naar de grotere, totale collectieve groep die wordt bestudeerd. Het is onpraktisch en onwaarschijnlijk dat jouw lab een techniek zou kunnen bedenken om gegevens over dopamineafgifte te werven en te verzamelen bij honderdduizenden of miljoenen mensen.

Daarom zullen we proberen gegevens te verzamelen van een kleinere, representatieve groep of steekproef om de populatie te begrijpen. Om dat te doen, moeten we twee hoofdvragen beantwoorden.

1. Hoeveel individuen moeten er in onze steekproef worden opgenomen?

2. Hoe verhoudt dit zich tot de praktische significantie en statistische power?

Laten we dit hieronder uitsplitsen.

Statistische power en het ware effect

Statistische power wordt gedefinieerd als de waarschijnlijkheid dat een test een statistisch significant verschil detecteert wanneer een dergelijk verschil werkelijk bestaat. Dit wordt ook wel een waar effect genoemd.

Het ware effect is de hoeksteen van het experimenteel ontwerp. Cohens rapport uit 1988, invloedrijk vanwege de bijdragen aan de wetenschappelijke methode, redeneerde dat een onderzoek zo moet worden ontworpen dat het een kans van 80% heeft om een waar effect te detecteren. Deze 80% staat voor een high-power (HP) testontwerp, terwijl elke waarde die de 20% nadert een low-power (LP) testontwerp is.

Cohen stelde voor dat onderzoeken altijd minder dan 20% kans moeten hebben op het maken van een type II-fout, bekend als een fout-negatief. Hij gebruikt ook ditzelfde richtlijnenbereik voor gemiste ontdekkingen, die optreden wanneer een onderzoeker onterecht rapporteert dat er geen significant effect is, terwijl er werkelijk wel een verschil bestaat.

Waarom is statistische power belangrijk?

Denk aan dit scenario. Als er een waar effect bestaat in 100 verschillende onderzoeken met 80% power, zullen statistische tests in 80 van de 100 gevallen een waar effect detecteren. Echter, wanneer een onderzoek een statistische power van 20% heeft, en er zijn 100 oprechte niet-nul effecten in de resultaten, dan wordt verwacht dat deze onderzoeken er slechts 20 zullen ontdekken.

Tekortkomingen in statistische power in neurowetenschappelijk onderzoek

Het is niet verrassend dat dit vakgebied, vanwege het resource-intensieve karakter van neurowetenschappelijk onderzoek, een mediane statistische power heeft van ongeveer 21% en gemiddeld uitkomt op een breed bereik van 8%-31%. Lage statistische power in neurowetenschappelijk onderzoek:

• Doet twijfel rijzen over de reproduceerbaarheid van bevindingen.

• Leidt tot een overschat effectformaat.

• Verkleint de kans op statistisch significante resultaten die het ware effect nauwkeurig weergeven.

Als zodanig zit de huidige staat van het neurowetenschappelijk onderzoek gevangen in het probleem van de statistische power, omdat deze waarden ver onder de theoretische drempel van Cohen liggen.

Het vaststellen van een representatieve steekproefgroep(en)

Doel van scenario één: Steekproeffouten en type I- en II-fouten in onze test vermijden door middel van inclusieve en grote steekproeven.

Hoeveel hersenscans van mensen moeten er in onze steekproefset worden opgenomen als we willen dat het experiment praktisch significant is? Praktische significantie verwijst naar de vraag of de resultaten van een experiment al dan niet van toepassing zijn op de echte wereld.

Het vermogen van het experiment van een neurowetenschapper om effecten te bepalen (statistische power) is gerelateerd aan de steekproefgrootte. Volgens de parameters van scenario 1 is het doel nog steeds om voldoende gegevens te verzamelen, zodat we statistisch kunnen evalueren of er een waar effect is in de timing van de dopamineafgifte na het tonen van emotioneel geladen visuele stimuli. We moeten ook criteria voor opname in de steekproef vaststellen die de kans op een steekproeffout minimaliseren.

Hoe steekproeffouten te vermijden

Twee termen zijn belangrijk om te begrijpen alvorens verder te gaan.

1. Steekproeffout: Bij het nemen van een steekproef bestaat er altijd een kans dat de verzamelde gegevens van de geselecteerde individuen niet representatief zijn voor de populatie.

2. Statistische significantie: Statistische significantie betekent dat onze gegevens and onze waargenomen effecten waarschijnlijk ware effecten zijn. In de meeste biomedische wetenschappen wordt statistische significantie vastgesteld met een significantieniveau of p-waarde van 0,05. In wezen betekent dit dat de wetenschappers 95% vertrouwen hebben in het effect dat in hun experimenten is waargenomen.

Stel dat de gegevens een relatie aantonen (d.w.z. dopamineafgifte). Er is een kans van 5% dat het effect op toeval berust en geen verband houdt met de variabele (visuele stimuli). Dit zou een type I-fout zijn. Als alternatief is er een kans van 5% dat onze verzamelde gegevens geen relatie tonen tussen dopamineafgifte and visuele stimuli, terwijl er in feite wel een waar effect is — een fout-negatief of type II-fout.

Het zorgvuldig vaststellen van inclusiecriteria heeft meer impact, omdat er na een bepaalde steekproefgrootte een punt van verminderde meeropbrengst optreedt.

We hopen gegevens te verzamelen die alle mensen vertegenwoordigen, en we willen dat onze conclusies zowel praktisch significant als statistisch significant zijn. Om onze steekproefset succesvol te ontwerpen, moet er rekening worden gehouden met en worden voorkomen dat er een steekproeffout, een type I-fout (fout-positief) of een type II-fout (fout-negatief) optreedt.

Ons experiment test de volgende hypothese:

• Nulhypothese - Geen relatie of effect tussen de timing van dopamineafgifte in de NAc en emotioneel geladen visuele stimuli.

• Hypothese - Er IS een relatie tussen de timing of dopamineafgifte in de NAc en emotioneel geladen visuele stimuli, en de piek in dopamineafgifte vindt plaats na het zien van de visuele stimuli.

Er is een relatie tussen de timing van dopamineafgifte in de NAc en emotioneel geladen visuele stimuli. Wanneer de gegevens niet statistisch significant zijn:

• Wordt onze hypothese verworpen.

• Wordt er geen waar effect of verschil gevonden.

• Is de kans even groot dat onze waargenomen effecten het gevolg zijn van toeval.

De populatie begrijpen?

Praktische beperkingen in experimenteel ontwerp.

In neurowetenschappelijk onderzoek probeert een formeel inclusiecriterium doorgaans de kans op opname in de populatie te randomiseren en/of gelijk te trekken om steekproeffouten te voorkomen. We moeten vermijden dat we individuen selecteren enkel en alleen omdat ze het dichtstbijzijnde of meest toegankelijk zijn om gegevens van te verzamelen, aangezien dit het recept is voor een steekproeffout.

De beste aanpak voor het genereren van een steekproefset is het gebruik van inclusiecriteria die de kans op selectie over de hele populatie willekeurig gelijkstellen. Met behulp van censusgegevens zouden we bijvoorbeeld contactgegevens kunnen verkrijgen voor 50 willekeurig geselecteerde individuen in elk district van Ohio. Dit zou de selectiebias minimaliseren omdat namen willekeurig en gelijkelijk uit alle geografische gebieden zouden worden gekozen.

Het opzetten van het experimentele ontwerp, het vergroten van de steekproefgrootte en het volledig realiseren van een onbevooroordeeld, gerandomiseerd en gelijkmatig toegepast inclusiecriterium kan snel stuiten op praktische beperkingen. Dit is een probleem voor wetenschappelijk onderzoek op alle niveaus, van academische oefeningen tot volwaardige onderzoeksuniversiteiten. Meestal zijn budgettaire en tijdsgebonden beperkingen de eerste die tot compromissen dwingen. Gezamenlijk zijn deze kwesties rond statistische significantie actieve onderzoeksgebieden.

Wat is het ware effectformaat?

Vanwege de lage statistische power van neurowetenschappelijk onderzoek hebben we de neiging om het ware effectformaat te overschatten, wat leidt tot de lage reproduceerbaarheid van veel onderzoeken. Bovendien maakt de inherente complexiteit van neurowetenschappelijk onderzoek statistische power cruciaal.

Een methode die het vakgebied kan toepassen is het verhogen van de power van een onderzoek door de steekproefgrootte te vergroten. Dit vergroot de kans op het detecteren van een waar effect. Het kiezen van een geschikte steekproefgrootte is essentieel voor het ontwerpen van onderzoek dat:

• Praktische ontdekkingen doet.

• Ons begrip van de ontelbare processen in de hersenen vergroot.

• Effectieve therapieën ontwikkelt.

Uitdagingen overwinnen in hedendaags neurowetenschappelijk onderzoek: Het EmotivLAB-platform

Experimentele ontwerpen van neurowetenschappelijk onderzoek zouden moeten streven naar grotere steekproefgroepen en betere inclusiecriteria om betrouwbare statistische significantie te bereiken. Met toegang tot een via crowdsourcing mogelijk gemaakt platform zoals EmotivLAB, krijgen onderzoekers toegang tot potentieel veel diversere, veel representatievere proefpersonen — wat de steekproefgrootte en de inclusiviteit van alle demografische groepen verbetert met minimale extra logistieke inspanning voor de onderzoeksgroepen.

Modern neurowetenschappelijk onderzoek kan kwetsbaar zijn voor steekproeffouten vanwege de beperkte beschikbare middelen om een diverse groep te werven voor de experimentele steekproefset. Het concept van de "WEIRD-groep" vat het probleem samen. Het meeste universitaire onderzoek wordt gedaan met een krap budget met experimentele proefpersonen die over het algemeen westers, opgeleid en uit geïndustrialiseerde, rijke en democratische landen komen (Western, Educated, Industrialized, Rich, Democratic). Apparatuur voor gegevensverzameling op afstand, zoals het EEG-platform van EmotivLAB, stelt onderzoekers echter in staat om verder te reiken dan de universiteitscampus om steekproefgroepen te werven die de populatie beter weerspiegelen.

Het platform van EmotivLAB bevrijdt onderzoekers van de huidige beperkingen en stelt hen in staat om hun energie te richten op het ontwerpen van experimenten en het analyseren van de resultaten.

Het platform van EmotivLAB en de EEG-apparatuur op afstand helpen onderzoekers niet alleen om de diversiteit van de individuen in experimentele steekproefgroepen te vergroten. Het helpt ook de problemen op te lossen met betrekking tot de totale steekproefgrootte en het geografische bereik binnen doelpopulaties.

Het platform van EmotivLAB bevrijdt onderzoekers van de huidige beperkingen en stelt hen in staat om hun energie te richten op het ontwerpen van experimenten en het analyseren van de resultaten. Ons platform koppelt het experiment aan de meest geschikte individuen in de proefpersonengroep. Het is niet nodig om tijd te besteden aan het werven van deelnemers, het coördineren en inplannen ervan, en het verzamelen van gegevens in het laboratorium. Het enige dat nodig is, is dat de gewenste demografie wordt gespecificeerd in het online platform, en EmotivLAB zal het experiment beschikbaar maken voor bijdragers die het beste voldoen aan de gewenste parameters. Deelnemers kunnen de experimenten in hun eigen huis uitvoeren, met hun eigen apparatuur. Hun vertrouwdheid met de headset neemt de noodzaak weg voor onderzoekers om instructies over het gebruik ervan te geven.

Daarnaast biedt het EmotivLAB-platform geautomatiseerde kwaliteitscontrole en beoordeling van EEG-registratiegegevens. Grote hoeveelheden gegevens van lage kwaliteit helpen niet om steekproeffouten of statistische fouten in experimentele ontwerpen te overwinnen. Toegang hebben tot meer gegevens van hoge kwaliteit biedt echter wel een oplossing om fouten te helpen voorkomen in:

• Steekproeven

• Populatie

• Statistische significantie

Wilt u meer weten over wat het EmotivLAB-platform voor uw onderzoek kan betekenen?

EmotivLAB S stelt u in staat om uw experiment op te bouwen, uw experiment veilig en betrouwbaar uit te rollen, te werven uit een wereldwijd panel van geverifieerde deelnemers en EEG-gegevens van hoge kwaliteit te verzamelen, allemaal vanaf één platform. Klik hier om meer te weten te komen of een demo aan te vragen.