Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Statistische significantie: steekproefgrootte(n) en statistische power
Quoc Minh Lai
-
Delen:
Statistische significantie: steekproefgrootte(n) & statistische power - Om de wereld om ons heen te begrijpen, gebruiken onderzoekers formeel de wetenschappelijke methode om vermoedelijke waarheden van onwaarheden te scheiden. Cognitieve neurowetenschap heeft als doel te begrijpen hoe genetische, neurologische en gedragsmatige systemen het vermogen van een organisme ondersteunen om de wereld om zich heen waar te nemen, ermee te interageren, zich erin te navigeren en erover na te denken.
Dit betekent dat de cognitieve neurowetenschap experimenten ontwerpt en gegevens verzamelt op alle analyseniveaus. Onderzoeksprogramma's wereldwijd die ons begrip van de natuurlijke wereld willen verdiepen, testen regelmatig aannames, of hypothesen, in een goed geplande reeks kleinere experimenten. Deze experimenten onderzoeken doorgaans specifieke factoren die een uitkomst al dan niet kunnen beïnvloeden, terwijl de invloed van externe factoren zoals omgeving, seksuele oriëntatie, ras of sociaaleconomische status wordt geminimaliseerd.
Scenario één: een studie naar dopamineafgifte
In de cognitieve neurowetenschap wordt dopamine over het algemeen beschouwd als een "feel-good"-stof. De afgifte ervan in de Nucleus Acccumbens (NuAc) wordt getriggerd door gedrag of dingen die ons motiveren om te handelen. Dit kan onder meer omvatten:
Een goede maaltijd eten
Tijd doorbrengen met dierbaren
Seks
Suiker
Stel dat we willen uitzoeken of piekniveaus van dopamine in de NuAc optreden vóór, tijdens of na blootstelling aan een gewenste of vertrouwde visuele stimulus. We kunnen het EEG-experimentele ontwerp gebruiken dat is overgenomen uit Amatya Johanna Mackintosh' studie. We kunnen veronderstellen dat dopamineafgifte tijdens de blootstelling plaatsvindt en iets na blootstelling aan de vertrouwde of gewenste visuele stimuli piekt.
Nu, het meest cruciaal: waar halen we proefpersonen vandaan?
In experimentele situaties verwijst "populatie" naar de grotere, totale collectieve groep die wordt bestudeerd. Het is onpraktisch en onwaarschijnlijk dat jouw lab een techniek kan ontwikkelen om gegevens over dopamineafgifte te verzamelen bij honderdduizenden of miljoenen mensen.
Daarom zullen we proberen gegevens te verzamelen van een kleinere, representatieve groep of steekproef om de populatie te begrijpen. Om dat te doen, moeten we twee hoofdvragen beantwoorden.
Hoeveel individuen moeten in onze steekproef worden opgenomen?
Hoe verhoudt dit zich tot de praktische significantie en statistische power?
Laten we dit hieronder uitsplitsen.
Statistische power en werkelijk effect
Statistische power wordt gedefinieerd als de kans dat een test een statistisch significant verschil detecteert wanneer zo'n verschil daadwerkelijk bestaat. Dit wordt ook wel een werkelijk effect genoemd.
Het werkelijke effect is de hoeksteen van experimenteel ontwerp. Cohens rapport uit 1988, toonaangevend vanwege de bijdragen aan de wetenschappelijke methode, stelde dat een studie zo moet worden ontworpen dat er 80% kans is om een werkelijk effect te detecteren. Deze 80% staat voor een high-power (HP) testontwerp, terwijl elke waarde die richting 20% gaat een low-power (LP) testontwerp is.
Cohen suggereerde dat studies altijd minder dan 20% kans moeten hebben op een type II-fout, bekend als een vals-negatief. Hij gebruikt dezelfde richtlijnbereiken ook voor gemiste ontdekkingen, die optreden wanneer een onderzoeker onterecht rapporteert dat er geen significant effect is terwijl er in werkelijkheid wel een verschil bestaat.
Waarom is statistische power belangrijk?
Denk aan dit scenario. Als er een werkelijk effect bestaat in 100 verschillende studies met 80% power, zullen statistische tests in 80 van de 100 een werkelijk effect detecteren. Maar wanneer een studie een onderzoekspower van 20% heeft, en er 100 echte niet-nuleffecten in de resultaten zijn, wordt verwacht dat deze studies er slechts 20 van ontdekken.
Tekortkomingen in statistische power in neurowetenschappelijk onderzoek
Niet verrassend heeft dit vakgebied, door het resource-intensieve karakter van neurowetenschappelijk onderzoek, een mediane statistische power van ongeveer 21% en een gemiddelde over een brede bandbreedte van 8%-31%. Lage statistische power in neurowetenschappelijk onderzoek:
Roept twijfel op over de repliceerbaarheid van bevindingen.
Leidt tot een overdreven effectgrootte.
Vermindert de kans op statistisch significante resultaten die het werkelijke effect nauwkeurig weergeven.
Daarom zit de huidige stand van het neurowetenschappelijk onderzoek vast in het probleem van statistische power, omdat deze waarden ver onder Cohens theoretische drempel liggen.
Een representatieve steekproefgroep(en) vaststellen
Doel van scenario één: steekproeffouten en type I- en II-fouten in onze test vermijden met inclusieve en grote steekproeven.
Hoeveel scans van menselijke hersenen moeten in onze steekproefset worden opgenomen als we willen dat het experiment praktisch significant is? Praktische significantie verwijst naar de vraag of resultaten van een experiment toepasbaar zijn op de echte wereld.
Het vermogen van het experiment van een neurowetenschapper om effecten vast te stellen (statistische power) hangt samen met de steekproefgrootte. Voortbouwend op de parameters van scenario 1 blijft het doel om genoeg gegevens te verzamelen zodat we statistisch kunnen evalueren of er een werkelijk effect is in de timing van dopamineafgifte na het tonen van emotioneel geladen visuele stimuli. We moeten ook inclusiecriteria vaststellen voor opname in de steekproef die de kans op een steekproeffout minimaliseren.
Hoe steekproeffouten te vermijden
Twee termen zijn belangrijk om te begrijpen voordat we verdergaan.
Steekproeffout: Bij steekproeftrekking is er altijd een kans dat de verzamelde gegevens van de geselecteerde individuen de populatie niet vertegenwoordigen.
Statistische significantie: Statistische significantie betekent dat onze gegevens en onze waargenomen effecten waarschijnlijk werkelijke effecten zijn. In de meeste biomedische wetenschappen wordt statistische significantie vastgesteld met een significantieniveau of p-waarde van .05. In essentie betekent dit dat wetenschappers 95% vertrouwen hebben in het effect dat in hun experimenten is waargenomen.
Stel dat de gegevens een relatie tonen (d.w.z. dopamineafgifte). Er is een mogelijkheid van 5% dat het effect op toeval berust en geen verband houdt met de variabele (visuele stimuli). Dit zou een type I-fout zijn. Als alternatief is er een kans van 5% dat onze verzamelde gegevens geen relatie tonen tussen dopamineafgifte en visuele stimuli terwijl er in feite wel een werkelijk effect is - een vals-negatief of type II-fout.
Het zorgvuldig vaststellen van inclusiecriteria heeft meer impact omdat er na een bepaalde steekproefgrootte een punt van afnemende meeropbrengst is.
We hopen gegevens te verzamelen die alle mensen vertegenwoordigen, en we willen dat onze conclusies zowel praktisch significant als statistisch significant zijn. Om onze steekproefset succesvol te ontwerpen, moet rekening worden gehouden met en moeten worden vermeden: een steekproeffout, type I-fout (vals-positief) of type II-fout (vals-negatief).
Ons experiment test de volgende hypothese:
Nulhypothese - Geen relatie of effect tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus.
Hypothese - Er IS een relatie tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus, en piekafgifte van dopamine treedt op na het zien van de visuele stimuli.
Er is een relatie tussen de timing van dopamineafgifte in de NAc en emotionele valentie van visuele stimuli. Wanneer de gegevens niet statistisch significant zijn:
Wordt onze hypothese verworpen.
Wordt geen werkelijk effect of verschil gevonden.
Zijn onze waargenomen effecten even waarschijnlijk het gevolg van toeval.
De populatie begrijpen?
Praktische beperkingen in experimenteel ontwerp.
In neurowetenschappelijk onderzoek probeert een formeel inclusiecriterium doorgaans de kans op inclusie over de populatie te randomiseren en/of gelijk te verdelen om steekproeffouten te voorkomen. We moeten vermijden individuen te selecteren alleen omdat ze het dichtstbij of het meest toegankelijk zijn om gegevens van te verzamelen, want dat is het recept voor een steekproeffout.
De beste benadering voor het samenstellen van een steekproefset is het gebruiken van inclusiecriteria die de kans op selectie over de hele populatie willekeurig gelijk verdelen. Met censusgegevens kunnen we bijvoorbeeld contactinformatie verkrijgen van 50 willekeurig geselecteerde individuen in elk county van Ohio. Dit zou selectiebias minimaliseren omdat namen willekeurig en gelijk uit alle geografische gebieden worden gekozen.
Het opzetten van het experimentele ontwerp, het vergroten van de steekproefgrootte en het volledig realiseren van onbevooroordeelde, gerandomiseerde en gelijk toegepaste inclusiecriteria kan snel botsen met praktische beperkingen. Dit is een probleem voor wetenschappelijk onderzoek op alle niveaus, van academische oefeningen tot volwaardige onderzoeksuniversiteiten. Meestal zijn budgettaire en tijdlijnbeperkingen de eerste die tot compromissen dwingen. Gezamenlijk zijn deze kwesties rond statistische significantie actieve onderzoeksgebieden.
Wat is de ware effectgrootte?
Door de lage statistische power van neurowetenschappelijk onderzoek hebben we de neiging de ware effectgrootte te overschatten, wat leidt tot de lage reproduceerbaarheid van veel studies. Bovendien maakt de inherente complexiteit van neurowetenschappelijk onderzoek statistische power cruciaal.
Eén methode die het vakgebied kan toepassen is het vergroten van de power van een studie door de steekproefgrootte te vergroten. Dit verhoogt de kans op het detecteren van een werkelijk effect. Het kiezen van een passende steekproefgrootte is essentieel voor het ontwerpen van onderzoek dat:
Praktische ontdekkingen doet.
Ons begrip van de ontelbare processen in de hersenen vergroot.
Effectieve therapieën ontwikkelt.
Uitdagingen overwinnen in hedendaags neurowetenschappelijk onderzoek: het EmotivLAB-platform
Experimentele ontwerpen in neurowetenschappelijk onderzoek zouden moeten streven naar grotere steekproefgroepen en betere inclusiecriteria om betrouwbare statistische significantie te bereiken. Met toegang tot een crowdsource-geschikt platform zoals EmotivLAB krijgen onderzoekers toegang tot potentieel veel diversere, veel representatievere proefpersonen - wat de steekproefgrootte en inclusiviteit van alle demografieën verbetert met minimale extra logistieke inspanning voor de onderzoeksgroepen.
Modern neurowetenschappelijk onderzoek kan kwetsbaar zijn voor steekproeffouten door beperkte beschikbare middelen om een diverse groep te werven voor de experimentele steekproefset. Het concept van de "WEIRD-groep" vat dit probleem samen. Het meeste universitair onderzoek wordt gedaan met een zeer beperkt budget op proefpersonen die over het algemeen Westers, Opgeleid en afkomstig uit Geïndustrialiseerde, Rijke en Democratische landen zijn. Apparatuur voor gegevensverzameling op afstand, zoals het EEG-platform van EmotivLABs, stelt onderzoekers echter in staat verder te reiken dan de universiteitscampus om steekproefgroepen te werven die de populatie beter weerspiegelen.
Het EmotivLABs-platform bevrijdt onderzoekers van de huidige beperkingen en stelt hen in staat hun energie te richten op het ontwerpen van experimenten en het analyseren van resultaten.
Het platform van EmotivLABs en de EEG-apparatuur op afstand helpen onderzoekers niet alleen de diversiteit van individuen in experimentele steekproefgroepen te vergroten. Het verzacht ook de problemen rond de totale steekproefgrootte en geografische reikwijdte in doelpopulaties.
Het EmotivLABs-platform bevrijdt onderzoekers van de huidige beperkingen en stelt hen in staat hun energie te richten op het ontwerpen van experimenten en het analyseren van resultaten. Ons platform koppelt het experiment aan de meest geschikte individuen in de proefpersonenpool. Er is geen noodzaak om tijd te besteden aan het werven van deelnemers, het coördineren en plannen van afspraken, en het uitvoeren van dataverzameling in het lab. Het enige dat nodig is, is dat de gewenste demografie in het online platform wordt gespecificeerd, en EmotivLABs maakt het experiment beschikbaar voor bijdragers die het best aan de gewenste parameters voldoen. Deelnemers kunnen de experimenten in hun eigen huis uitvoeren, met hun eigen apparatuur. Hun vertrouwdheid met de headset maakt het niet nodig dat onderzoekers instructies geven over het gebruik ervan.
Daarnaast biedt het EmotivLAB-platform geautomatiseerde kwaliteitscontrole en beoordeling van EEG-opnamedata. Grote hoeveelheden gegevens van lage kwaliteit helpen niet om steekproef- of statistische fouten in experimentele ontwerpen te overwinnen. Toegang tot meer gegevens van hoge kwaliteit biedt echter wel een oplossing om fouten te helpen voorkomen in:
Steekproeftrekking
Populatie
Statistische significantie
Wil je meer weten over wat het EmotivLABs-platform voor jouw onderzoek kan doen?
EmotivLABS stelt je in staat je experiment op te bouwen, je experiment veilig en beveiligd uit te rollen, te rekruteren uit een wereldwijd panel van geverifieerde deelnemers en hoogwaardige EEG-gegevens te verzamelen, allemaal vanaf één platform. Klik hier om meer te leren of een demo aan te vragen.
Statistische significantie: steekproefgrootte(n) & statistische power - Om de wereld om ons heen te begrijpen, gebruiken onderzoekers formeel de wetenschappelijke methode om vermoedelijke waarheden van onwaarheden te scheiden. Cognitieve neurowetenschap heeft als doel te begrijpen hoe genetische, neurologische en gedragsmatige systemen het vermogen van een organisme ondersteunen om de wereld om zich heen waar te nemen, ermee te interageren, zich erin te navigeren en erover na te denken.
Dit betekent dat de cognitieve neurowetenschap experimenten ontwerpt en gegevens verzamelt op alle analyseniveaus. Onderzoeksprogramma's wereldwijd die ons begrip van de natuurlijke wereld willen verdiepen, testen regelmatig aannames, of hypothesen, in een goed geplande reeks kleinere experimenten. Deze experimenten onderzoeken doorgaans specifieke factoren die een uitkomst al dan niet kunnen beïnvloeden, terwijl de invloed van externe factoren zoals omgeving, seksuele oriëntatie, ras of sociaaleconomische status wordt geminimaliseerd.
Scenario één: een studie naar dopamineafgifte
In de cognitieve neurowetenschap wordt dopamine over het algemeen beschouwd als een "feel-good"-stof. De afgifte ervan in de Nucleus Acccumbens (NuAc) wordt getriggerd door gedrag of dingen die ons motiveren om te handelen. Dit kan onder meer omvatten:
Een goede maaltijd eten
Tijd doorbrengen met dierbaren
Seks
Suiker
Stel dat we willen uitzoeken of piekniveaus van dopamine in de NuAc optreden vóór, tijdens of na blootstelling aan een gewenste of vertrouwde visuele stimulus. We kunnen het EEG-experimentele ontwerp gebruiken dat is overgenomen uit Amatya Johanna Mackintosh' studie. We kunnen veronderstellen dat dopamineafgifte tijdens de blootstelling plaatsvindt en iets na blootstelling aan de vertrouwde of gewenste visuele stimuli piekt.
Nu, het meest cruciaal: waar halen we proefpersonen vandaan?
In experimentele situaties verwijst "populatie" naar de grotere, totale collectieve groep die wordt bestudeerd. Het is onpraktisch en onwaarschijnlijk dat jouw lab een techniek kan ontwikkelen om gegevens over dopamineafgifte te verzamelen bij honderdduizenden of miljoenen mensen.
Daarom zullen we proberen gegevens te verzamelen van een kleinere, representatieve groep of steekproef om de populatie te begrijpen. Om dat te doen, moeten we twee hoofdvragen beantwoorden.
Hoeveel individuen moeten in onze steekproef worden opgenomen?
Hoe verhoudt dit zich tot de praktische significantie en statistische power?
Laten we dit hieronder uitsplitsen.
Statistische power en werkelijk effect
Statistische power wordt gedefinieerd als de kans dat een test een statistisch significant verschil detecteert wanneer zo'n verschil daadwerkelijk bestaat. Dit wordt ook wel een werkelijk effect genoemd.
Het werkelijke effect is de hoeksteen van experimenteel ontwerp. Cohens rapport uit 1988, toonaangevend vanwege de bijdragen aan de wetenschappelijke methode, stelde dat een studie zo moet worden ontworpen dat er 80% kans is om een werkelijk effect te detecteren. Deze 80% staat voor een high-power (HP) testontwerp, terwijl elke waarde die richting 20% gaat een low-power (LP) testontwerp is.
Cohen suggereerde dat studies altijd minder dan 20% kans moeten hebben op een type II-fout, bekend als een vals-negatief. Hij gebruikt dezelfde richtlijnbereiken ook voor gemiste ontdekkingen, die optreden wanneer een onderzoeker onterecht rapporteert dat er geen significant effect is terwijl er in werkelijkheid wel een verschil bestaat.
Waarom is statistische power belangrijk?
Denk aan dit scenario. Als er een werkelijk effect bestaat in 100 verschillende studies met 80% power, zullen statistische tests in 80 van de 100 een werkelijk effect detecteren. Maar wanneer een studie een onderzoekspower van 20% heeft, en er 100 echte niet-nuleffecten in de resultaten zijn, wordt verwacht dat deze studies er slechts 20 van ontdekken.
Tekortkomingen in statistische power in neurowetenschappelijk onderzoek
Niet verrassend heeft dit vakgebied, door het resource-intensieve karakter van neurowetenschappelijk onderzoek, een mediane statistische power van ongeveer 21% en een gemiddelde over een brede bandbreedte van 8%-31%. Lage statistische power in neurowetenschappelijk onderzoek:
Roept twijfel op over de repliceerbaarheid van bevindingen.
Leidt tot een overdreven effectgrootte.
Vermindert de kans op statistisch significante resultaten die het werkelijke effect nauwkeurig weergeven.
Daarom zit de huidige stand van het neurowetenschappelijk onderzoek vast in het probleem van statistische power, omdat deze waarden ver onder Cohens theoretische drempel liggen.
Een representatieve steekproefgroep(en) vaststellen
Doel van scenario één: steekproeffouten en type I- en II-fouten in onze test vermijden met inclusieve en grote steekproeven.
Hoeveel scans van menselijke hersenen moeten in onze steekproefset worden opgenomen als we willen dat het experiment praktisch significant is? Praktische significantie verwijst naar de vraag of resultaten van een experiment toepasbaar zijn op de echte wereld.
Het vermogen van het experiment van een neurowetenschapper om effecten vast te stellen (statistische power) hangt samen met de steekproefgrootte. Voortbouwend op de parameters van scenario 1 blijft het doel om genoeg gegevens te verzamelen zodat we statistisch kunnen evalueren of er een werkelijk effect is in de timing van dopamineafgifte na het tonen van emotioneel geladen visuele stimuli. We moeten ook inclusiecriteria vaststellen voor opname in de steekproef die de kans op een steekproeffout minimaliseren.
Hoe steekproeffouten te vermijden
Twee termen zijn belangrijk om te begrijpen voordat we verdergaan.
Steekproeffout: Bij steekproeftrekking is er altijd een kans dat de verzamelde gegevens van de geselecteerde individuen de populatie niet vertegenwoordigen.
Statistische significantie: Statistische significantie betekent dat onze gegevens en onze waargenomen effecten waarschijnlijk werkelijke effecten zijn. In de meeste biomedische wetenschappen wordt statistische significantie vastgesteld met een significantieniveau of p-waarde van .05. In essentie betekent dit dat wetenschappers 95% vertrouwen hebben in het effect dat in hun experimenten is waargenomen.
Stel dat de gegevens een relatie tonen (d.w.z. dopamineafgifte). Er is een mogelijkheid van 5% dat het effect op toeval berust en geen verband houdt met de variabele (visuele stimuli). Dit zou een type I-fout zijn. Als alternatief is er een kans van 5% dat onze verzamelde gegevens geen relatie tonen tussen dopamineafgifte en visuele stimuli terwijl er in feite wel een werkelijk effect is - een vals-negatief of type II-fout.
Het zorgvuldig vaststellen van inclusiecriteria heeft meer impact omdat er na een bepaalde steekproefgrootte een punt van afnemende meeropbrengst is.
We hopen gegevens te verzamelen die alle mensen vertegenwoordigen, en we willen dat onze conclusies zowel praktisch significant als statistisch significant zijn. Om onze steekproefset succesvol te ontwerpen, moet rekening worden gehouden met en moeten worden vermeden: een steekproeffout, type I-fout (vals-positief) of type II-fout (vals-negatief).
Ons experiment test de volgende hypothese:
Nulhypothese - Geen relatie of effect tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus.
Hypothese - Er IS een relatie tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus, en piekafgifte van dopamine treedt op na het zien van de visuele stimuli.
Er is een relatie tussen de timing van dopamineafgifte in de NAc en emotionele valentie van visuele stimuli. Wanneer de gegevens niet statistisch significant zijn:
Wordt onze hypothese verworpen.
Wordt geen werkelijk effect of verschil gevonden.
Zijn onze waargenomen effecten even waarschijnlijk het gevolg van toeval.
De populatie begrijpen?
Praktische beperkingen in experimenteel ontwerp.
In neurowetenschappelijk onderzoek probeert een formeel inclusiecriterium doorgaans de kans op inclusie over de populatie te randomiseren en/of gelijk te verdelen om steekproeffouten te voorkomen. We moeten vermijden individuen te selecteren alleen omdat ze het dichtstbij of het meest toegankelijk zijn om gegevens van te verzamelen, want dat is het recept voor een steekproeffout.
De beste benadering voor het samenstellen van een steekproefset is het gebruiken van inclusiecriteria die de kans op selectie over de hele populatie willekeurig gelijk verdelen. Met censusgegevens kunnen we bijvoorbeeld contactinformatie verkrijgen van 50 willekeurig geselecteerde individuen in elk county van Ohio. Dit zou selectiebias minimaliseren omdat namen willekeurig en gelijk uit alle geografische gebieden worden gekozen.
Het opzetten van het experimentele ontwerp, het vergroten van de steekproefgrootte en het volledig realiseren van onbevooroordeelde, gerandomiseerde en gelijk toegepaste inclusiecriteria kan snel botsen met praktische beperkingen. Dit is een probleem voor wetenschappelijk onderzoek op alle niveaus, van academische oefeningen tot volwaardige onderzoeksuniversiteiten. Meestal zijn budgettaire en tijdlijnbeperkingen de eerste die tot compromissen dwingen. Gezamenlijk zijn deze kwesties rond statistische significantie actieve onderzoeksgebieden.
Wat is de ware effectgrootte?
Door de lage statistische power van neurowetenschappelijk onderzoek hebben we de neiging de ware effectgrootte te overschatten, wat leidt tot de lage reproduceerbaarheid van veel studies. Bovendien maakt de inherente complexiteit van neurowetenschappelijk onderzoek statistische power cruciaal.
Eén methode die het vakgebied kan toepassen is het vergroten van de power van een studie door de steekproefgrootte te vergroten. Dit verhoogt de kans op het detecteren van een werkelijk effect. Het kiezen van een passende steekproefgrootte is essentieel voor het ontwerpen van onderzoek dat:
Praktische ontdekkingen doet.
Ons begrip van de ontelbare processen in de hersenen vergroot.
Effectieve therapieën ontwikkelt.
Uitdagingen overwinnen in hedendaags neurowetenschappelijk onderzoek: het EmotivLAB-platform
Experimentele ontwerpen in neurowetenschappelijk onderzoek zouden moeten streven naar grotere steekproefgroepen en betere inclusiecriteria om betrouwbare statistische significantie te bereiken. Met toegang tot een crowdsource-geschikt platform zoals EmotivLAB krijgen onderzoekers toegang tot potentieel veel diversere, veel representatievere proefpersonen - wat de steekproefgrootte en inclusiviteit van alle demografieën verbetert met minimale extra logistieke inspanning voor de onderzoeksgroepen.
Modern neurowetenschappelijk onderzoek kan kwetsbaar zijn voor steekproeffouten door beperkte beschikbare middelen om een diverse groep te werven voor de experimentele steekproefset. Het concept van de "WEIRD-groep" vat dit probleem samen. Het meeste universitair onderzoek wordt gedaan met een zeer beperkt budget op proefpersonen die over het algemeen Westers, Opgeleid en afkomstig uit Geïndustrialiseerde, Rijke en Democratische landen zijn. Apparatuur voor gegevensverzameling op afstand, zoals het EEG-platform van EmotivLABs, stelt onderzoekers echter in staat verder te reiken dan de universiteitscampus om steekproefgroepen te werven die de populatie beter weerspiegelen.
Het EmotivLABs-platform bevrijdt onderzoekers van de huidige beperkingen en stelt hen in staat hun energie te richten op het ontwerpen van experimenten en het analyseren van resultaten.
Het platform van EmotivLABs en de EEG-apparatuur op afstand helpen onderzoekers niet alleen de diversiteit van individuen in experimentele steekproefgroepen te vergroten. Het verzacht ook de problemen rond de totale steekproefgrootte en geografische reikwijdte in doelpopulaties.
Het EmotivLABs-platform bevrijdt onderzoekers van de huidige beperkingen en stelt hen in staat hun energie te richten op het ontwerpen van experimenten en het analyseren van resultaten. Ons platform koppelt het experiment aan de meest geschikte individuen in de proefpersonenpool. Er is geen noodzaak om tijd te besteden aan het werven van deelnemers, het coördineren en plannen van afspraken, en het uitvoeren van dataverzameling in het lab. Het enige dat nodig is, is dat de gewenste demografie in het online platform wordt gespecificeerd, en EmotivLABs maakt het experiment beschikbaar voor bijdragers die het best aan de gewenste parameters voldoen. Deelnemers kunnen de experimenten in hun eigen huis uitvoeren, met hun eigen apparatuur. Hun vertrouwdheid met de headset maakt het niet nodig dat onderzoekers instructies geven over het gebruik ervan.
Daarnaast biedt het EmotivLAB-platform geautomatiseerde kwaliteitscontrole en beoordeling van EEG-opnamedata. Grote hoeveelheden gegevens van lage kwaliteit helpen niet om steekproef- of statistische fouten in experimentele ontwerpen te overwinnen. Toegang tot meer gegevens van hoge kwaliteit biedt echter wel een oplossing om fouten te helpen voorkomen in:
Steekproeftrekking
Populatie
Statistische significantie
Wil je meer weten over wat het EmotivLABs-platform voor jouw onderzoek kan doen?
EmotivLABS stelt je in staat je experiment op te bouwen, je experiment veilig en beveiligd uit te rollen, te rekruteren uit een wereldwijd panel van geverifieerde deelnemers en hoogwaardige EEG-gegevens te verzamelen, allemaal vanaf één platform. Klik hier om meer te leren of een demo aan te vragen.
Statistische significantie: steekproefgrootte(n) & statistische power - Om de wereld om ons heen te begrijpen, gebruiken onderzoekers formeel de wetenschappelijke methode om vermoedelijke waarheden van onwaarheden te scheiden. Cognitieve neurowetenschap heeft als doel te begrijpen hoe genetische, neurologische en gedragsmatige systemen het vermogen van een organisme ondersteunen om de wereld om zich heen waar te nemen, ermee te interageren, zich erin te navigeren en erover na te denken.
Dit betekent dat de cognitieve neurowetenschap experimenten ontwerpt en gegevens verzamelt op alle analyseniveaus. Onderzoeksprogramma's wereldwijd die ons begrip van de natuurlijke wereld willen verdiepen, testen regelmatig aannames, of hypothesen, in een goed geplande reeks kleinere experimenten. Deze experimenten onderzoeken doorgaans specifieke factoren die een uitkomst al dan niet kunnen beïnvloeden, terwijl de invloed van externe factoren zoals omgeving, seksuele oriëntatie, ras of sociaaleconomische status wordt geminimaliseerd.
Scenario één: een studie naar dopamineafgifte
In de cognitieve neurowetenschap wordt dopamine over het algemeen beschouwd als een "feel-good"-stof. De afgifte ervan in de Nucleus Acccumbens (NuAc) wordt getriggerd door gedrag of dingen die ons motiveren om te handelen. Dit kan onder meer omvatten:
Een goede maaltijd eten
Tijd doorbrengen met dierbaren
Seks
Suiker
Stel dat we willen uitzoeken of piekniveaus van dopamine in de NuAc optreden vóór, tijdens of na blootstelling aan een gewenste of vertrouwde visuele stimulus. We kunnen het EEG-experimentele ontwerp gebruiken dat is overgenomen uit Amatya Johanna Mackintosh' studie. We kunnen veronderstellen dat dopamineafgifte tijdens de blootstelling plaatsvindt en iets na blootstelling aan de vertrouwde of gewenste visuele stimuli piekt.
Nu, het meest cruciaal: waar halen we proefpersonen vandaan?
In experimentele situaties verwijst "populatie" naar de grotere, totale collectieve groep die wordt bestudeerd. Het is onpraktisch en onwaarschijnlijk dat jouw lab een techniek kan ontwikkelen om gegevens over dopamineafgifte te verzamelen bij honderdduizenden of miljoenen mensen.
Daarom zullen we proberen gegevens te verzamelen van een kleinere, representatieve groep of steekproef om de populatie te begrijpen. Om dat te doen, moeten we twee hoofdvragen beantwoorden.
Hoeveel individuen moeten in onze steekproef worden opgenomen?
Hoe verhoudt dit zich tot de praktische significantie en statistische power?
Laten we dit hieronder uitsplitsen.
Statistische power en werkelijk effect
Statistische power wordt gedefinieerd als de kans dat een test een statistisch significant verschil detecteert wanneer zo'n verschil daadwerkelijk bestaat. Dit wordt ook wel een werkelijk effect genoemd.
Het werkelijke effect is de hoeksteen van experimenteel ontwerp. Cohens rapport uit 1988, toonaangevend vanwege de bijdragen aan de wetenschappelijke methode, stelde dat een studie zo moet worden ontworpen dat er 80% kans is om een werkelijk effect te detecteren. Deze 80% staat voor een high-power (HP) testontwerp, terwijl elke waarde die richting 20% gaat een low-power (LP) testontwerp is.
Cohen suggereerde dat studies altijd minder dan 20% kans moeten hebben op een type II-fout, bekend als een vals-negatief. Hij gebruikt dezelfde richtlijnbereiken ook voor gemiste ontdekkingen, die optreden wanneer een onderzoeker onterecht rapporteert dat er geen significant effect is terwijl er in werkelijkheid wel een verschil bestaat.
Waarom is statistische power belangrijk?
Denk aan dit scenario. Als er een werkelijk effect bestaat in 100 verschillende studies met 80% power, zullen statistische tests in 80 van de 100 een werkelijk effect detecteren. Maar wanneer een studie een onderzoekspower van 20% heeft, en er 100 echte niet-nuleffecten in de resultaten zijn, wordt verwacht dat deze studies er slechts 20 van ontdekken.
Tekortkomingen in statistische power in neurowetenschappelijk onderzoek
Niet verrassend heeft dit vakgebied, door het resource-intensieve karakter van neurowetenschappelijk onderzoek, een mediane statistische power van ongeveer 21% en een gemiddelde over een brede bandbreedte van 8%-31%. Lage statistische power in neurowetenschappelijk onderzoek:
Roept twijfel op over de repliceerbaarheid van bevindingen.
Leidt tot een overdreven effectgrootte.
Vermindert de kans op statistisch significante resultaten die het werkelijke effect nauwkeurig weergeven.
Daarom zit de huidige stand van het neurowetenschappelijk onderzoek vast in het probleem van statistische power, omdat deze waarden ver onder Cohens theoretische drempel liggen.
Een representatieve steekproefgroep(en) vaststellen
Doel van scenario één: steekproeffouten en type I- en II-fouten in onze test vermijden met inclusieve en grote steekproeven.
Hoeveel scans van menselijke hersenen moeten in onze steekproefset worden opgenomen als we willen dat het experiment praktisch significant is? Praktische significantie verwijst naar de vraag of resultaten van een experiment toepasbaar zijn op de echte wereld.
Het vermogen van het experiment van een neurowetenschapper om effecten vast te stellen (statistische power) hangt samen met de steekproefgrootte. Voortbouwend op de parameters van scenario 1 blijft het doel om genoeg gegevens te verzamelen zodat we statistisch kunnen evalueren of er een werkelijk effect is in de timing van dopamineafgifte na het tonen van emotioneel geladen visuele stimuli. We moeten ook inclusiecriteria vaststellen voor opname in de steekproef die de kans op een steekproeffout minimaliseren.
Hoe steekproeffouten te vermijden
Twee termen zijn belangrijk om te begrijpen voordat we verdergaan.
Steekproeffout: Bij steekproeftrekking is er altijd een kans dat de verzamelde gegevens van de geselecteerde individuen de populatie niet vertegenwoordigen.
Statistische significantie: Statistische significantie betekent dat onze gegevens en onze waargenomen effecten waarschijnlijk werkelijke effecten zijn. In de meeste biomedische wetenschappen wordt statistische significantie vastgesteld met een significantieniveau of p-waarde van .05. In essentie betekent dit dat wetenschappers 95% vertrouwen hebben in het effect dat in hun experimenten is waargenomen.
Stel dat de gegevens een relatie tonen (d.w.z. dopamineafgifte). Er is een mogelijkheid van 5% dat het effect op toeval berust en geen verband houdt met de variabele (visuele stimuli). Dit zou een type I-fout zijn. Als alternatief is er een kans van 5% dat onze verzamelde gegevens geen relatie tonen tussen dopamineafgifte en visuele stimuli terwijl er in feite wel een werkelijk effect is - een vals-negatief of type II-fout.
Het zorgvuldig vaststellen van inclusiecriteria heeft meer impact omdat er na een bepaalde steekproefgrootte een punt van afnemende meeropbrengst is.
We hopen gegevens te verzamelen die alle mensen vertegenwoordigen, en we willen dat onze conclusies zowel praktisch significant als statistisch significant zijn. Om onze steekproefset succesvol te ontwerpen, moet rekening worden gehouden met en moeten worden vermeden: een steekproeffout, type I-fout (vals-positief) of type II-fout (vals-negatief).
Ons experiment test de volgende hypothese:
Nulhypothese - Geen relatie of effect tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus.
Hypothese - Er IS een relatie tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus, en piekafgifte van dopamine treedt op na het zien van de visuele stimuli.
Er is een relatie tussen de timing van dopamineafgifte in de NAc en emotionele valentie van visuele stimuli. Wanneer de gegevens niet statistisch significant zijn:
Wordt onze hypothese verworpen.
Wordt geen werkelijk effect of verschil gevonden.
Zijn onze waargenomen effecten even waarschijnlijk het gevolg van toeval.
De populatie begrijpen?
Praktische beperkingen in experimenteel ontwerp.
In neurowetenschappelijk onderzoek probeert een formeel inclusiecriterium doorgaans de kans op inclusie over de populatie te randomiseren en/of gelijk te verdelen om steekproeffouten te voorkomen. We moeten vermijden individuen te selecteren alleen omdat ze het dichtstbij of het meest toegankelijk zijn om gegevens van te verzamelen, want dat is het recept voor een steekproeffout.
De beste benadering voor het samenstellen van een steekproefset is het gebruiken van inclusiecriteria die de kans op selectie over de hele populatie willekeurig gelijk verdelen. Met censusgegevens kunnen we bijvoorbeeld contactinformatie verkrijgen van 50 willekeurig geselecteerde individuen in elk county van Ohio. Dit zou selectiebias minimaliseren omdat namen willekeurig en gelijk uit alle geografische gebieden worden gekozen.
Het opzetten van het experimentele ontwerp, het vergroten van de steekproefgrootte en het volledig realiseren van onbevooroordeelde, gerandomiseerde en gelijk toegepaste inclusiecriteria kan snel botsen met praktische beperkingen. Dit is een probleem voor wetenschappelijk onderzoek op alle niveaus, van academische oefeningen tot volwaardige onderzoeksuniversiteiten. Meestal zijn budgettaire en tijdlijnbeperkingen de eerste die tot compromissen dwingen. Gezamenlijk zijn deze kwesties rond statistische significantie actieve onderzoeksgebieden.
Wat is de ware effectgrootte?
Door de lage statistische power van neurowetenschappelijk onderzoek hebben we de neiging de ware effectgrootte te overschatten, wat leidt tot de lage reproduceerbaarheid van veel studies. Bovendien maakt de inherente complexiteit van neurowetenschappelijk onderzoek statistische power cruciaal.
Eén methode die het vakgebied kan toepassen is het vergroten van de power van een studie door de steekproefgrootte te vergroten. Dit verhoogt de kans op het detecteren van een werkelijk effect. Het kiezen van een passende steekproefgrootte is essentieel voor het ontwerpen van onderzoek dat:
Praktische ontdekkingen doet.
Ons begrip van de ontelbare processen in de hersenen vergroot.
Effectieve therapieën ontwikkelt.
Uitdagingen overwinnen in hedendaags neurowetenschappelijk onderzoek: het EmotivLAB-platform
Experimentele ontwerpen in neurowetenschappelijk onderzoek zouden moeten streven naar grotere steekproefgroepen en betere inclusiecriteria om betrouwbare statistische significantie te bereiken. Met toegang tot een crowdsource-geschikt platform zoals EmotivLAB krijgen onderzoekers toegang tot potentieel veel diversere, veel representatievere proefpersonen - wat de steekproefgrootte en inclusiviteit van alle demografieën verbetert met minimale extra logistieke inspanning voor de onderzoeksgroepen.
Modern neurowetenschappelijk onderzoek kan kwetsbaar zijn voor steekproeffouten door beperkte beschikbare middelen om een diverse groep te werven voor de experimentele steekproefset. Het concept van de "WEIRD-groep" vat dit probleem samen. Het meeste universitair onderzoek wordt gedaan met een zeer beperkt budget op proefpersonen die over het algemeen Westers, Opgeleid en afkomstig uit Geïndustrialiseerde, Rijke en Democratische landen zijn. Apparatuur voor gegevensverzameling op afstand, zoals het EEG-platform van EmotivLABs, stelt onderzoekers echter in staat verder te reiken dan de universiteitscampus om steekproefgroepen te werven die de populatie beter weerspiegelen.
Het EmotivLABs-platform bevrijdt onderzoekers van de huidige beperkingen en stelt hen in staat hun energie te richten op het ontwerpen van experimenten en het analyseren van resultaten.
Het platform van EmotivLABs en de EEG-apparatuur op afstand helpen onderzoekers niet alleen de diversiteit van individuen in experimentele steekproefgroepen te vergroten. Het verzacht ook de problemen rond de totale steekproefgrootte en geografische reikwijdte in doelpopulaties.
Het EmotivLABs-platform bevrijdt onderzoekers van de huidige beperkingen en stelt hen in staat hun energie te richten op het ontwerpen van experimenten en het analyseren van resultaten. Ons platform koppelt het experiment aan de meest geschikte individuen in de proefpersonenpool. Er is geen noodzaak om tijd te besteden aan het werven van deelnemers, het coördineren en plannen van afspraken, en het uitvoeren van dataverzameling in het lab. Het enige dat nodig is, is dat de gewenste demografie in het online platform wordt gespecificeerd, en EmotivLABs maakt het experiment beschikbaar voor bijdragers die het best aan de gewenste parameters voldoen. Deelnemers kunnen de experimenten in hun eigen huis uitvoeren, met hun eigen apparatuur. Hun vertrouwdheid met de headset maakt het niet nodig dat onderzoekers instructies geven over het gebruik ervan.
Daarnaast biedt het EmotivLAB-platform geautomatiseerde kwaliteitscontrole en beoordeling van EEG-opnamedata. Grote hoeveelheden gegevens van lage kwaliteit helpen niet om steekproef- of statistische fouten in experimentele ontwerpen te overwinnen. Toegang tot meer gegevens van hoge kwaliteit biedt echter wel een oplossing om fouten te helpen voorkomen in:
Steekproeftrekking
Populatie
Statistische significantie
Wil je meer weten over wat het EmotivLABs-platform voor jouw onderzoek kan doen?
EmotivLABS stelt je in staat je experiment op te bouwen, je experiment veilig en beveiligd uit te rollen, te rekruteren uit een wereldwijd panel van geverifieerde deelnemers en hoogwaardige EEG-gegevens te verzamelen, allemaal vanaf één platform. Klik hier om meer te leren of een demo aan te vragen.