Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Statistische significantie: steekproefgrootte(n) en statistische power
Quoc Minh Lai
-
Delen:
Statistische significantie: steekproefgrootte(n) & statistische power - Om de wereld om ons heen te begrijpen, gebruiken onderzoekers formeel de wetenschappelijke methode om vermoedelijke waarheden van onwaarheden te scheiden. Cognitieve neurowetenschap heeft als doel te begrijpen hoe genetische, neurologische en gedragsmatige systemen het vermogen van een organisme ondersteunen om de wereld om zich heen waar te nemen, ermee te interageren, erdoor te navigeren en erover na te denken.
Dit betekent dat de cognitieve neurowetenschap experimenten ontwerpt en gegevens verzamelt op alle analyseniveaus. Onderzoeksprogramma's wereldwijd die ons begrip van de natuurlijke wereld willen vergroten, testen regelmatig aannames, of hypothesen, in een goed geplande reeks kleinere experimenten. Deze experimenten onderzoeken doorgaans specifieke factoren die een uitkomst al dan niet kunnen beïnvloeden, terwijl de invloed van externe factoren zoals omgeving, seksuele geaardheid, ras of sociaaleconomische status wordt geminimaliseerd.
Scenario één: een onderzoek naar dopamineafgifte
In de cognitieve neurowetenschap wordt dopamine over het algemeen beschouwd als een "feel-good"-stof. De afgifte ervan in de Nucleus Acccumbens (NuAc) wordt geactiveerd door gedragingen of dingen die ons motiveren om ons te gedragen. Dit kan onder meer omvatten:
Een goede maaltijd eten
Tijd met dierbaren
Seks
Suiker
Laten we zeggen dat we willen uitzoeken of piekniveaus van dopamine in de NuAc optreden vóór, tijdens of na blootstelling aan een gewenste of vertrouwde visuele stimulus. We kunnen het EEG-experimentele ontwerp gebruiken dat is overgenomen uit Amatya Johanna Mackintosh' studie. We kunnen veronderstellen dat dopamineafgifte tijdens de blootstelling plaatsvindt en licht piekt na blootstelling aan de vertrouwde of gewenste visuele stimuli.
Nu, het meest cruciaal, waar halen we proefpersonen vandaan?
In experimentele situaties verwijst "populatie" naar de grotere, totale collectieve groep die wordt bestudeerd. Het is onpraktisch en onwaarschijnlijk dat je lab een techniek kan ontwikkelen om dopamineafgiftegegevens te werven en te verzamelen van honderdduizenden of miljoenen mensen.
Daarom zullen we proberen gegevens te verzamelen van een kleinere, representatieve groep of steekproef om de populatie te begrijpen. Om dat te doen, moeten we twee hoofdvragen beantwoorden.
Hoeveel individuen moeten in onze steekproef worden opgenomen?
Hoe verhoudt dit zich tot de praktische significantie en statistische power?
Laten we het hieronder opsplitsen.
Statistische power en werkelijk effect
Statistische power wordt gedefinieerd als de waarschijnlijkheid dat een test een statistisch significant verschil detecteert wanneer zo'n verschil daadwerkelijk bestaat. Dit wordt ook een werkelijk effect genoemd.
Het werkelijke effect is de hoeksteen van experimenteel ontwerp. Cohens rapport uit 1988, bekend om zijn bijdragen aan de wetenschappelijke methode, stelde dat een studie zo ontworpen moet zijn dat er een kans van 80% is om een werkelijk effect te detecteren. Deze 80% vertegenwoordigt een high-power (HP) testontwerp, terwijl elke waarde die 20% nadert een low-power (LP) testontwerp is.
Cohen suggereerde dat studies altijd minder dan 20% kans zouden moeten hebben op een type II-fout, ook wel een vals-negatief genoemd. Hij gebruikt dezezelfde richtlijnbereiken ook voor gemiste ontdekkingen, die optreden wanneer een onderzoeker onjuist rapporteert dat er geen significant effect is terwijl er in werkelijkheid wel een verschil bestaat.
Waarom is statistische power belangrijk?
Denk aan dit scenario. Als er een werkelijk effect bestaat in 100 verschillende studies met 80% power, zullen statistische tests in 80 van de 100 een werkelijk effect detecteren. Wanneer een studie echter een onderzoekspower van 20% heeft, en er 100 echte niet-nuleffecten in de resultaten zijn, wordt verwacht dat deze studies er slechts 20 van ontdekken.
Tekortkomingen in statistische power in neurowetenschappelijk onderzoek
Niet verrassend heeft dit vakgebied, vanwege het resource-intensieve karakter van neurowetenschappelijk onderzoek, een mediane statistische power van ongeveer 21% en een gemiddelde binnen een brede bandbreedte van 8%-31%. Lage statistische power in neurowetenschappelijk onderzoek:
Zaait twijfel over de repliceerbaarheid van bevindingen.
Leidt tot een overdreven effectgrootte.
Vermindert de kans op statistisch significante resultaten die het werkelijke effect nauwkeurig weergeven.
Daarom zit de huidige staat van neurowetenschappelijk onderzoek gevangen in het probleem van statistische power, omdat deze waarden ver onder Cohens theoretische drempel liggen.
Een representatieve steekproefgroep(en) opstellen
Doel van scenario één: steekproeffouten en type I- en II-fouten in onze test vermijden met inclusieve en grote steekproeven.
Hoeveel hersenscans van mensen moeten in onze steekproefset worden opgenomen als we willen dat het experiment praktisch significant is? Praktische significantie verwijst naar de vraag of resultaten van een experiment toepasbaar zijn op de echte wereld.
Het vermogen van het experiment van een neurowetenschapper om effecten te bepalen (statistische power) hangt samen met de steekproefgrootte. Voortbouwend op de parameters van scenario 1 is het doel nog steeds om voldoende gegevens te verzamelen zodat we statistisch kunnen beoordelen of er een werkelijk effect is in de timing van dopamineafgifte na het tonen van emotioneel beladen visuele stimuli. We moeten ook criteria voor opname in de steekproef vaststellen die de kans op een steekproeffout minimaliseren.
Hoe steekproeffouten te vermijden
Twee termen zijn belangrijk om te begrijpen voordat we verdergaan.
Steekproeffout: Bij steekproeven is er altijd een kans dat de verzamelde gegevens van de geselecteerde personen de populatie niet representeren.
Statistische significantie: Statistische significantie betekent dat onze gegevens en onze geobserveerde effecten waarschijnlijk echte effecten zijn. In de meeste biomedische wetenschappen wordt statistische significantie vastgesteld met een significantieniveau of p-waarde van .05. In essentie betekent dit dat wetenschappers 95% vertrouwen hebben in het effect dat in hun experimenten is waargenomen.
Stel dat de gegevens een relatie tonen (d.w.z. dopamineafgifte). Er is 5% kans dat het effect op toeval berust en geen verband houdt met de variabele (visuele stimuli). Dit zou een type I-fout zijn. Als alternatief is er 5% kans dat onze verzamelde gegevens geen relatie tonen tussen dopamineafgifte en visuele stimuli terwijl er in feite wel een werkelijk effect is - een vals-negatief of type II-fout.
Het zorgvuldig vaststellen van inclusiecriteria heeft meer impact, omdat er na een bepaalde steekproefgrootte een punt van afnemende opbrengst is.
We hopen gegevens te verzamelen die alle mensen representeren, en we willen dat onze conclusies zowel praktisch significant als statistisch significant zijn. Om onze steekproefset succesvol te ontwerpen, moet rekening worden gehouden met een steekproeffout, type I-fout (vals-positief) of type II-fout (vals-negatief), en moeten deze worden vermeden.
Ons experiment test de volgende hypothese:
Nulhypothese - Geen relatie of effect tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus.
Hypothese - Er IS een relatie tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus, en piek-dopamineafgifte treedt op na het zien van de visuele stimuli.
Er is een relatie tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimuli. Wanneer de gegevens niet statistisch significant zijn:
Wordt onze hypothese verworpen.
Wordt er geen werkelijk effect of verschil gevonden.
Zijn onze geobserveerde effecten even waarschijnlijk het gevolg van toeval.
De populatie begrijpen?
Praktische beperkingen in experimenteel ontwerp.
In neurowetenschappelijk onderzoek probeert een formeel inclusiecriterium doorgaans de kans op opname binnen de populatie te randomiseren en/of gelijk te maken om steekproeffouten te voorkomen. We moeten vermijden individuen te selecteren alleen omdat ze het dichtstbij of het gemakkelijkst toegankelijk zijn om gegevens van te verzamelen, want dat is het recept voor een steekproeffout.
De beste aanpak voor het samenstellen van een steekproefset is het gebruiken van inclusiecriteria die de kans op selectie over de gehele populatie willekeurig gelijkmaken. Met censusgegevens zouden we bijvoorbeeld contactinformatie kunnen verkrijgen van 50 willekeurig geselecteerde individuen in elk county van Ohio. Dit zou selectiebias minimaliseren omdat namen willekeurig en gelijkmatig uit alle geografische gebieden zouden worden gekozen.
Het opstellen van het experimentele ontwerp, het vergroten van de steekproefgrootte en het volledig realiseren van onbevooroordeelde, gerandomiseerde en gelijk toegepaste inclusiecriteria kan snel op praktische beperkingen stuiten. Dit is een probleem voor wetenschappelijk onderzoek op alle niveaus, van academische oefeningen tot volwaardige onderzoeksuniversiteiten. Meestal zijn budgettaire en tijdlijn-beperkingen de eerste die tot compromissen dwingen. Gezamenlijk zijn deze kwesties rond statistische significantie actieve onderzoeksgebieden.
Wat is de werkelijke effectgrootte?
Door de lage statistische power van neurowetenschappelijk onderzoek hebben we de neiging de werkelijke effectgrootte te overschatten, wat leidt tot de lage reproduceerbaarheid van veel studies. Bovendien maakt de inherente complexiteit van neurowetenschappelijk onderzoek statistische power cruciaal.
Een methode die het vakgebied kan toepassen, is de power van een studie verhogen door de steekproefgrootte te vergroten. Dit verhoogt de kans op het detecteren van een werkelijk effect. Het kiezen van een passende steekproefgrootte is essentieel voor het ontwerpen van onderzoek dat:
Praktische ontdekkingen oplevert.
Ons begrip van de ontelbare processen in de hersenen vergroot.
Effectieve therapieën ontwikkelt.
Uitdagingen in hedendaags neurowetenschappelijk onderzoek overwinnen: het EmotivLAB-platform
Experimentele ontwerpen in neurowetenschappelijk onderzoek zouden moeten streven naar grotere steekproefgroepen en betere inclusiecriteria om betrouwbare statistische significantie te bereiken. Met toegang tot een crowdsourcing-enabled platform zoals EmotivLAB krijgen onderzoekers toegang tot mogelijk veel diversere, veel representatievere proefpersonen - wat de steekproefgrootte en inclusiviteit van alle demografische groepen verbetert met minimale extra logistieke inspanning voor de onderzoeksgroepen.
Modern neurowetenschappelijk onderzoek kan kwetsbaar zijn voor steekproeffouten door beperkte beschikbare middelen om een diverse groep voor de experimentele steekproefset te werven. Het concept van de "WEIRD-groep" vat dit probleem samen. Het meeste universitair onderzoek wordt met een zeer beperkt budget uitgevoerd op proefpersonen die over het algemeen Westers, opgeleid en afkomstig zijn uit geïndustrialiseerde, rijke en democratische landen. Apparatuur voor dataverzameling op afstand, zoals het EEG-platform van EmotivLABs, stelt onderzoekers echter in staat verder te reiken dan de universiteitscampus om steekproefgroepen te werven die de populatie beter weerspiegelen.
Het platform van EmotivLABs en de EEG-apparatuur op afstand helpen onderzoekers niet alleen de diversiteit van individuen in experimentele steekproefgroepen uit te breiden. Het bemiddelt ook bij problemen rond de totale steekproefgrootte en het geografische bereik binnen doelpopulaties.
Het EmotivLABs-platform bevrijdt onderzoekers van de huidige beperkingen en stelt hen in plaats daarvan in staat hun energie te richten op het ontwerpen van experimenten en het analyseren van resultaten. Ons platform koppelt het experiment aan de meest geschikte individuen in de proefpersonenpool. Het is niet nodig tijd te besteden aan het werven van deelnemers, het coördineren en plannen ervan en het uitvoeren van dataverzameling in het lab. Het enige wat nodig is, is dat de gewenste demografie in het online platform wordt gespecificeerd, en EmotivLABs maakt het experiment beschikbaar voor bijdragers die het beste voldoen aan de gewenste parameters. Deelnemers kunnen de experimenten in hun eigen huis uitvoeren met hun eigen apparatuur. Hun vertrouwdheid met de headset maakt het overbodig dat onderzoekers instructies geven over het gebruik ervan.
Daarnaast biedt het EmotivLAB-platform geautomatiseerde kwaliteitscontrole en beoordeling van EEG-registratiegegevens. Grote hoeveelheden gegevens van lage kwaliteit helpen niet bij het overwinnen van steekproef- of statistische fouten in experimentele ontwerpen. Toegang tot meer hoogwaardige gegevens biedt echter wel een oplossing om fouten te helpen voorkomen in:
Steekproefneming
Populatie
Statistische significantie
Wil je meer weten over wat het EmotivLABs-platform voor jouw onderzoek kan doen?
EmotivLABS stelt je in staat je experiment op te bouwen, je experiment veilig en beveiligd uit te rollen, te werven uit een wereldwijd panel van geverifieerde deelnemers en EEG-gegevens van hoge kwaliteit te verzamelen, allemaal vanuit één platform. Klik hier om meer te leren of een demo aan te vragen.
Statistische significantie: steekproefgrootte(n) & statistische power - Om de wereld om ons heen te begrijpen, gebruiken onderzoekers formeel de wetenschappelijke methode om vermoedelijke waarheden van onwaarheden te scheiden. Cognitieve neurowetenschap heeft als doel te begrijpen hoe genetische, neurologische en gedragsmatige systemen het vermogen van een organisme ondersteunen om de wereld om zich heen waar te nemen, ermee te interageren, erdoor te navigeren en erover na te denken.
Dit betekent dat de cognitieve neurowetenschap experimenten ontwerpt en gegevens verzamelt op alle analyseniveaus. Onderzoeksprogramma's wereldwijd die ons begrip van de natuurlijke wereld willen vergroten, testen regelmatig aannames, of hypothesen, in een goed geplande reeks kleinere experimenten. Deze experimenten onderzoeken doorgaans specifieke factoren die een uitkomst al dan niet kunnen beïnvloeden, terwijl de invloed van externe factoren zoals omgeving, seksuele geaardheid, ras of sociaaleconomische status wordt geminimaliseerd.
Scenario één: een onderzoek naar dopamineafgifte
In de cognitieve neurowetenschap wordt dopamine over het algemeen beschouwd als een "feel-good"-stof. De afgifte ervan in de Nucleus Acccumbens (NuAc) wordt geactiveerd door gedragingen of dingen die ons motiveren om ons te gedragen. Dit kan onder meer omvatten:
Een goede maaltijd eten
Tijd met dierbaren
Seks
Suiker
Laten we zeggen dat we willen uitzoeken of piekniveaus van dopamine in de NuAc optreden vóór, tijdens of na blootstelling aan een gewenste of vertrouwde visuele stimulus. We kunnen het EEG-experimentele ontwerp gebruiken dat is overgenomen uit Amatya Johanna Mackintosh' studie. We kunnen veronderstellen dat dopamineafgifte tijdens de blootstelling plaatsvindt en licht piekt na blootstelling aan de vertrouwde of gewenste visuele stimuli.
Nu, het meest cruciaal, waar halen we proefpersonen vandaan?
In experimentele situaties verwijst "populatie" naar de grotere, totale collectieve groep die wordt bestudeerd. Het is onpraktisch en onwaarschijnlijk dat je lab een techniek kan ontwikkelen om dopamineafgiftegegevens te werven en te verzamelen van honderdduizenden of miljoenen mensen.
Daarom zullen we proberen gegevens te verzamelen van een kleinere, representatieve groep of steekproef om de populatie te begrijpen. Om dat te doen, moeten we twee hoofdvragen beantwoorden.
Hoeveel individuen moeten in onze steekproef worden opgenomen?
Hoe verhoudt dit zich tot de praktische significantie en statistische power?
Laten we het hieronder opsplitsen.
Statistische power en werkelijk effect
Statistische power wordt gedefinieerd als de waarschijnlijkheid dat een test een statistisch significant verschil detecteert wanneer zo'n verschil daadwerkelijk bestaat. Dit wordt ook een werkelijk effect genoemd.
Het werkelijke effect is de hoeksteen van experimenteel ontwerp. Cohens rapport uit 1988, bekend om zijn bijdragen aan de wetenschappelijke methode, stelde dat een studie zo ontworpen moet zijn dat er een kans van 80% is om een werkelijk effect te detecteren. Deze 80% vertegenwoordigt een high-power (HP) testontwerp, terwijl elke waarde die 20% nadert een low-power (LP) testontwerp is.
Cohen suggereerde dat studies altijd minder dan 20% kans zouden moeten hebben op een type II-fout, ook wel een vals-negatief genoemd. Hij gebruikt dezezelfde richtlijnbereiken ook voor gemiste ontdekkingen, die optreden wanneer een onderzoeker onjuist rapporteert dat er geen significant effect is terwijl er in werkelijkheid wel een verschil bestaat.
Waarom is statistische power belangrijk?
Denk aan dit scenario. Als er een werkelijk effect bestaat in 100 verschillende studies met 80% power, zullen statistische tests in 80 van de 100 een werkelijk effect detecteren. Wanneer een studie echter een onderzoekspower van 20% heeft, en er 100 echte niet-nuleffecten in de resultaten zijn, wordt verwacht dat deze studies er slechts 20 van ontdekken.
Tekortkomingen in statistische power in neurowetenschappelijk onderzoek
Niet verrassend heeft dit vakgebied, vanwege het resource-intensieve karakter van neurowetenschappelijk onderzoek, een mediane statistische power van ongeveer 21% en een gemiddelde binnen een brede bandbreedte van 8%-31%. Lage statistische power in neurowetenschappelijk onderzoek:
Zaait twijfel over de repliceerbaarheid van bevindingen.
Leidt tot een overdreven effectgrootte.
Vermindert de kans op statistisch significante resultaten die het werkelijke effect nauwkeurig weergeven.
Daarom zit de huidige staat van neurowetenschappelijk onderzoek gevangen in het probleem van statistische power, omdat deze waarden ver onder Cohens theoretische drempel liggen.
Een representatieve steekproefgroep(en) opstellen
Doel van scenario één: steekproeffouten en type I- en II-fouten in onze test vermijden met inclusieve en grote steekproeven.
Hoeveel hersenscans van mensen moeten in onze steekproefset worden opgenomen als we willen dat het experiment praktisch significant is? Praktische significantie verwijst naar de vraag of resultaten van een experiment toepasbaar zijn op de echte wereld.
Het vermogen van het experiment van een neurowetenschapper om effecten te bepalen (statistische power) hangt samen met de steekproefgrootte. Voortbouwend op de parameters van scenario 1 is het doel nog steeds om voldoende gegevens te verzamelen zodat we statistisch kunnen beoordelen of er een werkelijk effect is in de timing van dopamineafgifte na het tonen van emotioneel beladen visuele stimuli. We moeten ook criteria voor opname in de steekproef vaststellen die de kans op een steekproeffout minimaliseren.
Hoe steekproeffouten te vermijden
Twee termen zijn belangrijk om te begrijpen voordat we verdergaan.
Steekproeffout: Bij steekproeven is er altijd een kans dat de verzamelde gegevens van de geselecteerde personen de populatie niet representeren.
Statistische significantie: Statistische significantie betekent dat onze gegevens en onze geobserveerde effecten waarschijnlijk echte effecten zijn. In de meeste biomedische wetenschappen wordt statistische significantie vastgesteld met een significantieniveau of p-waarde van .05. In essentie betekent dit dat wetenschappers 95% vertrouwen hebben in het effect dat in hun experimenten is waargenomen.
Stel dat de gegevens een relatie tonen (d.w.z. dopamineafgifte). Er is 5% kans dat het effect op toeval berust en geen verband houdt met de variabele (visuele stimuli). Dit zou een type I-fout zijn. Als alternatief is er 5% kans dat onze verzamelde gegevens geen relatie tonen tussen dopamineafgifte en visuele stimuli terwijl er in feite wel een werkelijk effect is - een vals-negatief of type II-fout.
Het zorgvuldig vaststellen van inclusiecriteria heeft meer impact, omdat er na een bepaalde steekproefgrootte een punt van afnemende opbrengst is.
We hopen gegevens te verzamelen die alle mensen representeren, en we willen dat onze conclusies zowel praktisch significant als statistisch significant zijn. Om onze steekproefset succesvol te ontwerpen, moet rekening worden gehouden met een steekproeffout, type I-fout (vals-positief) of type II-fout (vals-negatief), en moeten deze worden vermeden.
Ons experiment test de volgende hypothese:
Nulhypothese - Geen relatie of effect tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus.
Hypothese - Er IS een relatie tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus, en piek-dopamineafgifte treedt op na het zien van de visuele stimuli.
Er is een relatie tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimuli. Wanneer de gegevens niet statistisch significant zijn:
Wordt onze hypothese verworpen.
Wordt er geen werkelijk effect of verschil gevonden.
Zijn onze geobserveerde effecten even waarschijnlijk het gevolg van toeval.
De populatie begrijpen?
Praktische beperkingen in experimenteel ontwerp.
In neurowetenschappelijk onderzoek probeert een formeel inclusiecriterium doorgaans de kans op opname binnen de populatie te randomiseren en/of gelijk te maken om steekproeffouten te voorkomen. We moeten vermijden individuen te selecteren alleen omdat ze het dichtstbij of het gemakkelijkst toegankelijk zijn om gegevens van te verzamelen, want dat is het recept voor een steekproeffout.
De beste aanpak voor het samenstellen van een steekproefset is het gebruiken van inclusiecriteria die de kans op selectie over de gehele populatie willekeurig gelijkmaken. Met censusgegevens zouden we bijvoorbeeld contactinformatie kunnen verkrijgen van 50 willekeurig geselecteerde individuen in elk county van Ohio. Dit zou selectiebias minimaliseren omdat namen willekeurig en gelijkmatig uit alle geografische gebieden zouden worden gekozen.
Het opstellen van het experimentele ontwerp, het vergroten van de steekproefgrootte en het volledig realiseren van onbevooroordeelde, gerandomiseerde en gelijk toegepaste inclusiecriteria kan snel op praktische beperkingen stuiten. Dit is een probleem voor wetenschappelijk onderzoek op alle niveaus, van academische oefeningen tot volwaardige onderzoeksuniversiteiten. Meestal zijn budgettaire en tijdlijn-beperkingen de eerste die tot compromissen dwingen. Gezamenlijk zijn deze kwesties rond statistische significantie actieve onderzoeksgebieden.
Wat is de werkelijke effectgrootte?
Door de lage statistische power van neurowetenschappelijk onderzoek hebben we de neiging de werkelijke effectgrootte te overschatten, wat leidt tot de lage reproduceerbaarheid van veel studies. Bovendien maakt de inherente complexiteit van neurowetenschappelijk onderzoek statistische power cruciaal.
Een methode die het vakgebied kan toepassen, is de power van een studie verhogen door de steekproefgrootte te vergroten. Dit verhoogt de kans op het detecteren van een werkelijk effect. Het kiezen van een passende steekproefgrootte is essentieel voor het ontwerpen van onderzoek dat:
Praktische ontdekkingen oplevert.
Ons begrip van de ontelbare processen in de hersenen vergroot.
Effectieve therapieën ontwikkelt.
Uitdagingen in hedendaags neurowetenschappelijk onderzoek overwinnen: het EmotivLAB-platform
Experimentele ontwerpen in neurowetenschappelijk onderzoek zouden moeten streven naar grotere steekproefgroepen en betere inclusiecriteria om betrouwbare statistische significantie te bereiken. Met toegang tot een crowdsourcing-enabled platform zoals EmotivLAB krijgen onderzoekers toegang tot mogelijk veel diversere, veel representatievere proefpersonen - wat de steekproefgrootte en inclusiviteit van alle demografische groepen verbetert met minimale extra logistieke inspanning voor de onderzoeksgroepen.
Modern neurowetenschappelijk onderzoek kan kwetsbaar zijn voor steekproeffouten door beperkte beschikbare middelen om een diverse groep voor de experimentele steekproefset te werven. Het concept van de "WEIRD-groep" vat dit probleem samen. Het meeste universitair onderzoek wordt met een zeer beperkt budget uitgevoerd op proefpersonen die over het algemeen Westers, opgeleid en afkomstig zijn uit geïndustrialiseerde, rijke en democratische landen. Apparatuur voor dataverzameling op afstand, zoals het EEG-platform van EmotivLABs, stelt onderzoekers echter in staat verder te reiken dan de universiteitscampus om steekproefgroepen te werven die de populatie beter weerspiegelen.
Het platform van EmotivLABs en de EEG-apparatuur op afstand helpen onderzoekers niet alleen de diversiteit van individuen in experimentele steekproefgroepen uit te breiden. Het bemiddelt ook bij problemen rond de totale steekproefgrootte en het geografische bereik binnen doelpopulaties.
Het EmotivLABs-platform bevrijdt onderzoekers van de huidige beperkingen en stelt hen in plaats daarvan in staat hun energie te richten op het ontwerpen van experimenten en het analyseren van resultaten. Ons platform koppelt het experiment aan de meest geschikte individuen in de proefpersonenpool. Het is niet nodig tijd te besteden aan het werven van deelnemers, het coördineren en plannen ervan en het uitvoeren van dataverzameling in het lab. Het enige wat nodig is, is dat de gewenste demografie in het online platform wordt gespecificeerd, en EmotivLABs maakt het experiment beschikbaar voor bijdragers die het beste voldoen aan de gewenste parameters. Deelnemers kunnen de experimenten in hun eigen huis uitvoeren met hun eigen apparatuur. Hun vertrouwdheid met de headset maakt het overbodig dat onderzoekers instructies geven over het gebruik ervan.
Daarnaast biedt het EmotivLAB-platform geautomatiseerde kwaliteitscontrole en beoordeling van EEG-registratiegegevens. Grote hoeveelheden gegevens van lage kwaliteit helpen niet bij het overwinnen van steekproef- of statistische fouten in experimentele ontwerpen. Toegang tot meer hoogwaardige gegevens biedt echter wel een oplossing om fouten te helpen voorkomen in:
Steekproefneming
Populatie
Statistische significantie
Wil je meer weten over wat het EmotivLABs-platform voor jouw onderzoek kan doen?
EmotivLABS stelt je in staat je experiment op te bouwen, je experiment veilig en beveiligd uit te rollen, te werven uit een wereldwijd panel van geverifieerde deelnemers en EEG-gegevens van hoge kwaliteit te verzamelen, allemaal vanuit één platform. Klik hier om meer te leren of een demo aan te vragen.
Statistische significantie: steekproefgrootte(n) & statistische power - Om de wereld om ons heen te begrijpen, gebruiken onderzoekers formeel de wetenschappelijke methode om vermoedelijke waarheden van onwaarheden te scheiden. Cognitieve neurowetenschap heeft als doel te begrijpen hoe genetische, neurologische en gedragsmatige systemen het vermogen van een organisme ondersteunen om de wereld om zich heen waar te nemen, ermee te interageren, erdoor te navigeren en erover na te denken.
Dit betekent dat de cognitieve neurowetenschap experimenten ontwerpt en gegevens verzamelt op alle analyseniveaus. Onderzoeksprogramma's wereldwijd die ons begrip van de natuurlijke wereld willen vergroten, testen regelmatig aannames, of hypothesen, in een goed geplande reeks kleinere experimenten. Deze experimenten onderzoeken doorgaans specifieke factoren die een uitkomst al dan niet kunnen beïnvloeden, terwijl de invloed van externe factoren zoals omgeving, seksuele geaardheid, ras of sociaaleconomische status wordt geminimaliseerd.
Scenario één: een onderzoek naar dopamineafgifte
In de cognitieve neurowetenschap wordt dopamine over het algemeen beschouwd als een "feel-good"-stof. De afgifte ervan in de Nucleus Acccumbens (NuAc) wordt geactiveerd door gedragingen of dingen die ons motiveren om ons te gedragen. Dit kan onder meer omvatten:
Een goede maaltijd eten
Tijd met dierbaren
Seks
Suiker
Laten we zeggen dat we willen uitzoeken of piekniveaus van dopamine in de NuAc optreden vóór, tijdens of na blootstelling aan een gewenste of vertrouwde visuele stimulus. We kunnen het EEG-experimentele ontwerp gebruiken dat is overgenomen uit Amatya Johanna Mackintosh' studie. We kunnen veronderstellen dat dopamineafgifte tijdens de blootstelling plaatsvindt en licht piekt na blootstelling aan de vertrouwde of gewenste visuele stimuli.
Nu, het meest cruciaal, waar halen we proefpersonen vandaan?
In experimentele situaties verwijst "populatie" naar de grotere, totale collectieve groep die wordt bestudeerd. Het is onpraktisch en onwaarschijnlijk dat je lab een techniek kan ontwikkelen om dopamineafgiftegegevens te werven en te verzamelen van honderdduizenden of miljoenen mensen.
Daarom zullen we proberen gegevens te verzamelen van een kleinere, representatieve groep of steekproef om de populatie te begrijpen. Om dat te doen, moeten we twee hoofdvragen beantwoorden.
Hoeveel individuen moeten in onze steekproef worden opgenomen?
Hoe verhoudt dit zich tot de praktische significantie en statistische power?
Laten we het hieronder opsplitsen.
Statistische power en werkelijk effect
Statistische power wordt gedefinieerd als de waarschijnlijkheid dat een test een statistisch significant verschil detecteert wanneer zo'n verschil daadwerkelijk bestaat. Dit wordt ook een werkelijk effect genoemd.
Het werkelijke effect is de hoeksteen van experimenteel ontwerp. Cohens rapport uit 1988, bekend om zijn bijdragen aan de wetenschappelijke methode, stelde dat een studie zo ontworpen moet zijn dat er een kans van 80% is om een werkelijk effect te detecteren. Deze 80% vertegenwoordigt een high-power (HP) testontwerp, terwijl elke waarde die 20% nadert een low-power (LP) testontwerp is.
Cohen suggereerde dat studies altijd minder dan 20% kans zouden moeten hebben op een type II-fout, ook wel een vals-negatief genoemd. Hij gebruikt dezezelfde richtlijnbereiken ook voor gemiste ontdekkingen, die optreden wanneer een onderzoeker onjuist rapporteert dat er geen significant effect is terwijl er in werkelijkheid wel een verschil bestaat.
Waarom is statistische power belangrijk?
Denk aan dit scenario. Als er een werkelijk effect bestaat in 100 verschillende studies met 80% power, zullen statistische tests in 80 van de 100 een werkelijk effect detecteren. Wanneer een studie echter een onderzoekspower van 20% heeft, en er 100 echte niet-nuleffecten in de resultaten zijn, wordt verwacht dat deze studies er slechts 20 van ontdekken.
Tekortkomingen in statistische power in neurowetenschappelijk onderzoek
Niet verrassend heeft dit vakgebied, vanwege het resource-intensieve karakter van neurowetenschappelijk onderzoek, een mediane statistische power van ongeveer 21% en een gemiddelde binnen een brede bandbreedte van 8%-31%. Lage statistische power in neurowetenschappelijk onderzoek:
Zaait twijfel over de repliceerbaarheid van bevindingen.
Leidt tot een overdreven effectgrootte.
Vermindert de kans op statistisch significante resultaten die het werkelijke effect nauwkeurig weergeven.
Daarom zit de huidige staat van neurowetenschappelijk onderzoek gevangen in het probleem van statistische power, omdat deze waarden ver onder Cohens theoretische drempel liggen.
Een representatieve steekproefgroep(en) opstellen
Doel van scenario één: steekproeffouten en type I- en II-fouten in onze test vermijden met inclusieve en grote steekproeven.
Hoeveel hersenscans van mensen moeten in onze steekproefset worden opgenomen als we willen dat het experiment praktisch significant is? Praktische significantie verwijst naar de vraag of resultaten van een experiment toepasbaar zijn op de echte wereld.
Het vermogen van het experiment van een neurowetenschapper om effecten te bepalen (statistische power) hangt samen met de steekproefgrootte. Voortbouwend op de parameters van scenario 1 is het doel nog steeds om voldoende gegevens te verzamelen zodat we statistisch kunnen beoordelen of er een werkelijk effect is in de timing van dopamineafgifte na het tonen van emotioneel beladen visuele stimuli. We moeten ook criteria voor opname in de steekproef vaststellen die de kans op een steekproeffout minimaliseren.
Hoe steekproeffouten te vermijden
Twee termen zijn belangrijk om te begrijpen voordat we verdergaan.
Steekproeffout: Bij steekproeven is er altijd een kans dat de verzamelde gegevens van de geselecteerde personen de populatie niet representeren.
Statistische significantie: Statistische significantie betekent dat onze gegevens en onze geobserveerde effecten waarschijnlijk echte effecten zijn. In de meeste biomedische wetenschappen wordt statistische significantie vastgesteld met een significantieniveau of p-waarde van .05. In essentie betekent dit dat wetenschappers 95% vertrouwen hebben in het effect dat in hun experimenten is waargenomen.
Stel dat de gegevens een relatie tonen (d.w.z. dopamineafgifte). Er is 5% kans dat het effect op toeval berust en geen verband houdt met de variabele (visuele stimuli). Dit zou een type I-fout zijn. Als alternatief is er 5% kans dat onze verzamelde gegevens geen relatie tonen tussen dopamineafgifte en visuele stimuli terwijl er in feite wel een werkelijk effect is - een vals-negatief of type II-fout.
Het zorgvuldig vaststellen van inclusiecriteria heeft meer impact, omdat er na een bepaalde steekproefgrootte een punt van afnemende opbrengst is.
We hopen gegevens te verzamelen die alle mensen representeren, en we willen dat onze conclusies zowel praktisch significant als statistisch significant zijn. Om onze steekproefset succesvol te ontwerpen, moet rekening worden gehouden met een steekproeffout, type I-fout (vals-positief) of type II-fout (vals-negatief), en moeten deze worden vermeden.
Ons experiment test de volgende hypothese:
Nulhypothese - Geen relatie of effect tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus.
Hypothese - Er IS een relatie tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimulus, en piek-dopamineafgifte treedt op na het zien van de visuele stimuli.
Er is een relatie tussen de timing van dopamineafgifte in de NAc en emotioneel valente visuele stimuli. Wanneer de gegevens niet statistisch significant zijn:
Wordt onze hypothese verworpen.
Wordt er geen werkelijk effect of verschil gevonden.
Zijn onze geobserveerde effecten even waarschijnlijk het gevolg van toeval.
De populatie begrijpen?
Praktische beperkingen in experimenteel ontwerp.
In neurowetenschappelijk onderzoek probeert een formeel inclusiecriterium doorgaans de kans op opname binnen de populatie te randomiseren en/of gelijk te maken om steekproeffouten te voorkomen. We moeten vermijden individuen te selecteren alleen omdat ze het dichtstbij of het gemakkelijkst toegankelijk zijn om gegevens van te verzamelen, want dat is het recept voor een steekproeffout.
De beste aanpak voor het samenstellen van een steekproefset is het gebruiken van inclusiecriteria die de kans op selectie over de gehele populatie willekeurig gelijkmaken. Met censusgegevens zouden we bijvoorbeeld contactinformatie kunnen verkrijgen van 50 willekeurig geselecteerde individuen in elk county van Ohio. Dit zou selectiebias minimaliseren omdat namen willekeurig en gelijkmatig uit alle geografische gebieden zouden worden gekozen.
Het opstellen van het experimentele ontwerp, het vergroten van de steekproefgrootte en het volledig realiseren van onbevooroordeelde, gerandomiseerde en gelijk toegepaste inclusiecriteria kan snel op praktische beperkingen stuiten. Dit is een probleem voor wetenschappelijk onderzoek op alle niveaus, van academische oefeningen tot volwaardige onderzoeksuniversiteiten. Meestal zijn budgettaire en tijdlijn-beperkingen de eerste die tot compromissen dwingen. Gezamenlijk zijn deze kwesties rond statistische significantie actieve onderzoeksgebieden.
Wat is de werkelijke effectgrootte?
Door de lage statistische power van neurowetenschappelijk onderzoek hebben we de neiging de werkelijke effectgrootte te overschatten, wat leidt tot de lage reproduceerbaarheid van veel studies. Bovendien maakt de inherente complexiteit van neurowetenschappelijk onderzoek statistische power cruciaal.
Een methode die het vakgebied kan toepassen, is de power van een studie verhogen door de steekproefgrootte te vergroten. Dit verhoogt de kans op het detecteren van een werkelijk effect. Het kiezen van een passende steekproefgrootte is essentieel voor het ontwerpen van onderzoek dat:
Praktische ontdekkingen oplevert.
Ons begrip van de ontelbare processen in de hersenen vergroot.
Effectieve therapieën ontwikkelt.
Uitdagingen in hedendaags neurowetenschappelijk onderzoek overwinnen: het EmotivLAB-platform
Experimentele ontwerpen in neurowetenschappelijk onderzoek zouden moeten streven naar grotere steekproefgroepen en betere inclusiecriteria om betrouwbare statistische significantie te bereiken. Met toegang tot een crowdsourcing-enabled platform zoals EmotivLAB krijgen onderzoekers toegang tot mogelijk veel diversere, veel representatievere proefpersonen - wat de steekproefgrootte en inclusiviteit van alle demografische groepen verbetert met minimale extra logistieke inspanning voor de onderzoeksgroepen.
Modern neurowetenschappelijk onderzoek kan kwetsbaar zijn voor steekproeffouten door beperkte beschikbare middelen om een diverse groep voor de experimentele steekproefset te werven. Het concept van de "WEIRD-groep" vat dit probleem samen. Het meeste universitair onderzoek wordt met een zeer beperkt budget uitgevoerd op proefpersonen die over het algemeen Westers, opgeleid en afkomstig zijn uit geïndustrialiseerde, rijke en democratische landen. Apparatuur voor dataverzameling op afstand, zoals het EEG-platform van EmotivLABs, stelt onderzoekers echter in staat verder te reiken dan de universiteitscampus om steekproefgroepen te werven die de populatie beter weerspiegelen.
Het platform van EmotivLABs en de EEG-apparatuur op afstand helpen onderzoekers niet alleen de diversiteit van individuen in experimentele steekproefgroepen uit te breiden. Het bemiddelt ook bij problemen rond de totale steekproefgrootte en het geografische bereik binnen doelpopulaties.
Het EmotivLABs-platform bevrijdt onderzoekers van de huidige beperkingen en stelt hen in plaats daarvan in staat hun energie te richten op het ontwerpen van experimenten en het analyseren van resultaten. Ons platform koppelt het experiment aan de meest geschikte individuen in de proefpersonenpool. Het is niet nodig tijd te besteden aan het werven van deelnemers, het coördineren en plannen ervan en het uitvoeren van dataverzameling in het lab. Het enige wat nodig is, is dat de gewenste demografie in het online platform wordt gespecificeerd, en EmotivLABs maakt het experiment beschikbaar voor bijdragers die het beste voldoen aan de gewenste parameters. Deelnemers kunnen de experimenten in hun eigen huis uitvoeren met hun eigen apparatuur. Hun vertrouwdheid met de headset maakt het overbodig dat onderzoekers instructies geven over het gebruik ervan.
Daarnaast biedt het EmotivLAB-platform geautomatiseerde kwaliteitscontrole en beoordeling van EEG-registratiegegevens. Grote hoeveelheden gegevens van lage kwaliteit helpen niet bij het overwinnen van steekproef- of statistische fouten in experimentele ontwerpen. Toegang tot meer hoogwaardige gegevens biedt echter wel een oplossing om fouten te helpen voorkomen in:
Steekproefneming
Populatie
Statistische significantie
Wil je meer weten over wat het EmotivLABs-platform voor jouw onderzoek kan doen?
EmotivLABS stelt je in staat je experiment op te bouwen, je experiment veilig en beveiligd uit te rollen, te werven uit een wereldwijd panel van geverifieerde deelnemers en EEG-gegevens van hoge kwaliteit te verzamelen, allemaal vanuit één platform. Klik hier om meer te leren of een demo aan te vragen.
