Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Gegevensverzameling op afstand: de oplossing voor WEIRD-steekproefgroepen
Mehul Nayak
-
Delen:
De meeste onderzoeksmethoden in de psychologie en neurowetenschappen vertrouwen op WEIRD-steekproefpopulaties (White, Educated, Industrialized, Rich, and Democratic). Dit creëert contextuele en culturele beperkingen. Als deze beperkingen niet worden erkend, dan is de generaliseerbaarheid van onderzoeksbevindingen naar de menselijke populatie beperkt. De grofmazige, WEIRD-benadering van onderzoek heeft geleid tot problematische toepassingen van behandelingen, therapieën en zelfs wetten.
Onderzoeksprogramma's die smalle steekproefsets gebruiken die uitsluitend uit WEIRD-deelnemers bestaan, kunnen schadelijk beleid en schadelijke praktijken creëren. Dit komt doordat ze gebaseerd kunnen zijn op bevindingen die mensen met ondervertegenwoordigde kenmerken uitsluiten. Een studie gepubliceerd in de Proceedings of the National Academy of Sciences wees uit dat 96% van de studies in zes toptijdschriften van de American Psychological Association steunde op WEIRD-steekproeven die slechts 12% van de kenmerken van de wereldbevolking vertegenwoordigden.
Wat dit probleem compliceert, is het feit dat ondervertegenwoordigde populaties in veel gevallen mogelijk geen minderheid zijn. Onderzoek suggereert dat WEIRD-individuen in veel psychologische metingen juist uitschieters zijn—waaronder ruimtelijk redeneren, visuele perceptie, inferentiële inductie en moreel redeneren.
Om de WEIRD-bias te helpen verminderen, kunnen onderzoekers gebruikmaken van online tools voor dataverzameling die toegang bieden tot mensen buiten een beperkt geografisch gebied. Door de potentiële steekproefpool uit te breiden voorbij lokaal bereikbare personen, kunnen platforms voor dataverzameling op afstand—zoals EmotivLABS—de demografische diversiteit en representatie in neurowetenschappelijk onderzoek vergroten. Deze toename in diversiteit vereist geen significante stijging van de kosten voor het werven van proefpersonen en kan op de lange termijn goedkoper zijn.
Het wereldwijd uitbreiden van de proefpersonenpool kan meer statistische power aan je onderzoek geven. Het kan het ook waarschijnlijker maken dat het wordt gereproduceerd — een belangrijk punt dat in eerdere berichten is besproken, 3 Approaches to Fix the Neuroscience Reproducibility Crisis en The Replication Crisis in Cognitive Neuroscience.
Platforms voor dataverzameling op afstand pakken het WEIRD-probleem in modern psychologisch, neurowetenschappelijk en sociaalwetenschappelijk onderzoek direct aan. Gezien de beschikbaarheid en toegankelijkheid van online technologie voor onderzoek op afstand, hebben psychologische laboratoria geen excuus om uitsluitend op WEIRD-steekproefpools te vertrouwen.
De problematische normalisering van WEIRD-populatiesteekproeven
De eerste stap bij het oplossen van een probleem is erkennen dat het bestaat. Mostafa Salari Rad et al. onderzochten psychologische onderzoeksrapporten in het tijdschrift Psychological Science. De auteurs beoordeelden 428 studies en codeerden deze op basis van de geografische herkomst van de steekproefgroep, opleidingsniveau, sociaaleconomische status/inkomen, ras/etniciteit, geslacht, wervingstechnieken en compensatie. De overgrote meerderheid van de onderzochte studies (94,15%) gebruikte uitsluitend westerse, Engelssprekende deelnemers.
Over het algemeen lijkt het erop dat onderzoekers hun onderzoeksmethodologieën niet hebben aangepast om het gebrek aan diversiteit en representatie in de steekproeven aan te pakken. Toegegeven, het aanpassen van het experimentele ontwerp en de methodologische aanpak van een lab kan vanuit tijds- en financieel perspectief belemmerend zijn.
Alleen al het rapporteren van details over steekproefdemografie en daar in conclusies rekening mee houden, kan zeker impactvol zijn en is bovendien veel minder kostbaar. Helaas is deze eenvoudige praktijk geen standaard geworden. Zo suggereerde een paper uit 2018 dat:
Meer dan 72% van de beoordeelde abstracts geen details bevatte over de onderzochte populatie.
83% geen statistische analyse uitvoerde van mogelijke effecten gerelateerd aan steekproefdiversiteit.
85% de potentiële impact van context/cultuur niet eens besprak.
Slechts 16% aanbeval dat toekomstig onderzoek over dit onderwerp in andere culturen of samenlevingen zou worden uitgevoerd.
Recenter onderzoek heeft vergelijkbare resultaten gerapporteerd—een gebrek aan diversiteit zonder erkenning van de mogelijke beperking ervan. E.Kate Webb and the National Center for Advancing Translational Sciences ontdekte dat neurowetenschappelijke hulpmiddelen (bijv. EEG) raciale bias in studies introduceren door proefpersonen uit te sluiten op basis van fenotypische verschillen in haartype en huidpigmentatie. Het doel, zoals Webb concludeert, is "racisme in wetenschappelijk werk uit te dagen en procedures en veranderingen voor te stellen die kunnen leiden tot eerlijkere wetenschap".
Overmatige afhankelijkheid van Amerikaanse studenten
Een belangrijke reden voor het voortbestaan van het WEIRD-probleem is een overmatige afhankelijkheid van Amerikaanse studenten als onderzoeksonderwerpen. In 2007 gebruikte 67% van de Amerikaanse studies gepubliceerd in het Journal of Personality en 20% in Psychological Science Amerikaanse studenten als proefpersonen. Dit is gebruikelijk omdat er een echte moeilijkheid bestaat bij het verzamelen van gediversifieerde proefpersonen. Vaak kost het proces van het selecteren, werven en compenseren van deelnemers meer tijd en energie dan het daadwerkelijk ontwerpen, uitvoeren en analyseren van de resultaten van experimenten. Dit betekent dat onderzoekers meer tijd besteden aan het organiseren van deelnemers dan aan het ontdekken van Insight over deelnemers.
De diversiteit van steekproefpools vergroten met online onderzoeksplatforms op afstand
Wereldwijde gemeenschappen
Het wordt snel standaardpraktijk om proefpersonen online te benaderen, te werven en te evalueren. Het gebruik van cloudgebaseerde onderzoeksplatforms bevrijdt onderzoekers van logistieke (advertentie, planning, registratie) en fysieke (locatie van deelnemers) obstakels, zodat zij meer middelen kunnen toewijzen aan hun daadwerkelijke onderzoek.
Deze platforms bevorderen kostenverlaging en verhoogde efficiëntie, terwijl onderzoekers toegang krijgen tot wereldwijde netwerken van steekproefpools die de culturele context van het onderzoek beter karakteriseren.
Verder gaan dan WEIRD-psychologieonderzoek
Het WEIRD-probleem roept moeilijke vragen op over onderzoeksbetrouwbaarheid, generaliseerbaarheid, validiteit en robuustheid. Deze studies proberen vaak onderzoeksvragen over mensen te beantwoorden, maar gebruiken individuen die minder dan 12% van de wereldbevolking vertegenwoordigen.
Verschillende aanbevelingen zijn gedaan om het WEIRD-probleem aan te pakken. Meestal omvatten deze aanbevelingen specifiekere rapportagevereisten van de redactieraden van wetenschappelijke tijdschriften. Gezien de noodzaak voor onderzoekers om hun onderzoek te publiceren, zouden er wijzigingen moeten komen in de indieningsvereisten: rapporten moeten meer gedetailleerde demografische informatie bevatten en hun resultaten bespreken binnen de context van de demografische kenmerken van de steekproef.
Logistieke en fysieke uitdagingen overwinnen met EmotivLABS
De meest genoemde voordelen van online neurowetenschappelijke of psychologische experimenten zijn onder meer een grotere steekproefomvang, snel gevarieerde demografische diversiteit en goedkope technologie.
EmotivLABS integreert veel van deze best practices, waaronder een certificeringsproces voor deelnemers die Emotiv EEG-headsets gebruiken, evenals datakwaliteitscontrole die machine learning gebruikt om signaalkwaliteit te verifiëren. Dit maakt het mogelijk om online experimenten uit te voeren die gegevens van hoge kwaliteit genereren. Daarnaast monitort Emotiv voortdurend het gebruik van het platform en werkt het samen met onderzoekers om regelmatige release-updates te informeren die zowel software als hardware verbeteren.
Gestroomlijnde selectie van proefpersonen
Individuen en onderzoekers hoeven elkaar niet langer persoonlijk te ontmoeten voor dataverzameling. EmotivLABS stroomlijnt de selectie, werving en compensatie van proefpersonen door elk experiment te koppelen aan de meest geschikte personen in de wereldwijde proefpersonenpool.
Onderzoekers kunnen demografische kenmerken specificeren in hun experimentele ontwerp, vergelijkbaar met de fijnmazige targetmogelijkheden van advertenties op sociale netwerken. Het experiment van de onderzoeker wordt automatisch beschikbaar gemaakt voor gecertificeerde personen die het beste overeenkomen met de gewenste specificaties. Het certificeringsproces zorgt ervoor dat gegevens die uit deze gemeenschap worden verzameld van hoge kwaliteit en volledig zijn.
Toegankelijkheid tot proefpersonen van verschillende leeftijden en etniciteiten zal de kracht van studies vergroten en meer nuance bieden bij het interpreteren van menselijke gegevens. Vanaf 2021 bestond EmotivLABS uit individuen uit meer dan 80 landen met diverse educatieve, beroepsmatige en sociaaleconomische profielen.
EmotivLABS stelt onderzoekers in staat deelnemers buiten de VS en andere westerse landen te bereiken; een cruciale factor bij het verminderen van het WEIRD-probleem.
Budgetteren met gemak
Emotiv's EEG-headsets zijn aanzienlijk goedkoper dan laboratoriumonderzoeksapparatuur en zijn eenvoudiger op te zetten. Persoonlijke gebruikers, of citizen scientists, hebben hun eigen EMOTIV-headsets, zodat onderzoekers deze niet zelf hoeven te leveren.
In eerste instantie uitten gevestigde onderzoekers scepsis over commerciële EEG-hardware en dataverzameling op afstand. Deze wetenschappers zijn zich als geen ander bewust van de uitdagingen bij het verzamelen van hoogwaardige, valide signaalgegevens in het lab wanneer proefpersonen direct onder hun toezicht staan. Talrijke onderzoeksteams hebben echter de validiteit van Emotiv EEG-headsets gerapporteerd. De meeste van deze validatiestudies rapporteren gelijkwaardige onderzoeksgegevens tussen Emotiv-systemen en laboratoriumsystemen. Dit ondersteunt Emotiv-headsets als een levensvatbaar alternatief voor dataverzameling van onderzoekskwaliteit.
Verken onaangeroerd onderzoek
Het gebruik van draagbare EEG-hardware stelt onderzoekers in staat nieuwe vragen over mensen te stellen, die wandelende, pratende wezens zijn die hun leven buiten het lab doorbrengen. Zo is het bestuderen van sociale cognitie in interacties in de echte wereld een wenselijker experimenteel ontwerp dan het gebruik van geïsoleerde individuen die binnen vastzitten en geïmmobiliseerd zijn. Bovendien worden longitudinale studies met deze flexibiliteit haalbaarder.
Uiteindelijk gaat het er niet alleen om dat experimenten worden uitgevoerd op beperkte, niet-representatieve proefpersonenpools.
De meeste gepubliceerde onderzoeksrapporten behandelen of detailleren de demografische kenmerken van hun proefpersonen niet eens, buiten leeftijd en geslacht.
Er is ook aangetoond dat WEIRD-proefpersonen vaak uitschieters zijn op het spectrum van menselijk gedrag. Met andere woorden: zij zijn de minst ideale steekproefgroep om Insight te krijgen in universele menselijke kenmerken.
Als best practices en inclusiviteit worden opgenomen in je experimentele ontwerp, kan online onderzoek eigenlijk impactvoller en relevanter zijn dan offline onderzoek in het lab. In beide gevallen moet het contextuele kader waarin de onderzoeksvraag/-vragen worden gesteld zorgvuldig worden overwogen.
Er zijn voor- en nadelen aan zowel online als offline studies, en de specifieke omstandigheden van de onderzoeksvraag/-vragen moeten de keuze van de onderzoeker bepalen.
Wil je meer weten over wat EmotivLABS voor je onderzoek kan doen?
Bouw je experiment met Emotiv’s Experiment Builder en zet het vervolgens uit naar EmotivLABS. Werf uit een wereldwijd panel van gecertificeerde deelnemers om EEG-gegevens van hoge kwaliteit te verzamelen, allemaal vanaf één platform. Klik hier voor meer informatie of om een demo aan te vragen.
De meeste onderzoeksmethoden in de psychologie en neurowetenschappen vertrouwen op WEIRD-steekproefpopulaties (White, Educated, Industrialized, Rich, and Democratic). Dit creëert contextuele en culturele beperkingen. Als deze beperkingen niet worden erkend, dan is de generaliseerbaarheid van onderzoeksbevindingen naar de menselijke populatie beperkt. De grofmazige, WEIRD-benadering van onderzoek heeft geleid tot problematische toepassingen van behandelingen, therapieën en zelfs wetten.
Onderzoeksprogramma's die smalle steekproefsets gebruiken die uitsluitend uit WEIRD-deelnemers bestaan, kunnen schadelijk beleid en schadelijke praktijken creëren. Dit komt doordat ze gebaseerd kunnen zijn op bevindingen die mensen met ondervertegenwoordigde kenmerken uitsluiten. Een studie gepubliceerd in de Proceedings of the National Academy of Sciences wees uit dat 96% van de studies in zes toptijdschriften van de American Psychological Association steunde op WEIRD-steekproeven die slechts 12% van de kenmerken van de wereldbevolking vertegenwoordigden.
Wat dit probleem compliceert, is het feit dat ondervertegenwoordigde populaties in veel gevallen mogelijk geen minderheid zijn. Onderzoek suggereert dat WEIRD-individuen in veel psychologische metingen juist uitschieters zijn—waaronder ruimtelijk redeneren, visuele perceptie, inferentiële inductie en moreel redeneren.
Om de WEIRD-bias te helpen verminderen, kunnen onderzoekers gebruikmaken van online tools voor dataverzameling die toegang bieden tot mensen buiten een beperkt geografisch gebied. Door de potentiële steekproefpool uit te breiden voorbij lokaal bereikbare personen, kunnen platforms voor dataverzameling op afstand—zoals EmotivLABS—de demografische diversiteit en representatie in neurowetenschappelijk onderzoek vergroten. Deze toename in diversiteit vereist geen significante stijging van de kosten voor het werven van proefpersonen en kan op de lange termijn goedkoper zijn.
Het wereldwijd uitbreiden van de proefpersonenpool kan meer statistische power aan je onderzoek geven. Het kan het ook waarschijnlijker maken dat het wordt gereproduceerd — een belangrijk punt dat in eerdere berichten is besproken, 3 Approaches to Fix the Neuroscience Reproducibility Crisis en The Replication Crisis in Cognitive Neuroscience.
Platforms voor dataverzameling op afstand pakken het WEIRD-probleem in modern psychologisch, neurowetenschappelijk en sociaalwetenschappelijk onderzoek direct aan. Gezien de beschikbaarheid en toegankelijkheid van online technologie voor onderzoek op afstand, hebben psychologische laboratoria geen excuus om uitsluitend op WEIRD-steekproefpools te vertrouwen.
De problematische normalisering van WEIRD-populatiesteekproeven
De eerste stap bij het oplossen van een probleem is erkennen dat het bestaat. Mostafa Salari Rad et al. onderzochten psychologische onderzoeksrapporten in het tijdschrift Psychological Science. De auteurs beoordeelden 428 studies en codeerden deze op basis van de geografische herkomst van de steekproefgroep, opleidingsniveau, sociaaleconomische status/inkomen, ras/etniciteit, geslacht, wervingstechnieken en compensatie. De overgrote meerderheid van de onderzochte studies (94,15%) gebruikte uitsluitend westerse, Engelssprekende deelnemers.
Over het algemeen lijkt het erop dat onderzoekers hun onderzoeksmethodologieën niet hebben aangepast om het gebrek aan diversiteit en representatie in de steekproeven aan te pakken. Toegegeven, het aanpassen van het experimentele ontwerp en de methodologische aanpak van een lab kan vanuit tijds- en financieel perspectief belemmerend zijn.
Alleen al het rapporteren van details over steekproefdemografie en daar in conclusies rekening mee houden, kan zeker impactvol zijn en is bovendien veel minder kostbaar. Helaas is deze eenvoudige praktijk geen standaard geworden. Zo suggereerde een paper uit 2018 dat:
Meer dan 72% van de beoordeelde abstracts geen details bevatte over de onderzochte populatie.
83% geen statistische analyse uitvoerde van mogelijke effecten gerelateerd aan steekproefdiversiteit.
85% de potentiële impact van context/cultuur niet eens besprak.
Slechts 16% aanbeval dat toekomstig onderzoek over dit onderwerp in andere culturen of samenlevingen zou worden uitgevoerd.
Recenter onderzoek heeft vergelijkbare resultaten gerapporteerd—een gebrek aan diversiteit zonder erkenning van de mogelijke beperking ervan. E.Kate Webb and the National Center for Advancing Translational Sciences ontdekte dat neurowetenschappelijke hulpmiddelen (bijv. EEG) raciale bias in studies introduceren door proefpersonen uit te sluiten op basis van fenotypische verschillen in haartype en huidpigmentatie. Het doel, zoals Webb concludeert, is "racisme in wetenschappelijk werk uit te dagen en procedures en veranderingen voor te stellen die kunnen leiden tot eerlijkere wetenschap".
Overmatige afhankelijkheid van Amerikaanse studenten
Een belangrijke reden voor het voortbestaan van het WEIRD-probleem is een overmatige afhankelijkheid van Amerikaanse studenten als onderzoeksonderwerpen. In 2007 gebruikte 67% van de Amerikaanse studies gepubliceerd in het Journal of Personality en 20% in Psychological Science Amerikaanse studenten als proefpersonen. Dit is gebruikelijk omdat er een echte moeilijkheid bestaat bij het verzamelen van gediversifieerde proefpersonen. Vaak kost het proces van het selecteren, werven en compenseren van deelnemers meer tijd en energie dan het daadwerkelijk ontwerpen, uitvoeren en analyseren van de resultaten van experimenten. Dit betekent dat onderzoekers meer tijd besteden aan het organiseren van deelnemers dan aan het ontdekken van Insight over deelnemers.
De diversiteit van steekproefpools vergroten met online onderzoeksplatforms op afstand
Wereldwijde gemeenschappen
Het wordt snel standaardpraktijk om proefpersonen online te benaderen, te werven en te evalueren. Het gebruik van cloudgebaseerde onderzoeksplatforms bevrijdt onderzoekers van logistieke (advertentie, planning, registratie) en fysieke (locatie van deelnemers) obstakels, zodat zij meer middelen kunnen toewijzen aan hun daadwerkelijke onderzoek.
Deze platforms bevorderen kostenverlaging en verhoogde efficiëntie, terwijl onderzoekers toegang krijgen tot wereldwijde netwerken van steekproefpools die de culturele context van het onderzoek beter karakteriseren.
Verder gaan dan WEIRD-psychologieonderzoek
Het WEIRD-probleem roept moeilijke vragen op over onderzoeksbetrouwbaarheid, generaliseerbaarheid, validiteit en robuustheid. Deze studies proberen vaak onderzoeksvragen over mensen te beantwoorden, maar gebruiken individuen die minder dan 12% van de wereldbevolking vertegenwoordigen.
Verschillende aanbevelingen zijn gedaan om het WEIRD-probleem aan te pakken. Meestal omvatten deze aanbevelingen specifiekere rapportagevereisten van de redactieraden van wetenschappelijke tijdschriften. Gezien de noodzaak voor onderzoekers om hun onderzoek te publiceren, zouden er wijzigingen moeten komen in de indieningsvereisten: rapporten moeten meer gedetailleerde demografische informatie bevatten en hun resultaten bespreken binnen de context van de demografische kenmerken van de steekproef.
Logistieke en fysieke uitdagingen overwinnen met EmotivLABS
De meest genoemde voordelen van online neurowetenschappelijke of psychologische experimenten zijn onder meer een grotere steekproefomvang, snel gevarieerde demografische diversiteit en goedkope technologie.
EmotivLABS integreert veel van deze best practices, waaronder een certificeringsproces voor deelnemers die Emotiv EEG-headsets gebruiken, evenals datakwaliteitscontrole die machine learning gebruikt om signaalkwaliteit te verifiëren. Dit maakt het mogelijk om online experimenten uit te voeren die gegevens van hoge kwaliteit genereren. Daarnaast monitort Emotiv voortdurend het gebruik van het platform en werkt het samen met onderzoekers om regelmatige release-updates te informeren die zowel software als hardware verbeteren.
Gestroomlijnde selectie van proefpersonen
Individuen en onderzoekers hoeven elkaar niet langer persoonlijk te ontmoeten voor dataverzameling. EmotivLABS stroomlijnt de selectie, werving en compensatie van proefpersonen door elk experiment te koppelen aan de meest geschikte personen in de wereldwijde proefpersonenpool.
Onderzoekers kunnen demografische kenmerken specificeren in hun experimentele ontwerp, vergelijkbaar met de fijnmazige targetmogelijkheden van advertenties op sociale netwerken. Het experiment van de onderzoeker wordt automatisch beschikbaar gemaakt voor gecertificeerde personen die het beste overeenkomen met de gewenste specificaties. Het certificeringsproces zorgt ervoor dat gegevens die uit deze gemeenschap worden verzameld van hoge kwaliteit en volledig zijn.
Toegankelijkheid tot proefpersonen van verschillende leeftijden en etniciteiten zal de kracht van studies vergroten en meer nuance bieden bij het interpreteren van menselijke gegevens. Vanaf 2021 bestond EmotivLABS uit individuen uit meer dan 80 landen met diverse educatieve, beroepsmatige en sociaaleconomische profielen.
EmotivLABS stelt onderzoekers in staat deelnemers buiten de VS en andere westerse landen te bereiken; een cruciale factor bij het verminderen van het WEIRD-probleem.
Budgetteren met gemak
Emotiv's EEG-headsets zijn aanzienlijk goedkoper dan laboratoriumonderzoeksapparatuur en zijn eenvoudiger op te zetten. Persoonlijke gebruikers, of citizen scientists, hebben hun eigen EMOTIV-headsets, zodat onderzoekers deze niet zelf hoeven te leveren.
In eerste instantie uitten gevestigde onderzoekers scepsis over commerciële EEG-hardware en dataverzameling op afstand. Deze wetenschappers zijn zich als geen ander bewust van de uitdagingen bij het verzamelen van hoogwaardige, valide signaalgegevens in het lab wanneer proefpersonen direct onder hun toezicht staan. Talrijke onderzoeksteams hebben echter de validiteit van Emotiv EEG-headsets gerapporteerd. De meeste van deze validatiestudies rapporteren gelijkwaardige onderzoeksgegevens tussen Emotiv-systemen en laboratoriumsystemen. Dit ondersteunt Emotiv-headsets als een levensvatbaar alternatief voor dataverzameling van onderzoekskwaliteit.
Verken onaangeroerd onderzoek
Het gebruik van draagbare EEG-hardware stelt onderzoekers in staat nieuwe vragen over mensen te stellen, die wandelende, pratende wezens zijn die hun leven buiten het lab doorbrengen. Zo is het bestuderen van sociale cognitie in interacties in de echte wereld een wenselijker experimenteel ontwerp dan het gebruik van geïsoleerde individuen die binnen vastzitten en geïmmobiliseerd zijn. Bovendien worden longitudinale studies met deze flexibiliteit haalbaarder.
Uiteindelijk gaat het er niet alleen om dat experimenten worden uitgevoerd op beperkte, niet-representatieve proefpersonenpools.
De meeste gepubliceerde onderzoeksrapporten behandelen of detailleren de demografische kenmerken van hun proefpersonen niet eens, buiten leeftijd en geslacht.
Er is ook aangetoond dat WEIRD-proefpersonen vaak uitschieters zijn op het spectrum van menselijk gedrag. Met andere woorden: zij zijn de minst ideale steekproefgroep om Insight te krijgen in universele menselijke kenmerken.
Als best practices en inclusiviteit worden opgenomen in je experimentele ontwerp, kan online onderzoek eigenlijk impactvoller en relevanter zijn dan offline onderzoek in het lab. In beide gevallen moet het contextuele kader waarin de onderzoeksvraag/-vragen worden gesteld zorgvuldig worden overwogen.
Er zijn voor- en nadelen aan zowel online als offline studies, en de specifieke omstandigheden van de onderzoeksvraag/-vragen moeten de keuze van de onderzoeker bepalen.
Wil je meer weten over wat EmotivLABS voor je onderzoek kan doen?
Bouw je experiment met Emotiv’s Experiment Builder en zet het vervolgens uit naar EmotivLABS. Werf uit een wereldwijd panel van gecertificeerde deelnemers om EEG-gegevens van hoge kwaliteit te verzamelen, allemaal vanaf één platform. Klik hier voor meer informatie of om een demo aan te vragen.
De meeste onderzoeksmethoden in de psychologie en neurowetenschappen vertrouwen op WEIRD-steekproefpopulaties (White, Educated, Industrialized, Rich, and Democratic). Dit creëert contextuele en culturele beperkingen. Als deze beperkingen niet worden erkend, dan is de generaliseerbaarheid van onderzoeksbevindingen naar de menselijke populatie beperkt. De grofmazige, WEIRD-benadering van onderzoek heeft geleid tot problematische toepassingen van behandelingen, therapieën en zelfs wetten.
Onderzoeksprogramma's die smalle steekproefsets gebruiken die uitsluitend uit WEIRD-deelnemers bestaan, kunnen schadelijk beleid en schadelijke praktijken creëren. Dit komt doordat ze gebaseerd kunnen zijn op bevindingen die mensen met ondervertegenwoordigde kenmerken uitsluiten. Een studie gepubliceerd in de Proceedings of the National Academy of Sciences wees uit dat 96% van de studies in zes toptijdschriften van de American Psychological Association steunde op WEIRD-steekproeven die slechts 12% van de kenmerken van de wereldbevolking vertegenwoordigden.
Wat dit probleem compliceert, is het feit dat ondervertegenwoordigde populaties in veel gevallen mogelijk geen minderheid zijn. Onderzoek suggereert dat WEIRD-individuen in veel psychologische metingen juist uitschieters zijn—waaronder ruimtelijk redeneren, visuele perceptie, inferentiële inductie en moreel redeneren.
Om de WEIRD-bias te helpen verminderen, kunnen onderzoekers gebruikmaken van online tools voor dataverzameling die toegang bieden tot mensen buiten een beperkt geografisch gebied. Door de potentiële steekproefpool uit te breiden voorbij lokaal bereikbare personen, kunnen platforms voor dataverzameling op afstand—zoals EmotivLABS—de demografische diversiteit en representatie in neurowetenschappelijk onderzoek vergroten. Deze toename in diversiteit vereist geen significante stijging van de kosten voor het werven van proefpersonen en kan op de lange termijn goedkoper zijn.
Het wereldwijd uitbreiden van de proefpersonenpool kan meer statistische power aan je onderzoek geven. Het kan het ook waarschijnlijker maken dat het wordt gereproduceerd — een belangrijk punt dat in eerdere berichten is besproken, 3 Approaches to Fix the Neuroscience Reproducibility Crisis en The Replication Crisis in Cognitive Neuroscience.
Platforms voor dataverzameling op afstand pakken het WEIRD-probleem in modern psychologisch, neurowetenschappelijk en sociaalwetenschappelijk onderzoek direct aan. Gezien de beschikbaarheid en toegankelijkheid van online technologie voor onderzoek op afstand, hebben psychologische laboratoria geen excuus om uitsluitend op WEIRD-steekproefpools te vertrouwen.
De problematische normalisering van WEIRD-populatiesteekproeven
De eerste stap bij het oplossen van een probleem is erkennen dat het bestaat. Mostafa Salari Rad et al. onderzochten psychologische onderzoeksrapporten in het tijdschrift Psychological Science. De auteurs beoordeelden 428 studies en codeerden deze op basis van de geografische herkomst van de steekproefgroep, opleidingsniveau, sociaaleconomische status/inkomen, ras/etniciteit, geslacht, wervingstechnieken en compensatie. De overgrote meerderheid van de onderzochte studies (94,15%) gebruikte uitsluitend westerse, Engelssprekende deelnemers.
Over het algemeen lijkt het erop dat onderzoekers hun onderzoeksmethodologieën niet hebben aangepast om het gebrek aan diversiteit en representatie in de steekproeven aan te pakken. Toegegeven, het aanpassen van het experimentele ontwerp en de methodologische aanpak van een lab kan vanuit tijds- en financieel perspectief belemmerend zijn.
Alleen al het rapporteren van details over steekproefdemografie en daar in conclusies rekening mee houden, kan zeker impactvol zijn en is bovendien veel minder kostbaar. Helaas is deze eenvoudige praktijk geen standaard geworden. Zo suggereerde een paper uit 2018 dat:
Meer dan 72% van de beoordeelde abstracts geen details bevatte over de onderzochte populatie.
83% geen statistische analyse uitvoerde van mogelijke effecten gerelateerd aan steekproefdiversiteit.
85% de potentiële impact van context/cultuur niet eens besprak.
Slechts 16% aanbeval dat toekomstig onderzoek over dit onderwerp in andere culturen of samenlevingen zou worden uitgevoerd.
Recenter onderzoek heeft vergelijkbare resultaten gerapporteerd—een gebrek aan diversiteit zonder erkenning van de mogelijke beperking ervan. E.Kate Webb and the National Center for Advancing Translational Sciences ontdekte dat neurowetenschappelijke hulpmiddelen (bijv. EEG) raciale bias in studies introduceren door proefpersonen uit te sluiten op basis van fenotypische verschillen in haartype en huidpigmentatie. Het doel, zoals Webb concludeert, is "racisme in wetenschappelijk werk uit te dagen en procedures en veranderingen voor te stellen die kunnen leiden tot eerlijkere wetenschap".
Overmatige afhankelijkheid van Amerikaanse studenten
Een belangrijke reden voor het voortbestaan van het WEIRD-probleem is een overmatige afhankelijkheid van Amerikaanse studenten als onderzoeksonderwerpen. In 2007 gebruikte 67% van de Amerikaanse studies gepubliceerd in het Journal of Personality en 20% in Psychological Science Amerikaanse studenten als proefpersonen. Dit is gebruikelijk omdat er een echte moeilijkheid bestaat bij het verzamelen van gediversifieerde proefpersonen. Vaak kost het proces van het selecteren, werven en compenseren van deelnemers meer tijd en energie dan het daadwerkelijk ontwerpen, uitvoeren en analyseren van de resultaten van experimenten. Dit betekent dat onderzoekers meer tijd besteden aan het organiseren van deelnemers dan aan het ontdekken van Insight over deelnemers.
De diversiteit van steekproefpools vergroten met online onderzoeksplatforms op afstand
Wereldwijde gemeenschappen
Het wordt snel standaardpraktijk om proefpersonen online te benaderen, te werven en te evalueren. Het gebruik van cloudgebaseerde onderzoeksplatforms bevrijdt onderzoekers van logistieke (advertentie, planning, registratie) en fysieke (locatie van deelnemers) obstakels, zodat zij meer middelen kunnen toewijzen aan hun daadwerkelijke onderzoek.
Deze platforms bevorderen kostenverlaging en verhoogde efficiëntie, terwijl onderzoekers toegang krijgen tot wereldwijde netwerken van steekproefpools die de culturele context van het onderzoek beter karakteriseren.
Verder gaan dan WEIRD-psychologieonderzoek
Het WEIRD-probleem roept moeilijke vragen op over onderzoeksbetrouwbaarheid, generaliseerbaarheid, validiteit en robuustheid. Deze studies proberen vaak onderzoeksvragen over mensen te beantwoorden, maar gebruiken individuen die minder dan 12% van de wereldbevolking vertegenwoordigen.
Verschillende aanbevelingen zijn gedaan om het WEIRD-probleem aan te pakken. Meestal omvatten deze aanbevelingen specifiekere rapportagevereisten van de redactieraden van wetenschappelijke tijdschriften. Gezien de noodzaak voor onderzoekers om hun onderzoek te publiceren, zouden er wijzigingen moeten komen in de indieningsvereisten: rapporten moeten meer gedetailleerde demografische informatie bevatten en hun resultaten bespreken binnen de context van de demografische kenmerken van de steekproef.
Logistieke en fysieke uitdagingen overwinnen met EmotivLABS
De meest genoemde voordelen van online neurowetenschappelijke of psychologische experimenten zijn onder meer een grotere steekproefomvang, snel gevarieerde demografische diversiteit en goedkope technologie.
EmotivLABS integreert veel van deze best practices, waaronder een certificeringsproces voor deelnemers die Emotiv EEG-headsets gebruiken, evenals datakwaliteitscontrole die machine learning gebruikt om signaalkwaliteit te verifiëren. Dit maakt het mogelijk om online experimenten uit te voeren die gegevens van hoge kwaliteit genereren. Daarnaast monitort Emotiv voortdurend het gebruik van het platform en werkt het samen met onderzoekers om regelmatige release-updates te informeren die zowel software als hardware verbeteren.
Gestroomlijnde selectie van proefpersonen
Individuen en onderzoekers hoeven elkaar niet langer persoonlijk te ontmoeten voor dataverzameling. EmotivLABS stroomlijnt de selectie, werving en compensatie van proefpersonen door elk experiment te koppelen aan de meest geschikte personen in de wereldwijde proefpersonenpool.
Onderzoekers kunnen demografische kenmerken specificeren in hun experimentele ontwerp, vergelijkbaar met de fijnmazige targetmogelijkheden van advertenties op sociale netwerken. Het experiment van de onderzoeker wordt automatisch beschikbaar gemaakt voor gecertificeerde personen die het beste overeenkomen met de gewenste specificaties. Het certificeringsproces zorgt ervoor dat gegevens die uit deze gemeenschap worden verzameld van hoge kwaliteit en volledig zijn.
Toegankelijkheid tot proefpersonen van verschillende leeftijden en etniciteiten zal de kracht van studies vergroten en meer nuance bieden bij het interpreteren van menselijke gegevens. Vanaf 2021 bestond EmotivLABS uit individuen uit meer dan 80 landen met diverse educatieve, beroepsmatige en sociaaleconomische profielen.
EmotivLABS stelt onderzoekers in staat deelnemers buiten de VS en andere westerse landen te bereiken; een cruciale factor bij het verminderen van het WEIRD-probleem.
Budgetteren met gemak
Emotiv's EEG-headsets zijn aanzienlijk goedkoper dan laboratoriumonderzoeksapparatuur en zijn eenvoudiger op te zetten. Persoonlijke gebruikers, of citizen scientists, hebben hun eigen EMOTIV-headsets, zodat onderzoekers deze niet zelf hoeven te leveren.
In eerste instantie uitten gevestigde onderzoekers scepsis over commerciële EEG-hardware en dataverzameling op afstand. Deze wetenschappers zijn zich als geen ander bewust van de uitdagingen bij het verzamelen van hoogwaardige, valide signaalgegevens in het lab wanneer proefpersonen direct onder hun toezicht staan. Talrijke onderzoeksteams hebben echter de validiteit van Emotiv EEG-headsets gerapporteerd. De meeste van deze validatiestudies rapporteren gelijkwaardige onderzoeksgegevens tussen Emotiv-systemen en laboratoriumsystemen. Dit ondersteunt Emotiv-headsets als een levensvatbaar alternatief voor dataverzameling van onderzoekskwaliteit.
Verken onaangeroerd onderzoek
Het gebruik van draagbare EEG-hardware stelt onderzoekers in staat nieuwe vragen over mensen te stellen, die wandelende, pratende wezens zijn die hun leven buiten het lab doorbrengen. Zo is het bestuderen van sociale cognitie in interacties in de echte wereld een wenselijker experimenteel ontwerp dan het gebruik van geïsoleerde individuen die binnen vastzitten en geïmmobiliseerd zijn. Bovendien worden longitudinale studies met deze flexibiliteit haalbaarder.
Uiteindelijk gaat het er niet alleen om dat experimenten worden uitgevoerd op beperkte, niet-representatieve proefpersonenpools.
De meeste gepubliceerde onderzoeksrapporten behandelen of detailleren de demografische kenmerken van hun proefpersonen niet eens, buiten leeftijd en geslacht.
Er is ook aangetoond dat WEIRD-proefpersonen vaak uitschieters zijn op het spectrum van menselijk gedrag. Met andere woorden: zij zijn de minst ideale steekproefgroep om Insight te krijgen in universele menselijke kenmerken.
Als best practices en inclusiviteit worden opgenomen in je experimentele ontwerp, kan online onderzoek eigenlijk impactvoller en relevanter zijn dan offline onderzoek in het lab. In beide gevallen moet het contextuele kader waarin de onderzoeksvraag/-vragen worden gesteld zorgvuldig worden overwogen.
Er zijn voor- en nadelen aan zowel online als offline studies, en de specifieke omstandigheden van de onderzoeksvraag/-vragen moeten de keuze van de onderzoeker bepalen.
Wil je meer weten over wat EmotivLABS voor je onderzoek kan doen?
Bouw je experiment met Emotiv’s Experiment Builder en zet het vervolgens uit naar EmotivLABS. Werf uit een wereldwijd panel van gecertificeerde deelnemers om EEG-gegevens van hoge kwaliteit te verzamelen, allemaal vanaf één platform. Klik hier voor meer informatie of om een demo aan te vragen.
