De meeste psychologische en neurowetenschappelijke onderzoeksmethoden zijn gebaseerd op WEIRD (witte, hoogopgeleide, geïndustrialiseerde, rijke en democratische) steekproefpopulaties. Dit zorgt voor contextuele en culturele beperkingen. Als deze beperkingen niet worden erkend, is de generaliseerbaarheid van onderzoeksresultaten naar de menselijke populatie beperkt. De brede WEIRD-benadering van onderzoek heeft geleid tot problematische toepassingen van behandelingen, therapieën en zelfs wetten.

Onderzoeksprogramma's die gebruikmaken van nauwe steekproeven die uitsluitend bestaan uit WEIRD-deelnemers, kunnen leiden tot schadelijk beleid en schadelijke praktijken. Dit komt doordat ze gebaseerd kunnen zijn op bevindingen die mensen met ondervertegenwoordigde kenmerken uitsluiten. Een studie gepubliceerd in de Proceedings of the National Academy of Sciences toonde aan dat 96% van de onderzoeken in zes toonaangevende tijdschriften van de American Psychological Association gebaseerd was op WEIRD-steekproeven die slechts 12% van de wereldwijde populatiekenmerken vertegenwoordigden.

Dit probleem wordt nog gecompliceerder door het feit dat ondervertegenwoordigde populaties in veel gevallen geen minderheid vormen. Onderzoek suggereert dat WEIRD-individuen in feite uitschieters zijn in veel psychologische metingen — inclusief ruimtelijk inzicht, visuele perceptie, inferentiële inductie en moreel redeneren.

Om de WEIRD-bias te helpen verminderen, kunnen onderzoekers gebruikmaken van online tools voor gegevensverzameling die toegang bieden tot mensen buiten een beperkt geografisch gebied. Door de potentiële steekproefpool uit te breiden tot buiten lokaal toegankelijke individuen, kunnen platforms voor gegevensverzameling op afstand — zoals EmotivLABS — de demografische diversiteit en vertegenwoordiging in neurowetenschappelijk onderzoek vergroten. Deze toename van diversiteit vereist geen significante verhoging van de kosten voor de werving van proefpersonen en kan op de lange termijn zelfs goedkoper zijn.

Het wereldwijd uitbreiden van de proefpersonenpool kan uw onderzoek meer statistische kracht geven. Het kan er ook voor zorgen dat het makkelijker gereproduceerd kan worden — een belangrijk onderwerp dat besproken is in eerdere berichten, zoals '3 Approaches to Fix the Neuroscience Reproducibility Crisis' en 'The Replication Crisis in Cognitive Neuroscience'.

Platforms voor gegevensverzameling op afstand pakken het WEIRD-probleem in het moderne psychologische, neurowetenschappelijke en sociaalwetenschappelijke onderzoek rechtstreeks aan. Gezien de beschikbaarheid en toegankelijkheid van online onderzoekstechnologie op afstand, hebben psychologische laboratoria geen excuus om uitsluitend te vertrouwen op WEIRD-steekproefpools.

De problematische normalisering van WEIRD-populatiesteekproeven

De eerste stap bij het oplossen van een probleem is erkennen dat het bestaat. Mostafa Salari Rad et al. onderzochten psychologische onderzoeksrapporten in het tijdschrift Psychological Science. De auteurs beoordeelden 428 studies en codeerden deze op basis van de geografische herkomst, het opleidingsniveau, de sociaal-economische status/het inkomen, ras/etniciteit, geslacht, wervingsmethoden en compensatie van de steekproefgroep. De overgrote meerderheid van de onderzochte studies (94,15%) maakte uitsluitend gebruik van westerse, Engelstalige deelnemers.

Over het algemeen bleek dat onderzoekers hun onderzoeksmethodologieën niet aanpasten om het gebrek aan diversiteit en vertegenwoordiging in de steekproeven aan te pakken. Toegegeven, het aanpassen van het experimentele ontwerp en de methodologische benadering van een laboratorium kan vanuit het oogpunt van tijd en financiën onbetaalbaar zijn.

Het simpelweg rapporteren van details over de demografie van de steekproef en hiermee rekening houden in de conclusies kan zeker impact hebben en is tevens veel goedkoper. Helaas is deze eenvoudige praktijk nog geen standaard geworden. Een artikel uit 2018 suggereerde bijvoorbeeld dat:

• Meer dan 72% van de beoordeelde samenvattingen geen details bevatte over de onderzochte populatie.

• 83% geen statistische analyse uitvoerde naar mogelijke effecten die verband houden met de diversiteit van de steekproef.

• 85% de potentiële effecten van context/cultuur niet eens besprak.

• Slechts 16% aanbeval om in de toekomst onderzoek te doen naar het onderwerp in andere culturen of samenlevingen.

Recenter onderzoek heeft vergelijkbare resultaten gerapporteerd — een gebrek aan diversiteit zonder erkenning van de potentiële beperking daarvan. E. Kate Webb en het National Center for Advancing Translational Sciences ontdekten dat neurowetenschappelijke instrumenten (bijv. EEG) raciale bias in onderzoeken introduceren door proefpersonen uit te sluiten op basis van fenotypische verschillen in haartype en huidpigmentatie. Het doel, zo concludeert Webb, is "om racisme in wetenschappelijk werk aan te vechten en procedures en veranderingen voor te stellen die kunnen leiden tot rechtvaardigere wetenschap".

Overmatige afhankelijkheid van Amerikaanse studenten

Een belangrijke reden voor het voortbestaan van het WEIRD-probleem is een overmatige afhankelijkheid van Amerikaanse studenten als proefpersonen. In 2007 maakte 67% van de in het Journal of Personality gepubliceerde Amerikaanse studies en 20% in Psychological Science gebruik van Amerikaanse studenten als proefpersonen. Dit is gebruikelijk omdat het echt moeilijk is om een diverse groep proefpersonen bijeen te krijgen. Vaak kost het proces van selecteren, werven en compenseren van deelnemers meer tijd en energie dan het daadwerkelijk ontwerpen, uitvoeren en analyseren van de resultaten van experimenten. Dit betekent dat onderzoekers meer tijd besteden aan het organiseren van deelnemers dan aan het ontdekken van inzichten over hen.

De diversiteit van steekproefpools vergroten met online onderzoeksplatforms op afstand

Wereldwijde gemeenschappen

Het online benaderen, werven en evalueren van proefpersonen wordt snel de standaardpraktijk. Het gebruik van cloudgebaseerde onderzoeksplatforms bevrijdt onderzoekers van logistieke (advertenties, planning, registratie) en fysieke (locatie van deelnemers) obstakels, zodat ze meer middelen aan hun eigenlijke onderzoek kunnen besteden.

Deze platforms bevorderen kostenbesparing en verhoogde efficiëntie, terwijl ze onderzoekers toegang geven tot wereldwijde netwerken van proefpersonen die de culturele context van het onderzoek beter karakteriseren.

Verder gaan dan WEIRD psychologische onderzoeken

Het WEIRD-probleem roept moeilijke vragen op over de betrouwbaarheid, generaliseerbaarheid, validiteit en robuustheid van onderzoek. Deze onderzoeken proberen vaak onderzoeksvragen over mensen te beantwoorden, maar maken gebruik van individuen die minder dan 12% van de wereldbevolking vertegenwoordigen.

Er zijn verschillende aanbevelingen gedaan om het WEIRD-probleem aan te pakken. Meestal houden deze aanbevelingen specifiekere rapportage-eisen in van de redacties van wetenschappelijke tijdschriften. Gezien de noodzaak voor onderzoekers om hun onderzoek te publiceren, zouden er wijzigingen moeten komen in de indieningsvereisten: rapporten moeten gedetailleerdere demografische informatie bevatten en de resultaten bespreken binnen de context van de demografische kenmerken van de steekproef.

Logistieke and fysieke uitdagingen overwinnen met EmotivLABS

De meest genoemde voordelen van online neurowetenschappelijke of psychologische experimenten zijn onder meer een grotere steekproefomvang, een snelle variatie in demografische diversiteit en goedkope technologie.

EmotivLABS integreert veel van deze best practices, waaronder een certificeringsproces voor deelnemers die Emotiv EEG-headsets gebruiken, evenals een datakwaliteitscontrole die gebruikmaakt van machine learning om de signaalkwaliteit te verifiëren. Hierdoor kunnen onderzoekers online experimenten uitvoeren die gegevens van hoge kwaliteit opleveren. Bovendien monitort Emotiv voortdurend het platformgebruik en werkt het samen met onderzoekers om regelmatige updates uit te brengen die zowel de software als de hardware verbeteren.

Gestroomlijnde selectie van proefpersonen

Individuen en onderzoekers hoeven elkaar niet langer persoonlijk te ontmoeten voor gegevensverzameling. EmotivLABS stroomlijnt de selectie, werving en compensatie van proefpersonen door elk experiment te matchen met de meest geschikte individuen in de wereldwijde proefpersonenpool.

Onderzoekers kunnen demografische kenmerken specificeren in hun experimentele ontwerp, vergelijkbaar met de gedetailleerde targetingmogelijkheden van advertenties op sociale netwerken. Het experiment van de onderzoeker wordt automatisch beschikbaar gesteld aan gecertificeerde personen die het best overeenkomen met de gewenste specificaties. Het certificeringsproces zorgt ervoor dat de gegevens die uit deze gemeenschap worden verzameld van hoge kwaliteit en volledig zijn.

Toegankelijkheid tot proefpersonen van verschillende leeftijden en etniciteiten zal de kracht van onderzoeken vergroten en meer nuance aanbrengen in de interpretatie van menselijke gegevens. Vanaf 2021 bestond EmotivLABS uit individuen uit meer dan 80 landen met diverse opleidings-, beroeps- en sociaal-economische profielen.

EmotivLABS stelt onderzoekers in staat om deelnemers buiten de VS en andere westerse landen te bereiken; een cruciale factor in het verminderen van het WEIRD-probleem.

Eenvoudig budgetteren

De EEG-headsets van Emotiv zijn aanzienlijk goedkoper dan apparaten voor laboratoriumonderzoek en zijn eenvoudiger op te zetten. Persoonlijke gebruikers, of burgerwetenschappers, hebben hun eigen Emotiv-headsets, zodat onderzoekers deze niet zelf hoeven te leveren.

Aanvankelijk reageerden gevestigde onderzoekers sceptisch op commerciële EEG-hardware en gegevensverzameling op afstand. Deze wetenschappers zijn zich terdege bewust van de uitdagingen bij het verzamelen van hoogwaardige, valide signaalgegevens in het lab wanneer proefpersonen rechtstreeks onder hun toezicht staan. Talloze onderzoeksteams hebben echter de geldigheid van Emotiv EEG-headsets bevestigd. De meeste van deze validatiestudies rapporteren gelijkwaardige onderzoeksgegevens tussen Emotiv-systemen en laboratoriumsystemen. Dit ondersteunt Emotiv-headsets als een levensvatbaar alternatief voor het verzamelen van onderzoeksgegevens.

Ontdek onaangeraakt onderzoek

Het gebruik van draagbare EEG-hardware stelt onderzoekers in staat nieuwe vragen te stellen over mensen, die wandelende, pratende wezens zijn die hun leven buiten het laboratorium doorbrengen. Het bestuderen van sociale cognitie in realistische interacties is bijvoorbeeld een wenselijker experimenteel ontwerp dan het gebruik van geïsoleerde individuen die binnen vastzitten en geïmmobiliseerd zijn. Bovendien worden longitudinale studies met deze flexibiliteit haalbaarder.
Uiteindelijk is het probleem niet alleen dat experimenten worden uitgevoerd op beperkte, niet-representatieve proefpersonenpools.

De meeste gepubliceerde onderzoeksrapporten behandelen of detailleren de demografische kenmerken van hun proefpersonen niet eens verder dan leeftijd en geslacht.

Er is ook aangetoond dat WEIRD-proefpersonen vaak uitschieters zijn op het spectrum van menselijk gedrag. Met andere woorden, ze zijn de minst ideale steekproefgroep om inzicht te krijgen in universele menselijke kenmerken.

Als best practices en inclusiviteit in uw experimentele ontwerp worden opgenomen, kan online onderzoek daadwerkelijk meer impact hebben en relevanter zijn dan offline onderzoek in het laboratorium. In beide gevallen moet de contextuele structuur waarin de onderzoeksvraag of -vragen worden gesteld, zorgvuldig worden overwogen.
Er zijn voor- en nadelen aan zowel online als offline onderzoeken, en de specifieke omstandigheden van de onderzoeksvraag (of -vragen) zouden de keuze van de onderzoeker moeten bepalen.

Wilt u meer weten over wat EmotivLABS voor uw onderzoek kan betekenen?

Bouw uw experiment met de Experiment Builder van Emotiv en implementeer het vervolgens in EmotivLABS. Werf uit een wereldwijd panel van gecertificeerde deelnemers om EEG-gegevens van hoge kwaliteit te verzamelen, allemaal vanaf één platform. Klik hier voor meer informatie of om een demo aan te vragen.