De replicatiecrisis in de cognitieve neurowetenschap aanpakken om de statistische significantie te verbeteren.

In de cognitieve neurowetenschappen en het onderzoek naar sociaal gedrag is de EEG-onderzoeksmethodologie erop gericht de menselijke geest te begrijpen door de aard van de hersenactiviteit te bestuderen die gepaard gaat met verschillende activiteiten of externe omgevingen. Een belangrijke differentiator van EEG-onderzoek, nu er draadloze, draagbare EEG-headsets beschikbaar zijn, is het vermogen om longitudinale hersenactiviteit en sociaal gedrag te onderzoeken op echte locaties, in plaats van beperkt te zijn tot een laboratorium.

Wat is de replicatiecrisis?

De replicatiecrisis verwijst naar het feit dat onderzoekers de resultaten van experimenten van andere onderzoekers niet kunnen repliceren of reproduceren. Als gevolg hiervan kunnen hun bevindingen niet worden doorgetrokken van de steekproefgroep naar de algemene bevolking.

Helaas vormen kleine steekproefgroottes de kern van de huidige uitdagingen in neurowetenschappelijke inspanningen. Kleine steekproeven beïnvloeden de statistische significantie, maken het moeilijker om zinvolle conclusies te trekken en verergeren de ontluikende replicatiecrisis.

Omdat replicatie zo'n cruciale stap is in het wetenschappelijke proces, is het oplossen van deze replicatiecrisis dwingend noodzakelijk. Zo niet, dan ondermijnen empirische resultaten die niet kunnen worden gereproduceerd de geloofwaardigheid van de intellectuele theorieën in kwestie en bijgevolg ook alle therapieën, behandelingen of wetten die als resultaat van het proces tot stand komen.

Dit bericht geeft een overzicht van de replicatiecrisis en hoe deze van invloed is op het vermogen van neurowetenschappers om het volledige potentieel van verzamelde gegevens te ontsluiten om de echte wereld te begrijpen. Vervolgens zullen we introduceren hoe 21e-eeuwse technologie, zoals door AI ondersteund crowdsourced onderzoek, verlichting biedt voor de replicatiecrisis.

Het belang van reproduceerbaarheid in neurowetenschappelijk onderzoek

Modern empirisch onderzoek omvat zowel het verkrijgen als het analyseren van gegevens. Als zodanig vallen overwegingen over de reproduceerbaarheid ervan uiteen in twee vragen:

1. Reproduceerbaarheid: Beschikt uw experiment over de validatie van analyses en de nodige certificeringen voor de interpretatie van de gegevens?

2. Replicatie: Heeft uw experiment de capaciteit om herhaald te worden om nieuwe, onafhankelijke gegevens te verkrijgen?

Helaas is het antwoord op beide vragen in neurowetenschappelijk onderzoek 'nee'.

In 2016 ondervroeg Nature 1.576 onderzoekers en ontdekte dat meer dan 70% van de onderzoekers had geprobeerd het experiment van een andere wetenschapper te reproduceren, maar dat dit mislukte. En meer dan de helft slaagde er niet in hun eigen experimenten te reproduceren. Ondanks hun mislukkingen was slechts 52% van de onderzoekers het erover eens dat er sprake was van een crisis, terwijl 31% dacht dat de resultaten waarschijnlijk onjuist zijn.

Het onvermogen om onderzoeksresultaten te reproduceren is doorgaans te wijten aan de unieke aard van de experimentele omstandigheden die statistisch niet gecompenseerd of gedetecteerd kunnen worden. Alles, van het weer op die dag tot de individuele laboratoriumtechnicus die experimenten uitvoert en de analyses of statistische instrumenten die zijn ontwikkeld om experimentele resultaten te evalueren, kan unieke elementen bevatten die replicatie bemoeilijken.

Bovendien zijn de experimenten in het neurowetenschappelijk onderzoek, vanwege de beperkte middelen en expertise die ervoor nodig zijn, vaak onderbemonsterd en hebben ze al te maken met WEIRD (westerse, opgeleide, geïndustrialiseerde, rijke en democratische) beperkte bevolkingssteekproeven.

Waarom is replicatie in onderzoek belangrijk?

Logistieke beperkingen, zoals wervingsproblemen, de beperking tot een laboratorium en kleine steekproefgroottes, hebben ertoe geleid dat onderzoekers vertrouwden op erfenissen van onderzoekspraktijken en -patronen. Als gevolg hiervan kunnen onderzoekers die sociaal gedrag in de echte wereld en persoonlijke informatie bestuderen, experimenten niet op diverse of creatieve wijze uitvoeren. Deze beperkingen hebben invloed gehad op het vermogen van neurowetenschappelijke onderzoekers om hun bevindingen te vertalen naar toepassingen in de echte wereld, zoals therapieën, behandelingen en zelfs wetten. Deze problemen, beperkingen van de steekproefgroep en beperkte mogelijkheden om in reële situaties te testen, vormen de kern van de replicatiecrisis.

Het onvermogen om experimentele resultaten in een laboratorium te repliceren maakt het moeilijk om conclusies te trekken met een grote statistische kracht. Wanneer er twijfel bestaat over de conclusies die uit experimentele resultaten worden getrokken, ondermijnt dit het vertrouwen in het hele systeem. Deze twijfel kan ook een negatieve weerslag hebben op de subsidieverlenende instanties die onderzoek moeten ondersteunen dat brede effecten heeft in de echte wereld.

Verbeterde reproduceerbaarheid komt vaak voort uit het bepalen van onderzoeksmethoden. Het repliceren van resultaten wordt verbeterd wanneer onderzoekers een strikte standaardisatie van gegevensverzameling, kwaliteitscontrole en analyseprocedures bereiken in experimenten met grotere steekproefgroepen.

In de afgelopen tien jaar hebben technologische innovaties op het gebied van crowdsourcingsoftware en -hardware onderzoekers in staat gesteld deze kernfunctionaliteiten van standaardisatie te bieden die de replicatiecrisis, het probleem van de statistische kracht en de reproduceerbaarheidscrisis aanpakken.

Crowdsourcing in de onderzoekspraktijk

Wereldwijd gaan voor meer proefpersonen met gecrowdsourced onderzoek

Crowdsourcing-technologie heeft zich de afgelopen twintig jaar snel ontwikkeld. Het is een aanpak die de onderzoeker in staat stelt om veel meer gegevens van individuen te verzamelen via een wereldwijd verbonden netwerk. Denk bijvoorbeeld aan de vooruitgang die is geboekt op het gebied van spraakherkenning door computers. Decennialang stond dit onderzoek in feite stil totdat bedrijven als Google, Amazon en Apple de cumulatieve input van honderdduizenden internetgebruikers verzamelden. Met zo'n enorme dataset konden ze spraakherkenningssoftware verfijnen tot wat tegenwoordig algemeen wordt gebruikt in diensten van Google, Alexa en Siri.

Maar net als de meeste technologische innovaties is crowdsourcing aangepast aan diverse commerciële en wetenschappelijke onderzoekspraktijken. Zooniverse, Folding@Home en Seek van iNaturalist zijn drie van de meest bekende crowdsourcingplatforms.

Zooniverse is het grootste door mensen aangedreven onderzoeksplatform, met twee miljoen geregistreerde accounts. Mensen zijn uniek toegerust om patronen te herkennen, terwijl computers daar moeite mee hebben. Het grote publiek kan onderzoekers helpen bij het identificeren en classificeren van alles, van sterrenstelselvormen tot diersoorten. De Zooniverse-gemeenschap heeft bijgedragen aan vele ontdekkingen en iedereen kan zijn gegevens uploaden in een project dat openstaat voor de gemeenschap.

Andere populaire crowdsourcingplatforms zijn Folding@Home and Seek door iNaturalist. Folding@Home leent computerkracht terwijl de screensaver actief is, om de vorm en interactiemogelijkheden te berekenen van eiwitten die zijn vertaald uit DNA-codes. Seek van iNaturalist is een mobiele telefoonapplicatie die het geslacht en de soort van elke plant of dier identificeert via de camera.

Wat betreft gegevensverzameling uploadt Seek dagelijks gemiddeld bijna 200.000 afbeeldingen. Eenmaal geüpload, heeft een gemeenschap van meer dan twee miljoen wetenschappers en burgerwetenschappers interactie met de gegevens als data-kwaliteitsanalisten, die suggesties doen voor en de nauwkeurigheid van identificatie bevestigen.

Crowdsourcing en neurowetenschappen waren altijd al voor elkaar bestemd

Crowdsourcing-onderzoek is een manier om de praktische betekenis van experimenten te verbeteren. Het brengt individuen samen die er belang bij hebben bij te dragen aan onderzoek en onderzoekers te helpen impact te maken. Met crowdsourcing neemt de statistische kracht van deze onderzoeksmethoden toe. Onderzoekers hebben meer kans om een statistisch significant verschil te detecteren wanneer dit bestaat, omdat er een grote steekproefomvang is om voldoende statistische kracht te garanderen.

Recente ontwikkelingen in crowdsourcingtechnologie en hoogwaardige, draagbare EEG-headsets en -apparatuur van onderzoekskwaliteit bieden hoop om de replicatiecrisis op te lossen. Het crowdsourcen van gegevens van onderzoekskwaliteit van duizenden diverse en verspreide individuen lijkt inderdaad meer substantiële statistische kracht te bieden aan onderzoekspraktijken. Om de meest prangende innovatie- en onderzoeksvragen te beantwoorden, wordt de crowd de partner bij uitstek.

Hoewel er nog enige discussie bestaat over de replicatiecrisis, heeft Emotiv het probleem eerder geherformuleerd als een kans — een uitdaging die het proberen waard is — en hebben ze aanzienlijke vooruitgang geboekt om precies dat te doen. Om de replicatiecrisis in de cognitieve neurowetenschap aan te pakken, heeft Emotiv een schaalbaar gedistribueerd neurowetenschappelijk onderzoeksplatform ontwikkeld met de naam EmotivLABS.

De replicatiecrisis voorblijven met EmotivLABS

We kunnen ons onderzoek versnellen door samen te werken.

EmotivLABS is het schaalbare gedistribueerde onderzoeksplatform van Emotiv. Deelnemers van over de hele wereld kunnen deelnemen aan neurowetenschappelijk onderzoek met hun eigen Emotiv EEG-headsets en worden betaald voor hun bijdrage.

Een integraek onderdeel van het platform zijn de geavanceerde processen voor kwaliteitsborging die ervoor zorgen dat onderzoekers hoogwaardige gegevens van onderzoekskwaliteit van de deelnemers verkrijgen. Gebruikers moeten een certificeringsproces doorlopen: aantonen dat ze weten hoe hun headset werkt en dat ze EEG-gegevens van hoge kwaliteit kunnen verkrijgen. Eenmaal gecertificeerd, kunnen gebruikers deelnemen aan neurowetenschappelijke onderzoeksexperimenten op het platform en in sommige gevallen zelfs een vergoeding ontvangen.

Naast ruwe EEG hebben onderzoekers ook toegang tot bandvermogensgegevens en een reeks algoritmen voor affect- en cognitieve detectie, waaronder aandacht, frustratie, interesse, ontspanning, betrokkenheid, opwinding en cognitieve stress.

Onderzoeksexperimenten kunnen worden gebouwd met behulp van Emotiv's Experiment Builder en vervolgens worden geïmplementeerd in EmotivLABS. Maak verbinding met en werf deelnemers uit een wereldwijd panel van gecertificeerde deelnemers, en verzamel hoogwaardige EEG-gegevens op één platform.

De EEG-headsets van Emotiv, in combinatie met EmotivLABS, pakken de drie belangrijkste problemen van de replicatiecrisis aan: wervingslogistiek, statistische significantie en toegang tot een meer diverse, inclusieve demografie.

Uiteindelijk, naarmate het aantal disciplines en commerciële markten die neurowetenschappelijke instrumenten en methodologieën omarmen toeneemt, worden de goedkope headsets van onderzoekskwaliteit van Emotiv gebruikt in neurowetenschappelijk onderzoek, gezondheid en welzijn, de auto-industrie, neuromarketing, consumentenonderzoek, onderwijs en entertainmentomgevingen.

Uiteindelijk stelden innovaties in de neurotechnologie van deze omvang ons in staat om meer inzicht te krijgen in ons emotionele en intellectuele leven. Kennis die ooit buiten bereik was vanwege geërfde experimentele ontwerpen en onderzoekspraktijken. Het toepassen van dergelijke inzichten zal ons meer controle geven bij het bewust aanpassen van ons persoonlijke en professionele leven om prestaties te maximaliseren en onze aangeboren vermogens persoonlijk en in onze relaties met anderen te verrijken.

Lees hier meer over hoe u uw onderzoek kunt verbeteren.

Meer informatie over Emotiv

Emotiv, opgericht in 2011, is een in San Francisco gevestigd bio-informaticabedrijf met als missie ons begrip van het menselijk brein te vergroten met behulp van op maat gemaakte elektro-encefalografie (EEG) hardware, analyse en visualisatie.

De kern van open wetenschap is samenwerking. Het onderzoeksplatform en de medewerkers van Emotiv streven naar wetenschappelijke integriteit en experimentele nauwgezetheid. Emotiv's schaalbare onderzoeksplatform, EmotivLABS, verbindt cognitieve neurowetenschappers wereldwijd met een wereldwijde populatie van onderzoeksdeelnemers en onderzoekers. Omdat we de additieve lineariteit van neurowetenschappelijk onderzoek erkennen, helpen we onderzoekers door uitgebreide, multidimensionale, rijke datasets aan te bieden, zodat u zinvolle conclusies kunt trekken uit een brede steekproef.

Emotiv Headsets

Emotiv Insight

Emotiv bedient een brede gemeenschap van gebruikers, van professionals tot individuen die simpelweg over hun hersenen willen leren. Emotiv Insight is een 5-kanaals EEG-headset ontworpen voor brain-computer interface (BCI). Insight combineert een strak, eenvoudig in te stellen ontwerp met revolutionaire sensortechnologie.

Emotiv EPOC X en EPOC Flex

Emotiv Epoc X is een 14-kanaals EEG-headset en Flex is een 32-kanaals EEG-systeem. De EPOC-headsets zijn ontworpen voor neurowetenschappelijk onderzoek in elke omgeving en zijn draadloos met verbeterde sensortechnologie. Beide headsets zijn gevalideerd door onafhankelijke onderzoeksgroepen en hebben bewezen gegevens van hoge, onderzoeksmatige kwaliteit te leveren.

Een volledige vergelijking van de technische mogelijkheden van de EEG-headsets van Emotiv is beschikbaar op de website van Emotiv.

Emotiv-technologie

Emotiv heeft een reeks tools ontworpen om elke stap van het neurowetenschappelijk onderzoek te ondersteunen.
Met de EmotivPRO-software kunnen gebruikers testresultaten verwerken, analyseren en visualiseren. Onderzoekers kunnen ook experimenten ontwerpen op professioneel niveau waaraan elke deelnemer met een Emotiv-headset kan deelnemen, mits deze voldoet aan het experimentele ontwerp.

Er is ook een Software Development Kit (SDK) voor Emotiv beschikbaar, zodat aangepaste apps, interacties of experimentele ontwerpen onderweg kunnen worden uitgevoerd met alleen de headset en een smartphone.

Naarmate het aantal disciplines en commerciële markten die neurowetenschappelijke instrumenten en methodologieën omarmen toeneemt, worden de goedkope, gebruiksvriendelijke EEG-headsets van Emotiv gebruikt in:

• Neurowetenschappelijk onderzoek

• Gezondheid en welzijn

• Automobielindustrieën

• Neuromarketing

• Consumentenonderzoek

• Onderwijs

• Entertainmentomgevingen

• }