3 benaderingen om de reproduceerbaarheidscrisis in de neurowetenschap op te lossen:

1. Voer teststudies uit met de bedoeling het experiment opnieuw uit te voeren.

2. Zorg voor grotere steekproefgroepen.

3. Diversifieer uw steekproef door gebruik te maken van online vrijwilligersgemeenschappen.

Er is sprake van een uitvoerig beschreven reproduceerbaarheidscrisis in het moderne wetenschappelijke onderzoek, in het bijzonder in de cognitieve neurowetenschap. Dit betekent dat laboratoria voor cognitieve neurowetenschappen zelden de resultaten van experimentele tests reproduceren vanwege de kosten en logistiek van het werven van proefpersonen of het gebruik van hightech apparatuur zoals een fMRI.

Reproduceerbaarheid wordt in dit artikel gedefinieerd als een intern laboratoriumproces waarin het experimentele ontwerp verschuift van pilot/verkennende tests naar grotere, meer gecontroleerde experimentele tests die meerdere keren worden uitgevoerd. Bij goed ontworpen experimenten moeten de verzamelde gegevens en resultaten van elke test in staat zijn om:

• Samen te smelten tot een grotere dataset.

• Een grotere steekproefomvang te hebben.

• Een grote statistische power te hebben.

Deze factoren zorgen ervoor dat neurowetenschappelijke experimenten waardig zijn voor gepubliceerde onderzoeksrapporten, zodat andere laboratoria kunnen proberen de bevindingen te repliceren. Helaas gebeurt dit om verschillende redenen zelden.

Deze reproduceerbaarheidscrisis bedreigt de toekomst van de wetenschap omdat het tijd, moeite, middelen en expertise verspilt aan onderzoeken die niet zullen worden gerepliceerd. Zonder replicatie vervagen "grensverleggende" onderzoeken tot legendes en hebben ze zelden de impact op de wereld die was beloofd. Een analytisch rapport van de vice-president van Hematology and Oncology Research schatte dat het gebrek aan reproduceerbaarheid alleen al in de Verenigde Staten jaarlijks tot 28 miljard dollar kost. Deze fondsen worden uiteindelijk verspild aan preklinisch werk dat niet voldoet aan de normen van betrouwbare reproduceerbaarheid.

Om dit patroon te doorbreken, moeten we het eerst begrijpen. We kunnen beginnen met het herkennen van de huidige praktijken en cultuur binnen de neurowetenschap. In dit artikel worden het experimenteel ontwerp en de planning van tests besproken om verschillende manieren te bieden waarop uw laboratorium de experimentele reproduceerbaarheid kan verbeteren, zowel binnen het laboratorium (experimentele tests) als daarbuiten (het delen van open science-gegevens). Aan het einde weet u hoe bepaalde middelen de kosten en logistiek van het verkrijgen van steekproefgegevens en proefpersonen kunnen verminderen.

Voer het opnieuw uit!

Het is mogelijk om vertrouwen te krijgen in de reproduceerbaarheid van uw onderzoek.

Meestal beginnen de meeste experimentele ontwerpen met een pilot- of verkennend onderzoek met een kleinere steekproefomvang, afhankelijk van de aard van het experiment. In de cognitieve neurowetenschap is die initiële steekproefomvang gewoonlijk n < 20. Het doel hiervan is om er zeker van te zijn dat het experimentele effect dat u ziet een daadwerkelijk potentieel effect is, en om het gebruik van de extra middelen die een groter experiment vereist te rechtvaardigen. Deze onderzoeken zijn ook belangrijk om hun protocol te testen en te verfijnen.

Over het algemeen proberen onderzoekers in de cognitieve neurowetenschap een balans te vinden tussen de statistische power en de laagste kosten voor de steekproefomvang die redelijkerwijs haalbaar is in de pilotfase. Het doel van deze onderzoeken is om voorlopig statistisch bewijs te leveren voor de aanwezigheid van een effect. Deze onderzoeken zijn niet bedoeld voor onderzoeksrapporten of publicaties, maar eerder om een onderzoeksrichting te valideren, subsidieaanvragen te onderbouwen en te dienen als basis voor toekomstige onderzoeken.

Nadat pilot- of verkennende onderzoeken zijn voltooid in cognitieve neurowetenschappelijke experimenten, is de volgende stap "voer het opnieuw uit!". Met verschillende parameters in het vizier is het herhalen van het onderzoek een manier om de reproduceerbaarheidscrisis in experimentele gegevens van de cognitieve neurowetenschap te overwinnen. Een lage statistische power kan doorgaans worden overwonnen met een grotere steekproefomvang. Om een geschikte steekproefomvang te bepalen, heeft de Journal of Neuroscience in 2020 deze aanbevelingen gedaan. Net als veel concepten en principes in de cognitieve neurowetenschap hangt het af van de context en het beoogde doel van uw experimenten.

Nogmaals, deze initiële onderzoeken zijn niet bedoeld als gepubliceerde onderzoeksrapporten. Soms lijkt dat echter wel te gebeuren, en dat leidt tot een reproduceerbaarheidscrisis.

Grotere steekproefgroepen & Open Science

Krijg er vertrouwen in dat het effect dat u ziet een reëel effect met praktische significantie is.

De stap van een pilot naar experimentele tests die bedoeld zijn voor publicatie is doorgaans de volgende stap in het onderzoeksproces van een neurowetenschappelijk laboratorium.

Met dank aan het pilot-onderzoek hebben de onderzoekers vertrouwen in hun methodologie en lijkt er sprake te zijn van een reëel effect.

In deze fase:

• Ontwerpen zij het experiment met een grotere steekproefgroep.

• Moeten zij meer gegevens verzamelen.

• Voeren zij de experimentele test opnieuw uit.

Als statistische tests significant en niet-tegenstrijdig zijn, moeten neurowetenschappers nog meer bewijs verzamelen om er zeker van te zijn dat ze een reëel effect zien.

Open Science

In wetenschappelijke publicaties is er een groeiende beweging die "open science" wordt genoemd, waarbij de gegevens en analysescripts samen met het onderzoeksverslag worden gepubliceerd. In de cognitieve neurowetenschap is het Neuroscience Information Framework (NIF; neuinfo.org) een van de beste bronnen voor open neurowetenschappelijk onderzoek.

De Open Science-theorie omvat alle fasen van de onderzoekscyclus, waarin sprake is van een verbeterde transparantie bij het verzamelen, verwerken, opslaan en beoordelen van experimentele gegevens. De filosofie van transparantie in open science omvat ook experimentele ontwerpen - het delen van de details met de wetenschappelijke gemeenschap om de replicatie en reproduceerbaarheid van kernexperimenten in de neurowetenschap te verbeteren. Dergelijke methoden moedigen wetenschappers aan om hoogwaardig onderzoek te blijven produceren en gaan de groeiende replicatiecrisis in de cognitieve neurowetenschap tegen.

Groepen zoals EmotivLABs bouwen aan onderzoeksgemeenschappen binnen de cognitieve neurowetenschap die hen in staat stellen om experimentele ontwerpen te delen met andere onderzoekers.

Nu de reproduceerbaarheid crisis de wetenschappelijke gemeenschap blijft beïnvloeden, is de behoefte aan hoogwaardige, reproduceerbare onderzoeken groter dan ooit. Er bestaan verschillende ontwerpopties waarmee andere wetenschappers experimenten kunnen reproduceren. Deze opties geven neurowetenschappelijke onderzoekers de mogelijkheid om:

• Hun geschikte steekproefomvang te bepalen.

• Gebruik te maken van innovatieve, gevalideerde en betrouwbare hulpmiddelen voor gegevensanalyse.

• Te overleggen met vakgenoten en wetenschappelijke leiders.

• Snel gebruik te maken van de leidende principes van open science.

Diverse online vrijwilligersgemeenschappen

Een kleine steekproefomvang heeft een negatieve invloed op de validiteit en de reproduceerbaarheid van onderzoek, omdat de resultaten van een klein aantal deelnemers niet kunnen worden gegeneraliseerd naar de rest van de bevolking. Deze resultaten omvatten niet de neurodiversiteit van de samenleving. Daarom zijn hulpmiddelen voor gegevensverzameling op afstand de toekomst van inclusieve neurowetenschap.

EmotivLABs: Bouwen aan een cognitieve neurowetenschappelijke gemeenschap

Maak kennis met Emotiv

Emotiv, opgericht in 2011, is een in San Francisco gevestigd bio-informaticabedrijf met als missie onze kennis van het menselijk brein te vergroten met behulp van op maat gemaakte elektro-encefalografie (EEG)-hardware, analyse en visualisatie.

Samenwerking vormt de kern van open science. Het platform en de medewerkers van Emotiv streven ernaar de wetenschappelijke integriteit en experimentele nauwkeurigheid te bevorderen. Ons schaalbare onderzoeksplatform, EmotivLABs, verbindt cognitieve neurowetenschappers wereldwijd met een wereldwijde populatie van onderzoeksdeelnemers en onderzoekers. Omdat we de cumulatieve lineariteit van neurowetenschappelijk onderzoek erkennen, helpen we onderzoekers door uitgebreide, multidimensionale en rijke datasets aan te bieden, zodat u zinvolle conclusies kunt trekken uit een brede steekproef.

Vergroot de steekproefomvang van uw onderzoek

EmotivLABs bestrijdt de reproduceerbaarheidscrisis door onderzoekers in contact te brengen met gescreende, gekwalificeerde onderzoeksdeelnemers en de logistieke last van werving te verlichten, terwijl er voldoende statistische power wordt gegarandeerd.

Zorg ervoor dat uw werk veilig wordt opgeslagen, transformeerbaar en herstelbaar is

Een andere bedreiging voor de reproduceerbaarheid is analytische replicatie, waarvoor de originele dataset nodig is om resultaten te valideren. Het vinden en financieren van een veilige opslaglocatie is een moeizaam proces. EmotivLABs fungeert als gegevensdepot en slaat uw gegevens veilig op nadat deelnemers hun opnames hebben geüpload. Die gegevens worden automatisch geüpload en strikt gecodeerd in alle fasen van transport and opslag.

Processen stroomlijnen

Om onderzoekers te helpen bij het ontwerpen van cognitieve neurowetenschappelijke experimenten en het publiceren van onderzoeken die bijdragen aan de grotere wetenschappelijke gemeenschap, hebben we een robuuste, gestroomlijnde toolkit ontwikkeld, EmotivPRO, om innovatieve, reproduceerbare experimenten te genereren.

Onze expliciete instructies en transparante methoden fungeren als leidraad waarmee onderzoekers de oorspronkelijke bevindingen kunnen verifiëren. De intuïtieve en gebruiksvriendelijke Experiment Builder stelt andere onderzoekers die uw onderzoek willen reproduceren in staat dit te doen door een vooraf gemaakte sjabloon binnen het platform aan te bieden. Als alternatief kunnen deze cognitieve neurowetenschappelijk onderzoekers een uniek experiment creëren, waardoor ze elk detail vanaf nul kunnen aanpassen.

Emotiv-technologie

Emotiv heeft een reeks hulpmiddelen ontworpen om elke stap van het neurowetenschappelijk onderzoek te ondersteunen.

Met EmotivPRO-software kunnen gebruikers testresultaten verwerken, analyseren en visualiseren. Onderzoekers kunnen ook experimenten op professioneel niveau ontwerpen waaraan elke deelnemer met een Emotiv-headset kan deelnemen, mits voldaan wordt aan het experimentele ontwerp.

Er is ook een Software Development Kit (SDK) voor Emotiv beschikbaar, zodat aangepaste apps, interacties of experimentele ontwerpen onderweg kunnen worden uitgevoerd met alleen de headset en een smartphone.

Naarmate het aantal disciplines en commerciële markten dat neurowetenschappelijke hulpmiddelen en methodologieën omarmt toeneemt, worden de goedkope, gebruiksvriendelijke EEG-systemen van Emotiv gebruikt in:

• Neurowetenschappelijk onderzoek

• Marketinginitiatieven voor gezondheid en welzijn

• Automobielindustrieën

• Neuromarketing

• Consumentenonderzoek

• Educatie

• Entertainmentomgevingen

Bovendien kunnen onderzoekers, dankzij de kwaliteit, de kosten en de mogelijkheid om Emotiv-headsets wereldwijd te verzenden, personen werven en registreren die in aanmerking komen. Dankzij de statistieken voor kwaliteitscontrole die de verwerkingssoftware evalueert, kunnen onderzoekers ook vertrouwen op het proces van gegevensverzameling.

Wilt u meer weten over wat het EmotivLABs-platform voor uw onderzoek kan betekenen?

Met EmotivLABS kunt u uw experiment bouwen, uw experiment veilig implementeren, werven uit een wereldwijd panel van geverifieerde deelnemers en hoogwaardige EEG-gegevens verzamelen, allemaal vanaf één platform. Klik hier om meer te weten te komen of een demo aan te vragen.