Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
3 benaderingen om de reproduceerbaarheidscrisis in de neurowetenschap op te lossen
Quoc Minh Lai
-
Delen:
3 benaderingen om de reproduceerbaarheidscrisis in de neurowetenschap op te lossen:
Voer proefstudies uit met de intentie om het experiment opnieuw uit te voeren.
Zorg voor grotere steekproeven.
Diversifieer je steekproef door online vrijwilligersgemeenschappen te gebruiken.
Er is een goed beschreven reproduceerbaarheidscrisis in modern wetenschappelijk onderzoek, met name in de cognitieve neurowetenschap. Dat wil zeggen: door de kosten en logistiek van het verkrijgen van proefpersonen of het gebruik van hightechapparatuur zoals een fMRI reproduceren labs voor cognitieve neurowetenschap zelden de resultaten van experimentele proeven.
Reproduceerbaarheid wordt in deze post gedefinieerd als een intern laboratoriumproces waarin experimenteel ontwerp zich verplaatst van pilot-/verkennende, experimentele proeven naar grotere, meer gecontroleerde experimentele proeven die meerdere keren worden uitgevoerd. In goed ontworpen experimenten moeten de verzamelde gegevens en resultaten van elke proef in staat zijn om:
Samen te voegen tot een grotere dataset.
Een grotere steekproefomvang te hebben
Een hoge statistische power te hebben.
Deze factoren zorgen ervoor dat neurowetenschappelijke experimenten geschikt zijn voor gepubliceerde onderzoeksrapporten, zodat andere labs kunnen proberen de bevindingen te repliceren. Helaas gebeurt dit om verschillende redenen zelden.
Deze reproduceerbaarheidscrisis bedreigt de toekomst van de wetenschap omdat zij tijd, inspanning, middelen en expertise verspilt aan studies die niet zullen worden gerepliceerd. Zonder replicatie vervagen “baanbrekende” studies tot legendes en hebben ze zelden invloed op de wereld op de manier die werd beloofd. Een analytisch rapport van de vicepresident Onderzoek Hematologie en Oncologie schatte dat het gebrek aan reproduceerbaarheid alleen al in de Verenigde Staten tot 28 miljard dollar per jaar kost. Deze middelen worden uiteindelijk verspild aan preklinisch werk dat niet voldoet aan de norm van betrouwbare reproduceerbaarheid.
Om dit patroon te doorbreken, moeten we het eerst begrijpen. We kunnen beginnen met het herkennen van de huidige praktijken en cultuur binnen de neurowetenschap. Deze post bespreekt experimenteel ontwerp en proefplanning om verschillende manieren te bieden waarop jouw laboratorium de experimentele reproduceerbaarheid kan verbeteren, zowel binnen het lab (experimentele proeven) als buiten het lab (open-science-datadeling). Aan het einde weet je hoe bepaalde middelen de kosten en logistiek van het verkrijgen van steekproefdata en proefpersonen kunnen verlagen.
Doe het nog eens!
Het is mogelijk om vertrouwen te krijgen in de reproduceerbaarheid van je studie.
Meestal beginnen de meeste experimentele ontwerpen met een pilot- of verkennende studie met een kleinere steekproefomvang, afhankelijk van de aard van het experiment. In de cognitieve neurowetenschap is die initiële steekproefomvang meestal n < 20. Hun doel is om ervoor te zorgen dat het experimentele effect dat je ziet een echt potentieel effect is en om het gebruik van extra middelen te rechtvaardigen die een groter experiment vereist. Deze studies zijn ook belangrijk om hun protocol te testen en te verfijnen.
Over het algemeen proberen onderzoekers in de cognitieve neurowetenschap statistische power in balans te brengen met de kleinst mogelijke kostprijs van de steekproefomvang die redelijkerwijs in de pilotfase kan worden bereikt. Het doel van deze studies is om voorlopige statistische evidentie te leveren voor de aanwezigheid van een effect. Deze studies zijn niet bedoeld voor onderzoeksrapporten of publicaties, maar eerder om een onderzoekslijn te valideren, subsidieaanvragen te onderbouwen en als basis te dienen voor toekomstige studies.
Nadat pilot- of verkennende studies in cognitieve neurowetenschappelijke experimenten zijn afgerond, is de volgende stap om "het nog eens te doen!" Door met verschillende parameters in gedachten het onderzoek opnieuw uit te voeren, kan de reproduceerbaarheidscrisis in experimentele data van de cognitieve neurowetenschap worden aangepakt. Lage statistische power kan doorgaans worden overwonnen met een grotere steekproefomvang. Om een geschikte steekproefomvang te bepalen, deed het Journal of Neuroscience in 2020 deze aanbevelingen. Net als bij veel concepten en principes in de cognitieve neurowetenschap hangt het af van de context en het beoogde doel van je experimenten.
Opnieuw: deze initiële studies zijn niet bedoeld om als onderzoeksrapporten te worden gepubliceerd. Toch lijkt dat soms wel te gebeuren, en dat leidt tot een reproduceerbaarheidscrisis.
Grotere steekproeven & Open Science
Verkrijg vertrouwen dat het effect dat je ziet een echt effect met praktische significantie is.
De volgende stap in het onderzoeksproces van een neurowetenschappelijk laboratorium is meestal de overgang van pilotstudies naar experimentele proeven die bedoeld zijn voor publicatie.
Dankzij de pilotstudie hebben de onderzoekers vertrouwen in hun methodologie en lijkt er sprake te zijn van een echt effect.
In deze fase:
Ontwerpen ze het experiment met een grotere steekproef.
Moeten ze meer data verzamelen.
Voeren ze de experimentele proef opnieuw uit.
Als statistische tests significant en niet tegenstrijdig zijn, moeten neurowetenschappers nog meer bewijs verzamelen om er zeker van te zijn dat ze een echt effect waarnemen.
Open Science
In onderzoekspublicaties is er een groeiende beweging die "open science" wordt genoemd, waarbij de data en analysescripts samen met het onderzoeksverhaal worden gepubliceerd. In de cognitieve neurowetenschap is een van de beste bronnen voor open neurowetenschappelijk onderzoek het Neuroscience Information Framework (NIF; neuinfo.org).
De theorie van Open Science omvat alle fasen van de onderzoekscyclus, waarin er meer transparantie zou zijn in het verzamelen, verwerken, opslaan en beoordelen van experimentele data. De filosofie van transparantie in open science omvat ook experimentele ontwerpen — het delen van de details met de wetenschappelijke gemeenschap om replicatie en reproduceerbaarheid van kernexperimenten in de neurowetenschap te verbeteren. Dergelijke methoden moedigen wetenschappers aan om onderzoek van hoog kaliber te blijven produceren en de groeiende replicatiecrisis in de cognitieve neurowetenschap te bestrijden.
Groepen zoals EmotivLABs bouwen aan onderzoeksgemeenschappen in de cognitieve neurowetenschap die hen in staat stellen experimentele ontwerpen met andere onderzoekers te delen.
Nu de reproduceerbaarheidscrisis de wetenschappelijke gemeenschap blijft beïnvloeden, is de behoefte aan hoogwaardige, reproduceerbare onderzoeksstudies nog nooit zo groot geweest. Er bestaan verschillende ontwerpopties om andere wetenschappers in staat te stellen experimenten te reproduceren. Deze opties geven neurowetenschappelijke onderzoekers de mogelijkheid om:
Hun geschikte steekproefomvang te bepalen.
Innovatieve, gevalideerde, betrouwbare tools voor data-analyse te gebruiken.
Te overleggen met collega’s en wetenschappelijke leiding.
Snel de leidende principes van open science toe te passen.
Diverse externe vrijwilligersgemeenschappen
Een kleine steekproefomvang heeft een negatieve invloed op de validiteit en reproduceerbaarheid van onderzoek, omdat de resultaten die met enkele deelnemers worden gegenereerd niet kunnen worden gegeneraliseerd naar de rest van de populatie. Deze resultaten omvatten niet de neurodiversiteit van de samenleving. Daarom zijn tools voor gegevensverzameling op afstand de toekomst van inclusieve neurowetenschap.
EmotivLABs: een gemeenschap voor cognitieve neurowetenschap opbouwen
Maak kennis met EMOTIV
EMOTIV, opgericht in 2011, is een bio-informatica bedrijf gevestigd in San Francisco met als missie ons begrip van het menselijk brein te vergroten met behulp van op maat gemaakte elektro-encefalografie (EEG)-hardware, analyse en visualisatie.
Samenwerking staat centraal in open science. Het platform en de medewerkers van Emotiv streven ernaar wetenschappelijke integriteit en experimentele nauwkeurigheid te bevorderen. Ons schaalbare onderzoeksplatform, EmotivLABs, verbindt cognitieve neurowetenschappers wereldwijd met een wereldwijde populatie van onderzoeksdeelnemers en onderzoekers. Erkennend dat neurowetenschappelijk onderzoek additief en lineair is, helpen we onderzoekers door uitgebreide, multidimensionale, rijke datasets te leveren, zodat je betekenisvolle conclusies kunt trekken uit een brede steekproef.
Vergroot de steekproefomvang van je onderzoek
EmotivLABs bestrijdt de reproduceerbaarheidscrisis door onderzoekers te verbinden met gescreende, gekwalificeerde onderzoeksdeelnemers en de logistieke last van werving te verlichten, terwijl voldoende statistische power wordt gewaarborgd.
Zorg dat je werk veilig wordt opgeslagen, transformeerbaar en herstelbaar is
Een andere bedreiging voor reproduceerbaarheid is analytische replicatie, waarvoor de oorspronkelijke dataset nodig is om resultaten te valideren. Het vinden en financieren van een veilige opslaglocatie is omslachtig. Als datarepository slaat EmotivLABs je data veilig op nadat deelnemers hun opnames hebben geüpload. Die data wordt automatisch geüpload en in alle fasen van overdracht en opslag streng versleuteld.
Processen stroomlijnen
Om onderzoekers te helpen cognitieve neurowetenschappelijke experimenten te ontwerpen en onderzoeksstudies te publiceren die bijdragen aan de bredere wetenschappelijke gemeenschap, hebben we een robuuste, gestroomlijnde toolkit ontwikkeld, EmotivPRO, om innovatieve, reproduceerbare experimenten te genereren.
Onze expliciete instructies en transparante methoden fungeren als leidraad waarmee onderzoekers de oorspronkelijke bevindingen kunnen verifiëren. De intuïtieve en gebruiksvriendelijke Experiment Builder stelt andere onderzoekers die jouw studie willen reproduceren in staat dit te doen door een kant-en-klaar sjabloon binnen het platform aan te bieden. Als alternatief kunnen deze onderzoekers in de cognitieve neurowetenschap een uniek experiment creëren, waarmee ze elk detail vanaf nul kunnen afstemmen.
EMOTIV-technologie
EMOTIV heeft een reeks tools ontworpen om elke stap van neurowetenschappelijk onderzoek onderweg te ondersteunen.
Met EmotivPRO-software kunnen gebruikers proefresultaten verwerken, analyseren en visualiseren. Onderzoekers kunnen ook experimenten op professioneel niveau ontwerpen waarbij elke deelnemer met een EMOTIV-headset kan meedoen, mits dit overeenkomt met het experimentele ontwerp.
Er is ook een Software Development Kit (SDK) voor EMOTIV beschikbaar, zodat aangepaste apps, interacties of experimentele ontwerpen onderweg kunnen worden uitgevoerd met alleen de headset en smartphone.
Naarmate het aantal disciplines en commerciële markten dat neurowetenschappelijke tools en methodologieën omarmt toeneemt, worden de goedkope, gebruiksvriendelijke EEG-systemen van EMOTIV gebruikt in:
Neurowetenschappelijk onderzoek
Marketinginitiatieven op het gebied van gezondheid en welzijn
Automobielindustrieën
Neuromarketing
Consumentenonderzoek
Onderwijs
Entertainmentomgevingen
Bovendien kunnen onderzoekers, dankzij de kwaliteit, kosten en mogelijkheid om EMOTIV-headsets wereldwijd te verzenden, personen werven en inschrijven die in aanmerking komen. Door de kwaliteitscontrolemetrics die de verwerkingssoftware beoordeelt, kunnen onderzoekers ook vertrouwen op het dataverzamelingsproces.
Wil je meer weten over wat het EmotivLABs-platform voor jouw onderzoek kan doen?
EmotivLABS stelt je in staat je experiment op te bouwen, je experiment veilig en beveiligd uit te rollen, te werven uit een wereldwijd panel van geverifieerde deelnemers en EEG-data van hoge kwaliteit te verzamelen, allemaal vanaf één platform. Klik hier om meer te leren of een demo aan te vragen.
3 benaderingen om de reproduceerbaarheidscrisis in de neurowetenschap op te lossen:
Voer proefstudies uit met de intentie om het experiment opnieuw uit te voeren.
Zorg voor grotere steekproeven.
Diversifieer je steekproef door online vrijwilligersgemeenschappen te gebruiken.
Er is een goed beschreven reproduceerbaarheidscrisis in modern wetenschappelijk onderzoek, met name in de cognitieve neurowetenschap. Dat wil zeggen: door de kosten en logistiek van het verkrijgen van proefpersonen of het gebruik van hightechapparatuur zoals een fMRI reproduceren labs voor cognitieve neurowetenschap zelden de resultaten van experimentele proeven.
Reproduceerbaarheid wordt in deze post gedefinieerd als een intern laboratoriumproces waarin experimenteel ontwerp zich verplaatst van pilot-/verkennende, experimentele proeven naar grotere, meer gecontroleerde experimentele proeven die meerdere keren worden uitgevoerd. In goed ontworpen experimenten moeten de verzamelde gegevens en resultaten van elke proef in staat zijn om:
Samen te voegen tot een grotere dataset.
Een grotere steekproefomvang te hebben
Een hoge statistische power te hebben.
Deze factoren zorgen ervoor dat neurowetenschappelijke experimenten geschikt zijn voor gepubliceerde onderzoeksrapporten, zodat andere labs kunnen proberen de bevindingen te repliceren. Helaas gebeurt dit om verschillende redenen zelden.
Deze reproduceerbaarheidscrisis bedreigt de toekomst van de wetenschap omdat zij tijd, inspanning, middelen en expertise verspilt aan studies die niet zullen worden gerepliceerd. Zonder replicatie vervagen “baanbrekende” studies tot legendes en hebben ze zelden invloed op de wereld op de manier die werd beloofd. Een analytisch rapport van de vicepresident Onderzoek Hematologie en Oncologie schatte dat het gebrek aan reproduceerbaarheid alleen al in de Verenigde Staten tot 28 miljard dollar per jaar kost. Deze middelen worden uiteindelijk verspild aan preklinisch werk dat niet voldoet aan de norm van betrouwbare reproduceerbaarheid.
Om dit patroon te doorbreken, moeten we het eerst begrijpen. We kunnen beginnen met het herkennen van de huidige praktijken en cultuur binnen de neurowetenschap. Deze post bespreekt experimenteel ontwerp en proefplanning om verschillende manieren te bieden waarop jouw laboratorium de experimentele reproduceerbaarheid kan verbeteren, zowel binnen het lab (experimentele proeven) als buiten het lab (open-science-datadeling). Aan het einde weet je hoe bepaalde middelen de kosten en logistiek van het verkrijgen van steekproefdata en proefpersonen kunnen verlagen.
Doe het nog eens!
Het is mogelijk om vertrouwen te krijgen in de reproduceerbaarheid van je studie.
Meestal beginnen de meeste experimentele ontwerpen met een pilot- of verkennende studie met een kleinere steekproefomvang, afhankelijk van de aard van het experiment. In de cognitieve neurowetenschap is die initiële steekproefomvang meestal n < 20. Hun doel is om ervoor te zorgen dat het experimentele effect dat je ziet een echt potentieel effect is en om het gebruik van extra middelen te rechtvaardigen die een groter experiment vereist. Deze studies zijn ook belangrijk om hun protocol te testen en te verfijnen.
Over het algemeen proberen onderzoekers in de cognitieve neurowetenschap statistische power in balans te brengen met de kleinst mogelijke kostprijs van de steekproefomvang die redelijkerwijs in de pilotfase kan worden bereikt. Het doel van deze studies is om voorlopige statistische evidentie te leveren voor de aanwezigheid van een effect. Deze studies zijn niet bedoeld voor onderzoeksrapporten of publicaties, maar eerder om een onderzoekslijn te valideren, subsidieaanvragen te onderbouwen en als basis te dienen voor toekomstige studies.
Nadat pilot- of verkennende studies in cognitieve neurowetenschappelijke experimenten zijn afgerond, is de volgende stap om "het nog eens te doen!" Door met verschillende parameters in gedachten het onderzoek opnieuw uit te voeren, kan de reproduceerbaarheidscrisis in experimentele data van de cognitieve neurowetenschap worden aangepakt. Lage statistische power kan doorgaans worden overwonnen met een grotere steekproefomvang. Om een geschikte steekproefomvang te bepalen, deed het Journal of Neuroscience in 2020 deze aanbevelingen. Net als bij veel concepten en principes in de cognitieve neurowetenschap hangt het af van de context en het beoogde doel van je experimenten.
Opnieuw: deze initiële studies zijn niet bedoeld om als onderzoeksrapporten te worden gepubliceerd. Toch lijkt dat soms wel te gebeuren, en dat leidt tot een reproduceerbaarheidscrisis.
Grotere steekproeven & Open Science
Verkrijg vertrouwen dat het effect dat je ziet een echt effect met praktische significantie is.
De volgende stap in het onderzoeksproces van een neurowetenschappelijk laboratorium is meestal de overgang van pilotstudies naar experimentele proeven die bedoeld zijn voor publicatie.
Dankzij de pilotstudie hebben de onderzoekers vertrouwen in hun methodologie en lijkt er sprake te zijn van een echt effect.
In deze fase:
Ontwerpen ze het experiment met een grotere steekproef.
Moeten ze meer data verzamelen.
Voeren ze de experimentele proef opnieuw uit.
Als statistische tests significant en niet tegenstrijdig zijn, moeten neurowetenschappers nog meer bewijs verzamelen om er zeker van te zijn dat ze een echt effect waarnemen.
Open Science
In onderzoekspublicaties is er een groeiende beweging die "open science" wordt genoemd, waarbij de data en analysescripts samen met het onderzoeksverhaal worden gepubliceerd. In de cognitieve neurowetenschap is een van de beste bronnen voor open neurowetenschappelijk onderzoek het Neuroscience Information Framework (NIF; neuinfo.org).
De theorie van Open Science omvat alle fasen van de onderzoekscyclus, waarin er meer transparantie zou zijn in het verzamelen, verwerken, opslaan en beoordelen van experimentele data. De filosofie van transparantie in open science omvat ook experimentele ontwerpen — het delen van de details met de wetenschappelijke gemeenschap om replicatie en reproduceerbaarheid van kernexperimenten in de neurowetenschap te verbeteren. Dergelijke methoden moedigen wetenschappers aan om onderzoek van hoog kaliber te blijven produceren en de groeiende replicatiecrisis in de cognitieve neurowetenschap te bestrijden.
Groepen zoals EmotivLABs bouwen aan onderzoeksgemeenschappen in de cognitieve neurowetenschap die hen in staat stellen experimentele ontwerpen met andere onderzoekers te delen.
Nu de reproduceerbaarheidscrisis de wetenschappelijke gemeenschap blijft beïnvloeden, is de behoefte aan hoogwaardige, reproduceerbare onderzoeksstudies nog nooit zo groot geweest. Er bestaan verschillende ontwerpopties om andere wetenschappers in staat te stellen experimenten te reproduceren. Deze opties geven neurowetenschappelijke onderzoekers de mogelijkheid om:
Hun geschikte steekproefomvang te bepalen.
Innovatieve, gevalideerde, betrouwbare tools voor data-analyse te gebruiken.
Te overleggen met collega’s en wetenschappelijke leiding.
Snel de leidende principes van open science toe te passen.
Diverse externe vrijwilligersgemeenschappen
Een kleine steekproefomvang heeft een negatieve invloed op de validiteit en reproduceerbaarheid van onderzoek, omdat de resultaten die met enkele deelnemers worden gegenereerd niet kunnen worden gegeneraliseerd naar de rest van de populatie. Deze resultaten omvatten niet de neurodiversiteit van de samenleving. Daarom zijn tools voor gegevensverzameling op afstand de toekomst van inclusieve neurowetenschap.
EmotivLABs: een gemeenschap voor cognitieve neurowetenschap opbouwen
Maak kennis met EMOTIV
EMOTIV, opgericht in 2011, is een bio-informatica bedrijf gevestigd in San Francisco met als missie ons begrip van het menselijk brein te vergroten met behulp van op maat gemaakte elektro-encefalografie (EEG)-hardware, analyse en visualisatie.
Samenwerking staat centraal in open science. Het platform en de medewerkers van Emotiv streven ernaar wetenschappelijke integriteit en experimentele nauwkeurigheid te bevorderen. Ons schaalbare onderzoeksplatform, EmotivLABs, verbindt cognitieve neurowetenschappers wereldwijd met een wereldwijde populatie van onderzoeksdeelnemers en onderzoekers. Erkennend dat neurowetenschappelijk onderzoek additief en lineair is, helpen we onderzoekers door uitgebreide, multidimensionale, rijke datasets te leveren, zodat je betekenisvolle conclusies kunt trekken uit een brede steekproef.
Vergroot de steekproefomvang van je onderzoek
EmotivLABs bestrijdt de reproduceerbaarheidscrisis door onderzoekers te verbinden met gescreende, gekwalificeerde onderzoeksdeelnemers en de logistieke last van werving te verlichten, terwijl voldoende statistische power wordt gewaarborgd.
Zorg dat je werk veilig wordt opgeslagen, transformeerbaar en herstelbaar is
Een andere bedreiging voor reproduceerbaarheid is analytische replicatie, waarvoor de oorspronkelijke dataset nodig is om resultaten te valideren. Het vinden en financieren van een veilige opslaglocatie is omslachtig. Als datarepository slaat EmotivLABs je data veilig op nadat deelnemers hun opnames hebben geüpload. Die data wordt automatisch geüpload en in alle fasen van overdracht en opslag streng versleuteld.
Processen stroomlijnen
Om onderzoekers te helpen cognitieve neurowetenschappelijke experimenten te ontwerpen en onderzoeksstudies te publiceren die bijdragen aan de bredere wetenschappelijke gemeenschap, hebben we een robuuste, gestroomlijnde toolkit ontwikkeld, EmotivPRO, om innovatieve, reproduceerbare experimenten te genereren.
Onze expliciete instructies en transparante methoden fungeren als leidraad waarmee onderzoekers de oorspronkelijke bevindingen kunnen verifiëren. De intuïtieve en gebruiksvriendelijke Experiment Builder stelt andere onderzoekers die jouw studie willen reproduceren in staat dit te doen door een kant-en-klaar sjabloon binnen het platform aan te bieden. Als alternatief kunnen deze onderzoekers in de cognitieve neurowetenschap een uniek experiment creëren, waarmee ze elk detail vanaf nul kunnen afstemmen.
EMOTIV-technologie
EMOTIV heeft een reeks tools ontworpen om elke stap van neurowetenschappelijk onderzoek onderweg te ondersteunen.
Met EmotivPRO-software kunnen gebruikers proefresultaten verwerken, analyseren en visualiseren. Onderzoekers kunnen ook experimenten op professioneel niveau ontwerpen waarbij elke deelnemer met een EMOTIV-headset kan meedoen, mits dit overeenkomt met het experimentele ontwerp.
Er is ook een Software Development Kit (SDK) voor EMOTIV beschikbaar, zodat aangepaste apps, interacties of experimentele ontwerpen onderweg kunnen worden uitgevoerd met alleen de headset en smartphone.
Naarmate het aantal disciplines en commerciële markten dat neurowetenschappelijke tools en methodologieën omarmt toeneemt, worden de goedkope, gebruiksvriendelijke EEG-systemen van EMOTIV gebruikt in:
Neurowetenschappelijk onderzoek
Marketinginitiatieven op het gebied van gezondheid en welzijn
Automobielindustrieën
Neuromarketing
Consumentenonderzoek
Onderwijs
Entertainmentomgevingen
Bovendien kunnen onderzoekers, dankzij de kwaliteit, kosten en mogelijkheid om EMOTIV-headsets wereldwijd te verzenden, personen werven en inschrijven die in aanmerking komen. Door de kwaliteitscontrolemetrics die de verwerkingssoftware beoordeelt, kunnen onderzoekers ook vertrouwen op het dataverzamelingsproces.
Wil je meer weten over wat het EmotivLABs-platform voor jouw onderzoek kan doen?
EmotivLABS stelt je in staat je experiment op te bouwen, je experiment veilig en beveiligd uit te rollen, te werven uit een wereldwijd panel van geverifieerde deelnemers en EEG-data van hoge kwaliteit te verzamelen, allemaal vanaf één platform. Klik hier om meer te leren of een demo aan te vragen.
3 benaderingen om de reproduceerbaarheidscrisis in de neurowetenschap op te lossen:
Voer proefstudies uit met de intentie om het experiment opnieuw uit te voeren.
Zorg voor grotere steekproeven.
Diversifieer je steekproef door online vrijwilligersgemeenschappen te gebruiken.
Er is een goed beschreven reproduceerbaarheidscrisis in modern wetenschappelijk onderzoek, met name in de cognitieve neurowetenschap. Dat wil zeggen: door de kosten en logistiek van het verkrijgen van proefpersonen of het gebruik van hightechapparatuur zoals een fMRI reproduceren labs voor cognitieve neurowetenschap zelden de resultaten van experimentele proeven.
Reproduceerbaarheid wordt in deze post gedefinieerd als een intern laboratoriumproces waarin experimenteel ontwerp zich verplaatst van pilot-/verkennende, experimentele proeven naar grotere, meer gecontroleerde experimentele proeven die meerdere keren worden uitgevoerd. In goed ontworpen experimenten moeten de verzamelde gegevens en resultaten van elke proef in staat zijn om:
Samen te voegen tot een grotere dataset.
Een grotere steekproefomvang te hebben
Een hoge statistische power te hebben.
Deze factoren zorgen ervoor dat neurowetenschappelijke experimenten geschikt zijn voor gepubliceerde onderzoeksrapporten, zodat andere labs kunnen proberen de bevindingen te repliceren. Helaas gebeurt dit om verschillende redenen zelden.
Deze reproduceerbaarheidscrisis bedreigt de toekomst van de wetenschap omdat zij tijd, inspanning, middelen en expertise verspilt aan studies die niet zullen worden gerepliceerd. Zonder replicatie vervagen “baanbrekende” studies tot legendes en hebben ze zelden invloed op de wereld op de manier die werd beloofd. Een analytisch rapport van de vicepresident Onderzoek Hematologie en Oncologie schatte dat het gebrek aan reproduceerbaarheid alleen al in de Verenigde Staten tot 28 miljard dollar per jaar kost. Deze middelen worden uiteindelijk verspild aan preklinisch werk dat niet voldoet aan de norm van betrouwbare reproduceerbaarheid.
Om dit patroon te doorbreken, moeten we het eerst begrijpen. We kunnen beginnen met het herkennen van de huidige praktijken en cultuur binnen de neurowetenschap. Deze post bespreekt experimenteel ontwerp en proefplanning om verschillende manieren te bieden waarop jouw laboratorium de experimentele reproduceerbaarheid kan verbeteren, zowel binnen het lab (experimentele proeven) als buiten het lab (open-science-datadeling). Aan het einde weet je hoe bepaalde middelen de kosten en logistiek van het verkrijgen van steekproefdata en proefpersonen kunnen verlagen.
Doe het nog eens!
Het is mogelijk om vertrouwen te krijgen in de reproduceerbaarheid van je studie.
Meestal beginnen de meeste experimentele ontwerpen met een pilot- of verkennende studie met een kleinere steekproefomvang, afhankelijk van de aard van het experiment. In de cognitieve neurowetenschap is die initiële steekproefomvang meestal n < 20. Hun doel is om ervoor te zorgen dat het experimentele effect dat je ziet een echt potentieel effect is en om het gebruik van extra middelen te rechtvaardigen die een groter experiment vereist. Deze studies zijn ook belangrijk om hun protocol te testen en te verfijnen.
Over het algemeen proberen onderzoekers in de cognitieve neurowetenschap statistische power in balans te brengen met de kleinst mogelijke kostprijs van de steekproefomvang die redelijkerwijs in de pilotfase kan worden bereikt. Het doel van deze studies is om voorlopige statistische evidentie te leveren voor de aanwezigheid van een effect. Deze studies zijn niet bedoeld voor onderzoeksrapporten of publicaties, maar eerder om een onderzoekslijn te valideren, subsidieaanvragen te onderbouwen en als basis te dienen voor toekomstige studies.
Nadat pilot- of verkennende studies in cognitieve neurowetenschappelijke experimenten zijn afgerond, is de volgende stap om "het nog eens te doen!" Door met verschillende parameters in gedachten het onderzoek opnieuw uit te voeren, kan de reproduceerbaarheidscrisis in experimentele data van de cognitieve neurowetenschap worden aangepakt. Lage statistische power kan doorgaans worden overwonnen met een grotere steekproefomvang. Om een geschikte steekproefomvang te bepalen, deed het Journal of Neuroscience in 2020 deze aanbevelingen. Net als bij veel concepten en principes in de cognitieve neurowetenschap hangt het af van de context en het beoogde doel van je experimenten.
Opnieuw: deze initiële studies zijn niet bedoeld om als onderzoeksrapporten te worden gepubliceerd. Toch lijkt dat soms wel te gebeuren, en dat leidt tot een reproduceerbaarheidscrisis.
Grotere steekproeven & Open Science
Verkrijg vertrouwen dat het effect dat je ziet een echt effect met praktische significantie is.
De volgende stap in het onderzoeksproces van een neurowetenschappelijk laboratorium is meestal de overgang van pilotstudies naar experimentele proeven die bedoeld zijn voor publicatie.
Dankzij de pilotstudie hebben de onderzoekers vertrouwen in hun methodologie en lijkt er sprake te zijn van een echt effect.
In deze fase:
Ontwerpen ze het experiment met een grotere steekproef.
Moeten ze meer data verzamelen.
Voeren ze de experimentele proef opnieuw uit.
Als statistische tests significant en niet tegenstrijdig zijn, moeten neurowetenschappers nog meer bewijs verzamelen om er zeker van te zijn dat ze een echt effect waarnemen.
Open Science
In onderzoekspublicaties is er een groeiende beweging die "open science" wordt genoemd, waarbij de data en analysescripts samen met het onderzoeksverhaal worden gepubliceerd. In de cognitieve neurowetenschap is een van de beste bronnen voor open neurowetenschappelijk onderzoek het Neuroscience Information Framework (NIF; neuinfo.org).
De theorie van Open Science omvat alle fasen van de onderzoekscyclus, waarin er meer transparantie zou zijn in het verzamelen, verwerken, opslaan en beoordelen van experimentele data. De filosofie van transparantie in open science omvat ook experimentele ontwerpen — het delen van de details met de wetenschappelijke gemeenschap om replicatie en reproduceerbaarheid van kernexperimenten in de neurowetenschap te verbeteren. Dergelijke methoden moedigen wetenschappers aan om onderzoek van hoog kaliber te blijven produceren en de groeiende replicatiecrisis in de cognitieve neurowetenschap te bestrijden.
Groepen zoals EmotivLABs bouwen aan onderzoeksgemeenschappen in de cognitieve neurowetenschap die hen in staat stellen experimentele ontwerpen met andere onderzoekers te delen.
Nu de reproduceerbaarheidscrisis de wetenschappelijke gemeenschap blijft beïnvloeden, is de behoefte aan hoogwaardige, reproduceerbare onderzoeksstudies nog nooit zo groot geweest. Er bestaan verschillende ontwerpopties om andere wetenschappers in staat te stellen experimenten te reproduceren. Deze opties geven neurowetenschappelijke onderzoekers de mogelijkheid om:
Hun geschikte steekproefomvang te bepalen.
Innovatieve, gevalideerde, betrouwbare tools voor data-analyse te gebruiken.
Te overleggen met collega’s en wetenschappelijke leiding.
Snel de leidende principes van open science toe te passen.
Diverse externe vrijwilligersgemeenschappen
Een kleine steekproefomvang heeft een negatieve invloed op de validiteit en reproduceerbaarheid van onderzoek, omdat de resultaten die met enkele deelnemers worden gegenereerd niet kunnen worden gegeneraliseerd naar de rest van de populatie. Deze resultaten omvatten niet de neurodiversiteit van de samenleving. Daarom zijn tools voor gegevensverzameling op afstand de toekomst van inclusieve neurowetenschap.
EmotivLABs: een gemeenschap voor cognitieve neurowetenschap opbouwen
Maak kennis met EMOTIV
EMOTIV, opgericht in 2011, is een bio-informatica bedrijf gevestigd in San Francisco met als missie ons begrip van het menselijk brein te vergroten met behulp van op maat gemaakte elektro-encefalografie (EEG)-hardware, analyse en visualisatie.
Samenwerking staat centraal in open science. Het platform en de medewerkers van Emotiv streven ernaar wetenschappelijke integriteit en experimentele nauwkeurigheid te bevorderen. Ons schaalbare onderzoeksplatform, EmotivLABs, verbindt cognitieve neurowetenschappers wereldwijd met een wereldwijde populatie van onderzoeksdeelnemers en onderzoekers. Erkennend dat neurowetenschappelijk onderzoek additief en lineair is, helpen we onderzoekers door uitgebreide, multidimensionale, rijke datasets te leveren, zodat je betekenisvolle conclusies kunt trekken uit een brede steekproef.
Vergroot de steekproefomvang van je onderzoek
EmotivLABs bestrijdt de reproduceerbaarheidscrisis door onderzoekers te verbinden met gescreende, gekwalificeerde onderzoeksdeelnemers en de logistieke last van werving te verlichten, terwijl voldoende statistische power wordt gewaarborgd.
Zorg dat je werk veilig wordt opgeslagen, transformeerbaar en herstelbaar is
Een andere bedreiging voor reproduceerbaarheid is analytische replicatie, waarvoor de oorspronkelijke dataset nodig is om resultaten te valideren. Het vinden en financieren van een veilige opslaglocatie is omslachtig. Als datarepository slaat EmotivLABs je data veilig op nadat deelnemers hun opnames hebben geüpload. Die data wordt automatisch geüpload en in alle fasen van overdracht en opslag streng versleuteld.
Processen stroomlijnen
Om onderzoekers te helpen cognitieve neurowetenschappelijke experimenten te ontwerpen en onderzoeksstudies te publiceren die bijdragen aan de bredere wetenschappelijke gemeenschap, hebben we een robuuste, gestroomlijnde toolkit ontwikkeld, EmotivPRO, om innovatieve, reproduceerbare experimenten te genereren.
Onze expliciete instructies en transparante methoden fungeren als leidraad waarmee onderzoekers de oorspronkelijke bevindingen kunnen verifiëren. De intuïtieve en gebruiksvriendelijke Experiment Builder stelt andere onderzoekers die jouw studie willen reproduceren in staat dit te doen door een kant-en-klaar sjabloon binnen het platform aan te bieden. Als alternatief kunnen deze onderzoekers in de cognitieve neurowetenschap een uniek experiment creëren, waarmee ze elk detail vanaf nul kunnen afstemmen.
EMOTIV-technologie
EMOTIV heeft een reeks tools ontworpen om elke stap van neurowetenschappelijk onderzoek onderweg te ondersteunen.
Met EmotivPRO-software kunnen gebruikers proefresultaten verwerken, analyseren en visualiseren. Onderzoekers kunnen ook experimenten op professioneel niveau ontwerpen waarbij elke deelnemer met een EMOTIV-headset kan meedoen, mits dit overeenkomt met het experimentele ontwerp.
Er is ook een Software Development Kit (SDK) voor EMOTIV beschikbaar, zodat aangepaste apps, interacties of experimentele ontwerpen onderweg kunnen worden uitgevoerd met alleen de headset en smartphone.
Naarmate het aantal disciplines en commerciële markten dat neurowetenschappelijke tools en methodologieën omarmt toeneemt, worden de goedkope, gebruiksvriendelijke EEG-systemen van EMOTIV gebruikt in:
Neurowetenschappelijk onderzoek
Marketinginitiatieven op het gebied van gezondheid en welzijn
Automobielindustrieën
Neuromarketing
Consumentenonderzoek
Onderwijs
Entertainmentomgevingen
Bovendien kunnen onderzoekers, dankzij de kwaliteit, kosten en mogelijkheid om EMOTIV-headsets wereldwijd te verzenden, personen werven en inschrijven die in aanmerking komen. Door de kwaliteitscontrolemetrics die de verwerkingssoftware beoordeelt, kunnen onderzoekers ook vertrouwen op het dataverzamelingsproces.
Wil je meer weten over wat het EmotivLABs-platform voor jouw onderzoek kan doen?
EmotivLABS stelt je in staat je experiment op te bouwen, je experiment veilig en beveiligd uit te rollen, te werven uit een wereldwijd panel van geverifieerde deelnemers en EEG-data van hoge kwaliteit te verzamelen, allemaal vanaf één platform. Klik hier om meer te leren of een demo aan te vragen.
