3 Ansätze zur Behebung der Reproduzierbarkeitskrise in den Neurowissenschaften
Quoc Minh Lai
Aktualisiert am
3 Ansätze zur Behebung der Reproduzierbarkeitskrise in den Neurowissenschaften
Quoc Minh Lai
Aktualisiert am
3 Ansätze zur Behebung der Reproduzierbarkeitskrise in den Neurowissenschaften
Quoc Minh Lai
Aktualisiert am
3 Ansätze zur Behebung der Reproduzierbarkeitskrise in den Neurowissenschaften:
Führen Sie Pilotstudien mit der Absicht durch, das Experiment erneut durchzuführen.
Sorgen Sie für größere Stichprobensätze.
Diversifizieren Sie Ihre Stichprobe durch die Nutzung von Online-Freiwilligen-Communities.
Es gibt eine viel beschriebene Reproduzierbarkeitskrise in der modernen wissenschaftlichen Forschung, insbesondere in der kognitiven Neurowissenschaft. Das heißt, aufgrund der Kosten und der Logistik für die Gewinnung von Testpersonen oder den Einsatz von High-Tech-Geräten wie der fMRT reproduzieren kognitive neurowissenschaftliche Labore Ergebnisse experimenteller Studien nur selten.
Reproduzierbarkeit wird in diesem Beitrag als ein interner Laborprozess definiert, bei dem sich das experimentelle Design von explorativen Pilotstudien hin zu größeren, stärker kontrollierten experimentellen Studien bewegt, die mehrfach durchgeführt werden. Bei ordnungsgemäß konzipierten Experimenten sollten die gesammelten Daten und Ergebnisse jeder Studie in der Lage sein:
Sich in einen größeren Datensatz einzufügen.
Eine größere Stichprobengröße zu haben
Eine hohe statistische Aussagekraft aufzuweisen.
Diese Faktoren machen neurowissenschaftliche Experimente reif für veröffentlichte Forschungsberichte, sodass andere Labore versuchen können, die Ergebnisse zu replizieren. Bedauerlicherweise geschieht dies jedoch aus mehreren Gründen nur selten.
Diese Reproduzierbarkeitskrise bedroht die Zukunft der Wissenschaft, da sie Zeit, Mühe, Ressourcen und Fachwissen für Studien verschwendet, die nicht repliziert werden. Ohne Replikation geraten „Meilenstein-Studien“ in Vergessenheit und beeinflussen die Welt selten so, wie versprochen. Ein analytischer Bericht des Vizepräsidenten für Hämatologie- und Onkologieforschung schätzte, dass die mangelnde Reproduzierbarkeit allein in den USA jährlich bis zu 28 Milliarden Dollar kostet. Diese Gelder werden letztlich für vorklinische Arbeiten verschwendet, die den Standard einer zuverlässigen Reproduzierbarkeit nicht erfüllen.
Um dieses Muster zu ändern, müssen wir es zunächst verstehen. Wir können damit beginnen, die aktuellen Praktiken und die Kultur der Neurowissenschaften anzuerkennen. In diesem Beitrag werden Versuchsplanung und Terminplanung erörtert, um verschiedene Möglichkeiten aufzuzeigen, wie Ihr Labor die experimentelle Reproduzierbarkeit sowohl innerhalb des Labors (experimentelle Studien) als auch außerhalb des Labors (gemeinsame Nutzung von Open-Science-Daten) verbessern kann. Am Ende werden Sie wissen, wie einige Ressourcen die Kosten und die Logistik für die Gewinnung von Stichprobendaten und Testpersonen reduzieren können.
Machen Sie es noch einmal!
Es ist möglich, Vertrauen in die Reproduzierbarkeit Ihrer Studie zu gewinnen.
In der Regel beginnen die meisten experimentellen Designs mit einer Pilot- oder Sondierungsstudie mit einer kleineren Stichprobengröße, je nach Art des Experiments. In der kognitiven Neurowissenschaft liegt diese anfängliche Stichprobengröße in der Regel bei n < 20. Ihr Zweck besteht darin, sicherzustellen, dass es sich bei dem experimentellen Effekt, den Sie sehen, um einen echten potenziellen Effekt handelt, und den Einsatz zusätzlicher Ressourcen zu rechtfertigen, die ein größeres Experiment erfordert. Diese Studien sind auch wichtig, um das Protokoll zu testen und zu verfeinern.
Im Allgemeinen versuchen kognitive Neurowissenschaftler, die statistische Aussagekraft mit der geringsten Stichprobengröße in Einklang zu bringen, die im Pilotstadium vernünftigerweise erreicht werden kann. Das Ziel dieser Studien ist es, vorläufige statistische Belege für das Vorhandensein eines Effekts zu liefern. Diese Studien sind nicht für Forschungsberichte oder Publikationen gedacht, sondern vielmehr dazu, eine Untersuchungsrichtung zu validieren, Förderanträge zu untermauern und als Grundlage für künftige Studien zu dienen.
Nachdem Pilot- oder Sondierungsstudien in kognitiven neurowissenschaftlichen Experimenten abgeschlossen sind, besteht der nächste Schritt darin, „es noch einmal zu tun!“. Da verschiedene Parameter im Fokus stehen, ist die Wiederholung der Untersuchung ein Weg, um die Reproduzierbarkeitskrise bei experimentellen Daten der kognitiven Neurowissenschaft zu überwinden. Eine geringe statistische Aussagekraft kann in der Regel durch eine größere Stichprobengröße ausgeglichen werden. Um eine angemessene Stichprobengröße zu bestimmen, hat das Journal of Neuroscience im Jahr 2020 diese Empfehlungen ausgesprochen. Wie viele Konzepte und Prinzipien in der kognitiven Neurowissenschaft hängt es vom Kontext und dem beabsichtigten Ziel Ihrer Experimente ab.
Auch diese ersten Studien sind nicht als zu veröffentlichende Forschungsberichte gedacht. Manchmal scheint das jedoch der Fall zu sein, und das führt zu einer Reproduzierbarkeitskrise.
Größere Stichprobensätze & Open Science
Gewinnen Sie die Gewissheit, dass der Effekt, den Sie sehen, ein echter Effekt von praktischer Bedeutung ist.
Der Schritt über die Pilotphase hinaus zu experimentellen Studien, die für eine Veröffentlichung bestimmt sind, ist in der Regel der nächste Schritt im Forschungsprozess eines neurowissenschaftlichen Labors.
Dank der Pilotstudie sind die Forscher von ihrer Methodik überzeugt und scheinen eine echte Wirkung erzielt zu haben.
In dieser Phase:
Konzipieren sie das Experiment mit einem größeren Stichprobensatz.
Müssen sie mehr Daten sammeln.
Führen sie die experimentelle Studie erneut durch.
Wenn die statistischen Tests signifikant und widerspruchsfrei sind, müssen Neurowissenschaftler noch mehr Beweise sammeln, um sicher zu sein, dass sie einen echten Effekt sehen.
Open Science
In Forschungsberichten gibt es eine wachsende Bewegung namens „Open Science“, bei der die Daten und Analyseskripte zusammen mit dem Forschungsbericht veröffentlicht werden. In der kognitiven Neurowissenschaft ist das Neuroscience Information Framework (NIF; neuinfo.org) eine der besten Ressourcen für offene neurowissenschaftliche Forschung.
Die Open-Science-Theorie umfasst alle Phasen des Forschungszyklus, in denen eine verbesserte Transparenz bei der Erfassung, Verarbeitung, Speicherung und Überprüfung von experimentellen Daten angestrebt wird. Die Philosophie der Transparenz in der Open Science umfasst auch experimentelle Designs – die Weitergabe der Details an die wissenschaftliche Gemeinschaft, um die Replikation und Reproduzierbarkeit von experimentellen Kernbereichen der Neurowissenschaften zu verbessern. Solche Methoden ermutigen Wissenschaftler, weiterhin hochkarätige Forschung zu betreiben, und wirken der wachsenden Replikationskrise in der kognitiven Neurowissenschaft entgegen.
Gruppen wie EmotivLABs bauen kognitive neurowissenschaftliche Forschungsgemeinschaften auf, die es ihnen ermöglichen, experimentelle Designs mit anderen Forschern zu teilen.
Da sich die Reproduzierbarkeitskrise weiterhin auf die wissenschaftliche Gemeinschaft auswirkt, war der Bedarf an qualitativ hochwertigen, reproduzierbaren Forschungsstudien noch nie so groß wie heute. Es gibt verschiedene Designoptionen, mit denen andere Wissenschaftler Experimente reproduzieren können. Diese Optionen bieten neurowissenschaftlichen Forschern die Möglichkeit:
Ihre angemessene Stichprobengröße zu bestimmen.
Innovative, validierte und zuverlässige Instrumente für die Datenanalyse zu nutzen.
Sich mit Kollegen und der wissenschaftlichen Leitung zu beraten.
Die Leitprinzipien von Open Science schnell anzuwenden.
Diverse Remote-Freiwilligen-Communities
Eine geringe Stichprobengröße wirkt sich negativ auf die Gültigkeit und Reproduzierbarkeit der Forschung aus, da die mit wenigen Teilnehmern erzielten Ergebnisse nicht auf die übrige Bevölkerung übertragen werden können. Diese Ergebnisse spiegeln nicht die Neurodiversität der Gesellschaft wider. Daher sind Instrumente zur Ferndatenerfassung die Zukunft einer integrativen Neurowissenschaft.
EmotivLABs: Aufbau einer kognitiven neurowissenschaftlichen Gemeinschaft
Lernen Sie Emotiv kennen
Emotiv wurde 2011 gegründet und ist ein in San Francisco ansässiges Bioinformatik-Unternehmen mit der Mission, unser Verständnis des menschlichen Gehirns mithilfe von maßgeschneiderter Elektroenzephalographie-Hardware (EEG), Analyse und Visualisierung voranzutreiben.
Im Mittelpunkt von Open Science steht die Zusammenarbeit. Die Plattform und die Mitarbeiter von Emotiv haben sich zum Ziel gesetzt, die wissenschaftliche Integrität und experimentelle Genauigkeit zu fördern. Unsere skalierbare Forschungsplattform EmotivLABs verbindet kognitive Neurowissenschaftler weltweit mit einem globalen Netzwerk von Forschungsteilnehmern und Prüfärzten. Da wir die additive Linearität der neurowissenschaftlichen Forschung anerkennen, unterstützen wir Forscher durch die Bereitstellung umfangreicher, mehrdimensionaler, reichhaltiger Datensätze, die es Ihnen ermöglichen, aussagekräftige Schlussfolgerungen aus einer breiten Stichprobe zu ziehen.
Vergrößern Sie die Stichprobengröße Ihrer Forschung
EmotivLABs bekämpft die Reproduzierbarkeitskrise, indem es Prüfärzte mit überprüften, qualifizierten Forschungsteilnehmern zusammenbringt, die logistische Last der Rekrutierung verringert und gleichzeitig eine ausreichende statistische Aussagekraft gewährleistet.
Stellen Sie sicher, dass Ihre Arbeit sicher gespeichert, transformierbar und wiederherstellbar ist
Eine weitere Bedrohung für die Reproduzierbarkeit ist die analytische Replikation, die den ursprünglichen Datensatz zur Validierung der Ergebnisse erfordert. Das Finden und Finanzieren eines sicheren Speicherorts ist mühsam. EmotivLABs fungiert als Daten-Repository und speichert Ihre Daten sicher, nachdem die Teilnehmer ihre Aufzeichnungen hochgeladen haben. Diese Daten werden in allen Phasen der Übertragung und Speicherung automatisch hochgeladen und streng verschlüsselt.
Prozesse optimieren
Um Prüfärzte bei der Entwicklung von Experimenten der kognitiven Neurowissenschaft und der Veröffentlichung von Forschungsstudien zu unterstützen, die einen Beitrag zur größeren wissenschaftlichen Gemeinschaft leisten, haben wir ein robustes, optimiertes Toolkit, EmotivPRO, entwickelt, um innovative, reproduzierbare Experimente zu generieren.
Unsere expliziten Anweisungen und transparenten Methoden dienen als Leitfaden, der es den Prüfärzten ermöglicht, die ursprünglichen Ergebnisse zu überprüfen. Der intuitive und benutzerfreundliche Experiment Builder ermöglicht es anderen Forschern, die Ihre Studie reproduzieren möchten, eine vorgefertigte Vorlage auf der Plattform zu nutzen. Alternativ können diese Forscher der kognitiven Neurowissenschaft ein einzigartiges Experiment erstellen, mit dem sie jedes Detail von Grund auf anpassen können.
Emotiv Technologie
Emotiv hat eine Reihe von Tools entwickelt, um jeden Schritt der neurowissenschaftlichen Forschung zu unterstützen.
Die Software EmotivPRO ermöglicht es Anwendern, Studienergebnisse zu verarbeiten, zu analysieren und zu visualisieren. Forscher können auch Experimente auf professionellem Niveau entwerfen, an denen jeder Teilnehmer mit einem Emotiv-Headset teilnehmen kann, sofern er mit dem experimentellen Design konform ist.
Ein Software Development Kit (SDK) für Emotiv ist ebenfalls verfügbar, sodass benutzerdefinierte Apps, Interaktionen oder experimentelle Designs auch unterwegs nur mit dem Headset und einem Smartphone durchgeführt werden können.
Da die Anzahl der Disziplinen und kommerziellen Märkte, die neurowissenschaftliche Instrumente und Methoden nutzen, zunimmt, werden die kostengünstigen und einfach zu bedienenden EEG-Systeme von Emotiv in folgenden Bereichen eingesetzt:
Neurowissenschaftliche Forschung
Marketing-Initiativen für Gesundheit und Wellness
Automobilindustrie
Neuromarketing
Verbraucherforschung
Bildung
Unterhaltungsumgebungen
Darüber hinaus können Forscher dank der Qualität, der Kosten und der Möglichkeit, Emotiv-Headsets weltweit zu versenden, qualifizierte Personen rekrutieren und anmelden. Aufgrund der Qualitätskontrollmetriken, die die Verarbeitungssoftware auswertet, können Forscher auch dem Datenerfassungsprozess vertrauen.
Möchten Sie mehr darüber erfahren, was die EmotivLABs-Plattform für Ihre Forschung tun kann?
Mit EmotivLABS können Sie Ihr Experiment aufbauen, sicher und geschützt bereitstellen, Teilnehmer aus einem globalen Panel verifizierter Teilnehmer rekrutieren und hochwertige EEG-Daten sammeln – und das alles auf einer einzigen Plattform. Klicken Sie hier, um mehr zu erfahren oder eine Demo anzufordern.
3 Ansätze zur Behebung der Reproduzierbarkeitskrise in den Neurowissenschaften:
Führen Sie Pilotstudien mit der Absicht durch, das Experiment erneut durchzuführen.
Sorgen Sie für größere Stichprobensätze.
Diversifizieren Sie Ihre Stichprobe durch die Nutzung von Online-Freiwilligen-Communities.
Es gibt eine viel beschriebene Reproduzierbarkeitskrise in der modernen wissenschaftlichen Forschung, insbesondere in der kognitiven Neurowissenschaft. Das heißt, aufgrund der Kosten und der Logistik für die Gewinnung von Testpersonen oder den Einsatz von High-Tech-Geräten wie der fMRT reproduzieren kognitive neurowissenschaftliche Labore Ergebnisse experimenteller Studien nur selten.
Reproduzierbarkeit wird in diesem Beitrag als ein interner Laborprozess definiert, bei dem sich das experimentelle Design von explorativen Pilotstudien hin zu größeren, stärker kontrollierten experimentellen Studien bewegt, die mehrfach durchgeführt werden. Bei ordnungsgemäß konzipierten Experimenten sollten die gesammelten Daten und Ergebnisse jeder Studie in der Lage sein:
Sich in einen größeren Datensatz einzufügen.
Eine größere Stichprobengröße zu haben
Eine hohe statistische Aussagekraft aufzuweisen.
Diese Faktoren machen neurowissenschaftliche Experimente reif für veröffentlichte Forschungsberichte, sodass andere Labore versuchen können, die Ergebnisse zu replizieren. Bedauerlicherweise geschieht dies jedoch aus mehreren Gründen nur selten.
Diese Reproduzierbarkeitskrise bedroht die Zukunft der Wissenschaft, da sie Zeit, Mühe, Ressourcen und Fachwissen für Studien verschwendet, die nicht repliziert werden. Ohne Replikation geraten „Meilenstein-Studien“ in Vergessenheit und beeinflussen die Welt selten so, wie versprochen. Ein analytischer Bericht des Vizepräsidenten für Hämatologie- und Onkologieforschung schätzte, dass die mangelnde Reproduzierbarkeit allein in den USA jährlich bis zu 28 Milliarden Dollar kostet. Diese Gelder werden letztlich für vorklinische Arbeiten verschwendet, die den Standard einer zuverlässigen Reproduzierbarkeit nicht erfüllen.
Um dieses Muster zu ändern, müssen wir es zunächst verstehen. Wir können damit beginnen, die aktuellen Praktiken und die Kultur der Neurowissenschaften anzuerkennen. In diesem Beitrag werden Versuchsplanung und Terminplanung erörtert, um verschiedene Möglichkeiten aufzuzeigen, wie Ihr Labor die experimentelle Reproduzierbarkeit sowohl innerhalb des Labors (experimentelle Studien) als auch außerhalb des Labors (gemeinsame Nutzung von Open-Science-Daten) verbessern kann. Am Ende werden Sie wissen, wie einige Ressourcen die Kosten und die Logistik für die Gewinnung von Stichprobendaten und Testpersonen reduzieren können.
Machen Sie es noch einmal!
Es ist möglich, Vertrauen in die Reproduzierbarkeit Ihrer Studie zu gewinnen.
In der Regel beginnen die meisten experimentellen Designs mit einer Pilot- oder Sondierungsstudie mit einer kleineren Stichprobengröße, je nach Art des Experiments. In der kognitiven Neurowissenschaft liegt diese anfängliche Stichprobengröße in der Regel bei n < 20. Ihr Zweck besteht darin, sicherzustellen, dass es sich bei dem experimentellen Effekt, den Sie sehen, um einen echten potenziellen Effekt handelt, und den Einsatz zusätzlicher Ressourcen zu rechtfertigen, die ein größeres Experiment erfordert. Diese Studien sind auch wichtig, um das Protokoll zu testen und zu verfeinern.
Im Allgemeinen versuchen kognitive Neurowissenschaftler, die statistische Aussagekraft mit der geringsten Stichprobengröße in Einklang zu bringen, die im Pilotstadium vernünftigerweise erreicht werden kann. Das Ziel dieser Studien ist es, vorläufige statistische Belege für das Vorhandensein eines Effekts zu liefern. Diese Studien sind nicht für Forschungsberichte oder Publikationen gedacht, sondern vielmehr dazu, eine Untersuchungsrichtung zu validieren, Förderanträge zu untermauern und als Grundlage für künftige Studien zu dienen.
Nachdem Pilot- oder Sondierungsstudien in kognitiven neurowissenschaftlichen Experimenten abgeschlossen sind, besteht der nächste Schritt darin, „es noch einmal zu tun!“. Da verschiedene Parameter im Fokus stehen, ist die Wiederholung der Untersuchung ein Weg, um die Reproduzierbarkeitskrise bei experimentellen Daten der kognitiven Neurowissenschaft zu überwinden. Eine geringe statistische Aussagekraft kann in der Regel durch eine größere Stichprobengröße ausgeglichen werden. Um eine angemessene Stichprobengröße zu bestimmen, hat das Journal of Neuroscience im Jahr 2020 diese Empfehlungen ausgesprochen. Wie viele Konzepte und Prinzipien in der kognitiven Neurowissenschaft hängt es vom Kontext und dem beabsichtigten Ziel Ihrer Experimente ab.
Auch diese ersten Studien sind nicht als zu veröffentlichende Forschungsberichte gedacht. Manchmal scheint das jedoch der Fall zu sein, und das führt zu einer Reproduzierbarkeitskrise.
Größere Stichprobensätze & Open Science
Gewinnen Sie die Gewissheit, dass der Effekt, den Sie sehen, ein echter Effekt von praktischer Bedeutung ist.
Der Schritt über die Pilotphase hinaus zu experimentellen Studien, die für eine Veröffentlichung bestimmt sind, ist in der Regel der nächste Schritt im Forschungsprozess eines neurowissenschaftlichen Labors.
Dank der Pilotstudie sind die Forscher von ihrer Methodik überzeugt und scheinen eine echte Wirkung erzielt zu haben.
In dieser Phase:
Konzipieren sie das Experiment mit einem größeren Stichprobensatz.
Müssen sie mehr Daten sammeln.
Führen sie die experimentelle Studie erneut durch.
Wenn die statistischen Tests signifikant und widerspruchsfrei sind, müssen Neurowissenschaftler noch mehr Beweise sammeln, um sicher zu sein, dass sie einen echten Effekt sehen.
Open Science
In Forschungsberichten gibt es eine wachsende Bewegung namens „Open Science“, bei der die Daten und Analyseskripte zusammen mit dem Forschungsbericht veröffentlicht werden. In der kognitiven Neurowissenschaft ist das Neuroscience Information Framework (NIF; neuinfo.org) eine der besten Ressourcen für offene neurowissenschaftliche Forschung.
Die Open-Science-Theorie umfasst alle Phasen des Forschungszyklus, in denen eine verbesserte Transparenz bei der Erfassung, Verarbeitung, Speicherung und Überprüfung von experimentellen Daten angestrebt wird. Die Philosophie der Transparenz in der Open Science umfasst auch experimentelle Designs – die Weitergabe der Details an die wissenschaftliche Gemeinschaft, um die Replikation und Reproduzierbarkeit von experimentellen Kernbereichen der Neurowissenschaften zu verbessern. Solche Methoden ermutigen Wissenschaftler, weiterhin hochkarätige Forschung zu betreiben, und wirken der wachsenden Replikationskrise in der kognitiven Neurowissenschaft entgegen.
Gruppen wie EmotivLABs bauen kognitive neurowissenschaftliche Forschungsgemeinschaften auf, die es ihnen ermöglichen, experimentelle Designs mit anderen Forschern zu teilen.
Da sich die Reproduzierbarkeitskrise weiterhin auf die wissenschaftliche Gemeinschaft auswirkt, war der Bedarf an qualitativ hochwertigen, reproduzierbaren Forschungsstudien noch nie so groß wie heute. Es gibt verschiedene Designoptionen, mit denen andere Wissenschaftler Experimente reproduzieren können. Diese Optionen bieten neurowissenschaftlichen Forschern die Möglichkeit:
Ihre angemessene Stichprobengröße zu bestimmen.
Innovative, validierte und zuverlässige Instrumente für die Datenanalyse zu nutzen.
Sich mit Kollegen und der wissenschaftlichen Leitung zu beraten.
Die Leitprinzipien von Open Science schnell anzuwenden.
Diverse Remote-Freiwilligen-Communities
Eine geringe Stichprobengröße wirkt sich negativ auf die Gültigkeit und Reproduzierbarkeit der Forschung aus, da die mit wenigen Teilnehmern erzielten Ergebnisse nicht auf die übrige Bevölkerung übertragen werden können. Diese Ergebnisse spiegeln nicht die Neurodiversität der Gesellschaft wider. Daher sind Instrumente zur Ferndatenerfassung die Zukunft einer integrativen Neurowissenschaft.
EmotivLABs: Aufbau einer kognitiven neurowissenschaftlichen Gemeinschaft
Lernen Sie Emotiv kennen
Emotiv wurde 2011 gegründet und ist ein in San Francisco ansässiges Bioinformatik-Unternehmen mit der Mission, unser Verständnis des menschlichen Gehirns mithilfe von maßgeschneiderter Elektroenzephalographie-Hardware (EEG), Analyse und Visualisierung voranzutreiben.
Im Mittelpunkt von Open Science steht die Zusammenarbeit. Die Plattform und die Mitarbeiter von Emotiv haben sich zum Ziel gesetzt, die wissenschaftliche Integrität und experimentelle Genauigkeit zu fördern. Unsere skalierbare Forschungsplattform EmotivLABs verbindet kognitive Neurowissenschaftler weltweit mit einem globalen Netzwerk von Forschungsteilnehmern und Prüfärzten. Da wir die additive Linearität der neurowissenschaftlichen Forschung anerkennen, unterstützen wir Forscher durch die Bereitstellung umfangreicher, mehrdimensionaler, reichhaltiger Datensätze, die es Ihnen ermöglichen, aussagekräftige Schlussfolgerungen aus einer breiten Stichprobe zu ziehen.
Vergrößern Sie die Stichprobengröße Ihrer Forschung
EmotivLABs bekämpft die Reproduzierbarkeitskrise, indem es Prüfärzte mit überprüften, qualifizierten Forschungsteilnehmern zusammenbringt, die logistische Last der Rekrutierung verringert und gleichzeitig eine ausreichende statistische Aussagekraft gewährleistet.
Stellen Sie sicher, dass Ihre Arbeit sicher gespeichert, transformierbar und wiederherstellbar ist
Eine weitere Bedrohung für die Reproduzierbarkeit ist die analytische Replikation, die den ursprünglichen Datensatz zur Validierung der Ergebnisse erfordert. Das Finden und Finanzieren eines sicheren Speicherorts ist mühsam. EmotivLABs fungiert als Daten-Repository und speichert Ihre Daten sicher, nachdem die Teilnehmer ihre Aufzeichnungen hochgeladen haben. Diese Daten werden in allen Phasen der Übertragung und Speicherung automatisch hochgeladen und streng verschlüsselt.
Prozesse optimieren
Um Prüfärzte bei der Entwicklung von Experimenten der kognitiven Neurowissenschaft und der Veröffentlichung von Forschungsstudien zu unterstützen, die einen Beitrag zur größeren wissenschaftlichen Gemeinschaft leisten, haben wir ein robustes, optimiertes Toolkit, EmotivPRO, entwickelt, um innovative, reproduzierbare Experimente zu generieren.
Unsere expliziten Anweisungen und transparenten Methoden dienen als Leitfaden, der es den Prüfärzten ermöglicht, die ursprünglichen Ergebnisse zu überprüfen. Der intuitive und benutzerfreundliche Experiment Builder ermöglicht es anderen Forschern, die Ihre Studie reproduzieren möchten, eine vorgefertigte Vorlage auf der Plattform zu nutzen. Alternativ können diese Forscher der kognitiven Neurowissenschaft ein einzigartiges Experiment erstellen, mit dem sie jedes Detail von Grund auf anpassen können.
Emotiv Technologie
Emotiv hat eine Reihe von Tools entwickelt, um jeden Schritt der neurowissenschaftlichen Forschung zu unterstützen.
Die Software EmotivPRO ermöglicht es Anwendern, Studienergebnisse zu verarbeiten, zu analysieren und zu visualisieren. Forscher können auch Experimente auf professionellem Niveau entwerfen, an denen jeder Teilnehmer mit einem Emotiv-Headset teilnehmen kann, sofern er mit dem experimentellen Design konform ist.
Ein Software Development Kit (SDK) für Emotiv ist ebenfalls verfügbar, sodass benutzerdefinierte Apps, Interaktionen oder experimentelle Designs auch unterwegs nur mit dem Headset und einem Smartphone durchgeführt werden können.
Da die Anzahl der Disziplinen und kommerziellen Märkte, die neurowissenschaftliche Instrumente und Methoden nutzen, zunimmt, werden die kostengünstigen und einfach zu bedienenden EEG-Systeme von Emotiv in folgenden Bereichen eingesetzt:
Neurowissenschaftliche Forschung
Marketing-Initiativen für Gesundheit und Wellness
Automobilindustrie
Neuromarketing
Verbraucherforschung
Bildung
Unterhaltungsumgebungen
Darüber hinaus können Forscher dank der Qualität, der Kosten und der Möglichkeit, Emotiv-Headsets weltweit zu versenden, qualifizierte Personen rekrutieren und anmelden. Aufgrund der Qualitätskontrollmetriken, die die Verarbeitungssoftware auswertet, können Forscher auch dem Datenerfassungsprozess vertrauen.
Möchten Sie mehr darüber erfahren, was die EmotivLABs-Plattform für Ihre Forschung tun kann?
Mit EmotivLABS können Sie Ihr Experiment aufbauen, sicher und geschützt bereitstellen, Teilnehmer aus einem globalen Panel verifizierter Teilnehmer rekrutieren und hochwertige EEG-Daten sammeln – und das alles auf einer einzigen Plattform. Klicken Sie hier, um mehr zu erfahren oder eine Demo anzufordern.
3 Ansätze zur Behebung der Reproduzierbarkeitskrise in den Neurowissenschaften:
Führen Sie Pilotstudien mit der Absicht durch, das Experiment erneut durchzuführen.
Sorgen Sie für größere Stichprobensätze.
Diversifizieren Sie Ihre Stichprobe durch die Nutzung von Online-Freiwilligen-Communities.
Es gibt eine viel beschriebene Reproduzierbarkeitskrise in der modernen wissenschaftlichen Forschung, insbesondere in der kognitiven Neurowissenschaft. Das heißt, aufgrund der Kosten und der Logistik für die Gewinnung von Testpersonen oder den Einsatz von High-Tech-Geräten wie der fMRT reproduzieren kognitive neurowissenschaftliche Labore Ergebnisse experimenteller Studien nur selten.
Reproduzierbarkeit wird in diesem Beitrag als ein interner Laborprozess definiert, bei dem sich das experimentelle Design von explorativen Pilotstudien hin zu größeren, stärker kontrollierten experimentellen Studien bewegt, die mehrfach durchgeführt werden. Bei ordnungsgemäß konzipierten Experimenten sollten die gesammelten Daten und Ergebnisse jeder Studie in der Lage sein:
Sich in einen größeren Datensatz einzufügen.
Eine größere Stichprobengröße zu haben
Eine hohe statistische Aussagekraft aufzuweisen.
Diese Faktoren machen neurowissenschaftliche Experimente reif für veröffentlichte Forschungsberichte, sodass andere Labore versuchen können, die Ergebnisse zu replizieren. Bedauerlicherweise geschieht dies jedoch aus mehreren Gründen nur selten.
Diese Reproduzierbarkeitskrise bedroht die Zukunft der Wissenschaft, da sie Zeit, Mühe, Ressourcen und Fachwissen für Studien verschwendet, die nicht repliziert werden. Ohne Replikation geraten „Meilenstein-Studien“ in Vergessenheit und beeinflussen die Welt selten so, wie versprochen. Ein analytischer Bericht des Vizepräsidenten für Hämatologie- und Onkologieforschung schätzte, dass die mangelnde Reproduzierbarkeit allein in den USA jährlich bis zu 28 Milliarden Dollar kostet. Diese Gelder werden letztlich für vorklinische Arbeiten verschwendet, die den Standard einer zuverlässigen Reproduzierbarkeit nicht erfüllen.
Um dieses Muster zu ändern, müssen wir es zunächst verstehen. Wir können damit beginnen, die aktuellen Praktiken und die Kultur der Neurowissenschaften anzuerkennen. In diesem Beitrag werden Versuchsplanung und Terminplanung erörtert, um verschiedene Möglichkeiten aufzuzeigen, wie Ihr Labor die experimentelle Reproduzierbarkeit sowohl innerhalb des Labors (experimentelle Studien) als auch außerhalb des Labors (gemeinsame Nutzung von Open-Science-Daten) verbessern kann. Am Ende werden Sie wissen, wie einige Ressourcen die Kosten und die Logistik für die Gewinnung von Stichprobendaten und Testpersonen reduzieren können.
Machen Sie es noch einmal!
Es ist möglich, Vertrauen in die Reproduzierbarkeit Ihrer Studie zu gewinnen.
In der Regel beginnen die meisten experimentellen Designs mit einer Pilot- oder Sondierungsstudie mit einer kleineren Stichprobengröße, je nach Art des Experiments. In der kognitiven Neurowissenschaft liegt diese anfängliche Stichprobengröße in der Regel bei n < 20. Ihr Zweck besteht darin, sicherzustellen, dass es sich bei dem experimentellen Effekt, den Sie sehen, um einen echten potenziellen Effekt handelt, und den Einsatz zusätzlicher Ressourcen zu rechtfertigen, die ein größeres Experiment erfordert. Diese Studien sind auch wichtig, um das Protokoll zu testen und zu verfeinern.
Im Allgemeinen versuchen kognitive Neurowissenschaftler, die statistische Aussagekraft mit der geringsten Stichprobengröße in Einklang zu bringen, die im Pilotstadium vernünftigerweise erreicht werden kann. Das Ziel dieser Studien ist es, vorläufige statistische Belege für das Vorhandensein eines Effekts zu liefern. Diese Studien sind nicht für Forschungsberichte oder Publikationen gedacht, sondern vielmehr dazu, eine Untersuchungsrichtung zu validieren, Förderanträge zu untermauern und als Grundlage für künftige Studien zu dienen.
Nachdem Pilot- oder Sondierungsstudien in kognitiven neurowissenschaftlichen Experimenten abgeschlossen sind, besteht der nächste Schritt darin, „es noch einmal zu tun!“. Da verschiedene Parameter im Fokus stehen, ist die Wiederholung der Untersuchung ein Weg, um die Reproduzierbarkeitskrise bei experimentellen Daten der kognitiven Neurowissenschaft zu überwinden. Eine geringe statistische Aussagekraft kann in der Regel durch eine größere Stichprobengröße ausgeglichen werden. Um eine angemessene Stichprobengröße zu bestimmen, hat das Journal of Neuroscience im Jahr 2020 diese Empfehlungen ausgesprochen. Wie viele Konzepte und Prinzipien in der kognitiven Neurowissenschaft hängt es vom Kontext und dem beabsichtigten Ziel Ihrer Experimente ab.
Auch diese ersten Studien sind nicht als zu veröffentlichende Forschungsberichte gedacht. Manchmal scheint das jedoch der Fall zu sein, und das führt zu einer Reproduzierbarkeitskrise.
Größere Stichprobensätze & Open Science
Gewinnen Sie die Gewissheit, dass der Effekt, den Sie sehen, ein echter Effekt von praktischer Bedeutung ist.
Der Schritt über die Pilotphase hinaus zu experimentellen Studien, die für eine Veröffentlichung bestimmt sind, ist in der Regel der nächste Schritt im Forschungsprozess eines neurowissenschaftlichen Labors.
Dank der Pilotstudie sind die Forscher von ihrer Methodik überzeugt und scheinen eine echte Wirkung erzielt zu haben.
In dieser Phase:
Konzipieren sie das Experiment mit einem größeren Stichprobensatz.
Müssen sie mehr Daten sammeln.
Führen sie die experimentelle Studie erneut durch.
Wenn die statistischen Tests signifikant und widerspruchsfrei sind, müssen Neurowissenschaftler noch mehr Beweise sammeln, um sicher zu sein, dass sie einen echten Effekt sehen.
Open Science
In Forschungsberichten gibt es eine wachsende Bewegung namens „Open Science“, bei der die Daten und Analyseskripte zusammen mit dem Forschungsbericht veröffentlicht werden. In der kognitiven Neurowissenschaft ist das Neuroscience Information Framework (NIF; neuinfo.org) eine der besten Ressourcen für offene neurowissenschaftliche Forschung.
Die Open-Science-Theorie umfasst alle Phasen des Forschungszyklus, in denen eine verbesserte Transparenz bei der Erfassung, Verarbeitung, Speicherung und Überprüfung von experimentellen Daten angestrebt wird. Die Philosophie der Transparenz in der Open Science umfasst auch experimentelle Designs – die Weitergabe der Details an die wissenschaftliche Gemeinschaft, um die Replikation und Reproduzierbarkeit von experimentellen Kernbereichen der Neurowissenschaften zu verbessern. Solche Methoden ermutigen Wissenschaftler, weiterhin hochkarätige Forschung zu betreiben, und wirken der wachsenden Replikationskrise in der kognitiven Neurowissenschaft entgegen.
Gruppen wie EmotivLABs bauen kognitive neurowissenschaftliche Forschungsgemeinschaften auf, die es ihnen ermöglichen, experimentelle Designs mit anderen Forschern zu teilen.
Da sich die Reproduzierbarkeitskrise weiterhin auf die wissenschaftliche Gemeinschaft auswirkt, war der Bedarf an qualitativ hochwertigen, reproduzierbaren Forschungsstudien noch nie so groß wie heute. Es gibt verschiedene Designoptionen, mit denen andere Wissenschaftler Experimente reproduzieren können. Diese Optionen bieten neurowissenschaftlichen Forschern die Möglichkeit:
Ihre angemessene Stichprobengröße zu bestimmen.
Innovative, validierte und zuverlässige Instrumente für die Datenanalyse zu nutzen.
Sich mit Kollegen und der wissenschaftlichen Leitung zu beraten.
Die Leitprinzipien von Open Science schnell anzuwenden.
Diverse Remote-Freiwilligen-Communities
Eine geringe Stichprobengröße wirkt sich negativ auf die Gültigkeit und Reproduzierbarkeit der Forschung aus, da die mit wenigen Teilnehmern erzielten Ergebnisse nicht auf die übrige Bevölkerung übertragen werden können. Diese Ergebnisse spiegeln nicht die Neurodiversität der Gesellschaft wider. Daher sind Instrumente zur Ferndatenerfassung die Zukunft einer integrativen Neurowissenschaft.
EmotivLABs: Aufbau einer kognitiven neurowissenschaftlichen Gemeinschaft
Lernen Sie Emotiv kennen
Emotiv wurde 2011 gegründet und ist ein in San Francisco ansässiges Bioinformatik-Unternehmen mit der Mission, unser Verständnis des menschlichen Gehirns mithilfe von maßgeschneiderter Elektroenzephalographie-Hardware (EEG), Analyse und Visualisierung voranzutreiben.
Im Mittelpunkt von Open Science steht die Zusammenarbeit. Die Plattform und die Mitarbeiter von Emotiv haben sich zum Ziel gesetzt, die wissenschaftliche Integrität und experimentelle Genauigkeit zu fördern. Unsere skalierbare Forschungsplattform EmotivLABs verbindet kognitive Neurowissenschaftler weltweit mit einem globalen Netzwerk von Forschungsteilnehmern und Prüfärzten. Da wir die additive Linearität der neurowissenschaftlichen Forschung anerkennen, unterstützen wir Forscher durch die Bereitstellung umfangreicher, mehrdimensionaler, reichhaltiger Datensätze, die es Ihnen ermöglichen, aussagekräftige Schlussfolgerungen aus einer breiten Stichprobe zu ziehen.
Vergrößern Sie die Stichprobengröße Ihrer Forschung
EmotivLABs bekämpft die Reproduzierbarkeitskrise, indem es Prüfärzte mit überprüften, qualifizierten Forschungsteilnehmern zusammenbringt, die logistische Last der Rekrutierung verringert und gleichzeitig eine ausreichende statistische Aussagekraft gewährleistet.
Stellen Sie sicher, dass Ihre Arbeit sicher gespeichert, transformierbar und wiederherstellbar ist
Eine weitere Bedrohung für die Reproduzierbarkeit ist die analytische Replikation, die den ursprünglichen Datensatz zur Validierung der Ergebnisse erfordert. Das Finden und Finanzieren eines sicheren Speicherorts ist mühsam. EmotivLABs fungiert als Daten-Repository und speichert Ihre Daten sicher, nachdem die Teilnehmer ihre Aufzeichnungen hochgeladen haben. Diese Daten werden in allen Phasen der Übertragung und Speicherung automatisch hochgeladen und streng verschlüsselt.
Prozesse optimieren
Um Prüfärzte bei der Entwicklung von Experimenten der kognitiven Neurowissenschaft und der Veröffentlichung von Forschungsstudien zu unterstützen, die einen Beitrag zur größeren wissenschaftlichen Gemeinschaft leisten, haben wir ein robustes, optimiertes Toolkit, EmotivPRO, entwickelt, um innovative, reproduzierbare Experimente zu generieren.
Unsere expliziten Anweisungen und transparenten Methoden dienen als Leitfaden, der es den Prüfärzten ermöglicht, die ursprünglichen Ergebnisse zu überprüfen. Der intuitive und benutzerfreundliche Experiment Builder ermöglicht es anderen Forschern, die Ihre Studie reproduzieren möchten, eine vorgefertigte Vorlage auf der Plattform zu nutzen. Alternativ können diese Forscher der kognitiven Neurowissenschaft ein einzigartiges Experiment erstellen, mit dem sie jedes Detail von Grund auf anpassen können.
Emotiv Technologie
Emotiv hat eine Reihe von Tools entwickelt, um jeden Schritt der neurowissenschaftlichen Forschung zu unterstützen.
Die Software EmotivPRO ermöglicht es Anwendern, Studienergebnisse zu verarbeiten, zu analysieren und zu visualisieren. Forscher können auch Experimente auf professionellem Niveau entwerfen, an denen jeder Teilnehmer mit einem Emotiv-Headset teilnehmen kann, sofern er mit dem experimentellen Design konform ist.
Ein Software Development Kit (SDK) für Emotiv ist ebenfalls verfügbar, sodass benutzerdefinierte Apps, Interaktionen oder experimentelle Designs auch unterwegs nur mit dem Headset und einem Smartphone durchgeführt werden können.
Da die Anzahl der Disziplinen und kommerziellen Märkte, die neurowissenschaftliche Instrumente und Methoden nutzen, zunimmt, werden die kostengünstigen und einfach zu bedienenden EEG-Systeme von Emotiv in folgenden Bereichen eingesetzt:
Neurowissenschaftliche Forschung
Marketing-Initiativen für Gesundheit und Wellness
Automobilindustrie
Neuromarketing
Verbraucherforschung
Bildung
Unterhaltungsumgebungen
Darüber hinaus können Forscher dank der Qualität, der Kosten und der Möglichkeit, Emotiv-Headsets weltweit zu versenden, qualifizierte Personen rekrutieren und anmelden. Aufgrund der Qualitätskontrollmetriken, die die Verarbeitungssoftware auswertet, können Forscher auch dem Datenerfassungsprozess vertrauen.
Möchten Sie mehr darüber erfahren, was die EmotivLABs-Plattform für Ihre Forschung tun kann?
Mit EmotivLABS können Sie Ihr Experiment aufbauen, sicher und geschützt bereitstellen, Teilnehmer aus einem globalen Panel verifizierter Teilnehmer rekrutieren und hochwertige EEG-Daten sammeln – und das alles auf einer einzigen Plattform. Klicken Sie hier, um mehr zu erfahren oder eine Demo anzufordern.
Weiterlesen