3 Ansätze zur Behebung der Reproduzierbarkeitskrise in der Neurowissenschaft

3 Ansätze zur Behebung der Reproduzierbarkeitskrise in der Neurowissenschaft:

1. Führen Sie Studien mit der Absicht durch, das Experiment erneut zu wiederholen.

2. Sicherstellen größerer Stichproben.

3. Diversifizieren Sie Ihre Stichprobe, indem Sie Online-Freiwilligengemeinschaften nutzen.

Es gibt eine gut beschriebene Reproduzierbarkeitskrise in der modernen wissenschaftlichen Forschung, insbesondere in der kognitiven Neurowissenschaft. Das bedeutet, dass kognitive Neurowissenschaftslabore aufgrund der Kosten und Logistik bei der Beschaffung von Probanden oder der Nutzung von High-Tech-Ausrüstung wie einem fMRI selten die Ergebnisse experimenteller Studien reproduzieren.

Reproduzierbarkeit wird in diesem Beitrag definiert als ein interner Laborprozess, bei dem sich das experimentelle Design von Pilot-/Erkundungsstudien zu größeren, kontrollierteren experimentellen Studien entwickelt, die mehrfach durchgeführt werden. In richtig gestalteten Experimenten sollten die gesammelten Daten und die Ergebnisse aus jeder Studie in der Lage sein:

• In einem größeren Datensatz zusammenzuführen.

• Eine größere Stichprobengröße zu haben

• Eine hohe statistische Power zu haben.

Diese Faktoren bereiten Neurowissenschaftsexperimente darauf vor, wertvolle Forschungsberichte hervorzuheben, damit andere Labore die Ergebnisse zu replizieren versuchen können. Leider, geschieht dies aus mehreren Gründen selten.

Diese Reproduzierbarkeitskrise bedroht die Zukunft der Wissenschaft, da sie Zeit, Mühe, Ressourcen und Fachwissen für Studien verschwendet, die nicht reproduziert werden. Ohne Replikation verblassen "Meilenstein"-Studien in die Legende und beeinflussen die Welt selten auf die versprochenen Weisen. Ein analytischer Bericht des Vizepräsidenten für Hämatologie und Onkologieforschung schätzte, dass die fehlende Reproduzierbarkeit in den USA allein jährlich bis zu 28 Milliarden Dollar kostet. Diese Mittel sind letztlich auf präklinische Arbeiten verschwendet, die den Standard für zuverlässige Reproduzierbarkeit nicht erfüllen.

Um dieses Muster zu ändern, müssen wir es zunächst verstehen. Wir können damit beginnen, die aktuellen Praktiken und Kulturen der Neurowissenschaften zu erkennen. Dieser Beitrag wird das experimentelle Design und die Planung von Studien erörtern, um mehrere Wege aufzuzeigen, wie Ihr Labor die experimentelle Reproduzierbarkeit sowohl innerhalb des Labors (experimentelle Studien) als auch außerhalb des Labors (offene Wissensdatenfreigabe) verbessern kann. Am Ende werden Sie wissen, wie einige Ressourcen die Kosten und die Logistik zur Beschaffung von Beispieldaten und Testsubjekten reduzieren können.

Führen Sie es erneut durch!

Es ist möglich, Vertrauen in die Reproduzierbarkeit Ihrer Studie zu gewinnen.

In der Regel beginnen die meisten experimentellen Designs mit einer Pilot- oder Erkundungsstudie mit einer kleineren Stichprobengröße, abhängig von der Art des Experiments. In der kognitiven Neurowissenschaft liegt die anfängliche Stichprobengröße normalerweise bei n < 20. Ihr Zweck ist es sicherzustellen, dass der experimentelle Effekt, den Sie sehen, ein echter potenzieller Effekt ist und um die Verwendung zusätzlicher Ressourcen, die ein größeres Experiment erfordert, zu rechtfertigen. Diese Studien sind auch wichtig, um das Protokoll zu testen und zu verfeinern.

Im Allgemeinen versuchen kognitive Neurowissenschaftler, die statistische Power mit der kleinsten Kostenstichprobe, die in der Pilotphase vernünftigerweise erzielt werden kann, auszubalancieren. Das Ziel dieser Studien ist es, vorläufige statistische Beweise für das Vorhandensein eines Effekts zu liefern. Diese Studien sind nicht für Forschungsberichte oder Publikationen gedacht, sondern vielmehr dazu, eine Forschungslinie zu validieren, die Beantragung von Zuschüssen zu untermauern und als Grundlage für zukünftige Studien zu dienen.

Nachdem Pilot- oder Erkundungsstudien in Experimenten der kognitiven Neurowissenschaft abgeschlossen sind, besteht der nächste Schritt darin, "es erneut durchzuführen!" Mit verschiedenen Parametern im Fokus ist das erneute Durchführen der Untersuchung eine Möglichkeit, die Reproduzierbarkeitskrise in den experimentellen Daten der kognitiven Neurowissenschaft zu überwinden. Niedrige statistische Power kann typischerweise durch eine größere Stichprobengröße überwunden werden. Um eine geeignete Stichprobengröße zu bestimmen, gab die Zeitschrift für Neurowissenschaft im Jahr 2020 diese Empfehlungen. Wie viele Konzepte und Prinzipien in der kognitiven Neurowissenschaft hängt es vom Kontext und dem beabsichtigten Ziel Ihrer Experimente ab.

Diese ersten Studien sind jedoch nicht dazu gedacht, veröffentlichte Forschungsberichte zu sein. Manchmal scheint es jedoch, dass dies passiert, und das führt zu einer Reproduzierbarkeitskrise.

Größere Stichproben & Offene Wissenschaft

Gewinnen Sie Vertrauen, dass der Effekt, den Sie sehen, ein echter Effekt mit praktischer Bedeutung ist.

Der Übergang von Pilot- zu experimentellen Studien, die für die Veröffentlichung gedacht sind, ist typischerweise der nächste Schritt im Forschungsprozess eines Neurowissenschaftslabors.

Dank der Pilotstudie sind die Forscher von ihrer Methodik überzeugt und scheinen einen echten Effekt zu haben.

In diesem Stadium:

• Entwerfen Sie das Experiment mit einer größeren Stichprobe.

• Sie müssen mehr Daten sammeln.

• Führen Sie die experimentelle Studie erneut durch.

Wenn statistische Tests signifikant und nicht widersprüchlich sind, müssen Neurowissenschaftler noch mehr Beweise sammeln, um sicher zu sein, dass sie einen echten Effekt sehen.

Offene Wissenschaft

In Forschungsberichten gibt es eine wachsende Bewegung, die als "offene Wissenschaft" bezeichnet wird, bei der die Daten und Analysetools zusammen mit der Forschungsnarrative veröffentlicht werden. In der kognitiven Neurowissenschaft ist eine der besten Ressourcen für open neuroscience research das Neuroscience Information Framework (NIF; neuinfo.org).

Die Theorie der offenen Wissenschaft umfasst alle Phasen des Forschungszyklus, in denen die Transparenz der experimentellen Datensammlung, Verarbeitung, Speicherung und Überprüfung erhöht wird. Die Philosophie der Transparenz in der offenen Wissenschaft umfasst auch experimentelle Designs - die Weitergabe von Details an die wissenschaftliche Gemeinschaft zur Verbesserung der Replikation und Reproduzierbarkeit zentraler Neurowissenschaftsexperimente. Solche Methoden ermutigen Wissenschaftler, weiterhin hochwertige Forschung zu produzieren und der wachsenden Reproduzierbarkeitskrise in der kognitiven Neurowissenschaft entgegenzuwirken.

Gruppen wie EmotivLABs kultivieren Gemeinschaften der kognitiven Neurowissenschaft, die es ermöglichen, experimentelle Designs mit anderen Forschern zu teilen.

Da die Reproduzierbarkeitskrise die wissenschaftliche Gemeinschaft weiterhin beeinflusst, war der Bedarf an hochwertigen, reproduzierbaren Forschungsstudien nie höher. Es gibt mehrere Designoptionen, die anderen Wissenschaftlern ermöglichen, Experimente zu reproduzieren. Diese Optionen geben Neurowissenschafts-Forschern die Möglichkeit:

• Ihre geeignete Stichprobengröße zu bestimmen.

• Innovative, validierte, zuverlässige Werkzeuge für die Datenanalyse zu verwenden.

• Mit Kollegen und wissenschaftlicher Leitung zu konsultieren.

• Die Grundsätze der offenen Wissenschaft schnell zu nutzen.

Diverse Remote-Freiwilligengemeinschaften

Eine kleine Stichprobe beeinträchtigt negativ die Validität und Reproduzierbarkeit der Forschung, da die Ergebnisse, die von mehreren Teilnehmern erzeugt werden, nicht auf die gesamte Bevölkerung verallgemeinert werden können. Diese Ergebnisse umfassen nicht die Neurodiversität der Gesellschaft. Daher sind Tools zur Fern-Datensammlung die Zukunft der inklusiven Neurowissenschaft.

EmotivLABs: Eine Gemeinschaft für kognitive Neurowissenschaft aufbauen

Treffen Sie EMOTIV

EMOTIV, 2011 gegründet, ist ein in San Francisco ansässiges Bioinformatikunternehmen mit dem Ziel, unser Verständnis des menschlichen Gehirns mithilfe von maßgeschneiderten Elektroenzephalographie (EEG) Hardware, Analyse und Visualisierung zu verbessern.

Im Kern der offenen Wissenschaft steht die Zusammenarbeit. Die Plattform und die Mitarbeiter von Emotiv zielen darauf ab, wissenschaftliche Integrität und experimentelle Rigor zu fördern. Unsere skalierbare Forschungsplattform, EmotivLABs, verbindet kognitive Neurowissenschaftler weltweit mit einer globalen Population von Forschungsteilnehmern und -ern. In Anerkennung der additiven Linearität der neurowissenschaftlichen Forschung unterstützen wir Forscher, indem wir umfangreiche, multidimensionale, reichhaltige Datensätze bereitstellen, die es Ihnen ermöglichen, sinnvolle Schlussfolgerungen aus einer breiten Stichprobe zu ziehen.

Steigern Sie die Stichprobengröße Ihrer Forschung

EmotivLABs bekämpft die Reproduzierbarkeitskrise, indem es Ermittlern ermöglicht, verifizierte, qualifizierte Forschungsteilnehmer zu verbinden und die logistische Last der Rekrutierung zu verringern, während ausreichende statistische Power sichergestellt wird.

Stellen Sie sicher, dass Ihre Arbeit sicher gespeichert, veränderbar und wiederherstellbar ist

Eine weitere Bedrohung für die Reproduzierbarkeit ist die analytische Replikation, die den ursprünglichen Datensatz zur Validierung der Ergebnisse erfordert. Das Finden und Finanzen eines sicheren Speicherorts ist mühsam. Als Datenrepository fungierend, speichert EmotivLABs Ihre Daten sicher, nachdem die Teilnehmer ihre Aufzeichnungen hochgeladen haben. Diese Daten werden automatisch hochgeladen und in allen Phasen des Transports und der Speicherung rigoros verschlüsselt.

Prozesse optimieren

Um Ermittlern zu helfen, kognitive Neurowissenschaftsexperimente zu entwerfen und Forschungsstudien zu veröffentlichen, die zur größeren wissenschaftlichen Gemeinschaft beitragen, haben wir ein robustes, optimiertes Toolkit, EmotivPro, entwickelt, um innovative, reproduzierbare Experimente zu erzeugen.

Unsere klaren Anweisungen und transparenten Methoden dienen als Leitfaden, damit Ermittler die ursprünglichen Ergebnisse überprüfen können. Der intuitive und benutzerfreundliche Experiment Builder ermöglicht es anderen Forschern, die Ihre Studie reproduzieren möchten, indem er eine vorgefertigte Vorlage innerhalb der Plattform bereitstellt. Alternativ können diese Forscher der kognitiven Neurowissenschaft ein einzigartiges Experiment erstellen, was es ihnen ermöglicht, jedes Detail von Grund auf neu zu gestalten.

EMOTIV-Technologie

EMOTIV hat eine Suite von Tools entwickelt, um jeden Schritt der neurowissenschaftlichen Forschung zu unterstützen.

Die EmotivPRO-Software ermöglicht es Benutzern, Versuchsergebnisse zu verarbeiten, zu analysieren und zu visualisieren. Forscher können auch Experimente auf professioneller Ebene gestalten, an denen jeder Teilnehmer mit einem EMOTIV-Headset teilnehmen kann, sofern er den experimentellen Design entspricht.

Ein Software Development Kit (SDK) für EMOTIV ist ebenfalls verfügbar, sodass benutzerdefinierte Apps, Interaktionen oder experimentelle Designs unterwegs mit Headset und Smartphone allein durchgeführt werden können.

Da die Anzahl der Disziplinen und Handelsmärkte, die neurowissenschaftliche Werkzeuge und Methoden anwenden, zunimmt, werden die kostengünstigen, benutzerfreundlichen EEG-Systeme von EMOTIV in:

• Neurowissenschaftlicher Forschung

• Gesundheits- und Wellnessmarketing-Initiativen

• Automobilindustrie

• Neuromarketing

• Verbraucherforschung

• Bildung

• Unterhaltungsumgebungen

Zusätzlich können Forscher aufgrund der Qualität, Kosten und der Fähigkeit, EMOTIV-Headsets weltweit zu versenden, Personen rekrutieren und einschreiben, die berechtigt sind. Dank der Qualitätssicherungsmetriken, die die Verarbeitungssoftware bewertet, können Forscher auch dem Datensammelprozess vertrauen.

Möchten Sie mehr darüber erfahren, was die EmotivLABs-Plattform für Ihre Forschung tun kann?

EmotivLABS ermöglicht es Ihnen, Ihr Experiment zu erstellen, sicher und geschützt durchzuführen, aus einem globalen Panel von verifizierten Teilnehmern zu rekrutieren und hochwertige EEG-Daten zu sammeln - alles von einer Plattform aus. Klicken Sie hier, um mehr zu erfahren oder eine Demo anzufordern.