Statistische Signifikanz: Stichprobengröße(n) & statistische Aussagekraft – Um die Welt um uns herum zu verstehen, nutzen Forscher formell die wissenschaftliche Methode als Weg, um vermutete Wahrheiten von Unwahrheiten zu trennen. Die kognitive Neurowissenschaft zielt darauf ab zu verstehen, wie genetische, neurologische und verhaltensbezogene Systeme die Fähigkeit eines Organismus unterstützen, die Welt um ihn herum wahrzunehmen, mit ihr zu interagieren, sich in ihr zurechtzufinden und über sie nachzudenken.

Das bedeutet, dass die kognitive Neurowissenschaft Experimente entwirft und Daten auf allen Analyseebenen sammelt. Forschungsprogramme weltweit, die unser Verständnis der natürlichen Welt vertiefen wollen, testen regelmäßig Annahmen oder Hypothesen in einer gut geplanten Reihe kleinerer Experimente. Diese Experimente neigen dazu, spezifische Faktoren zu untersuchen, die ein Ergebnis beeinflussen können oder nicht, während der Einfluss von Störfaktoren wie Umwelt, sexueller Orientierung, ethnischer Zugehörigkeit oder sozioökonomischem Status minimiert wird.

Szenario Eins: Eine Studie zur Dopaminausschüttung

In der kognitiven Neurowissenschaft gilt Dopamin allgemein als „Wohlfühl“-Verbindung. Seine Ausschüttung im Nucleus Accumbens (NuAc) wird durch Verhaltensweisen oder Dinge ausgelöst, die uns dazu motivieren, aktiv zu werden. Dazu gehören:

• Eine gute Mahlzeit essen

• Zeit mit geliebten Menschen verbringen

• Sex

• Zucker

Nehmen wir an, wir möchten herausfinden, ob die maximalen Dopaminspiegel im NuAc vor, während oder nach dem Kontakt mit einem gewünschten oder vertrauten visuellen Stimulus auftreten. Wir können das EEG-Versuchsdesign verwenden, das aus der Studie von Amatya Johanna Mackintosh übernommen wurde. Wir können die Hypothese aufstellen, dass die Dopaminausschüttung während des Kontakts mit den vertrauten oder gewünschten visuellen Stimuli stattfindet und kurz danach ihren Höhepunkt erreicht.

Nun ist die entscheidende Frage: Woher bekommen wir Testpersonen?

In experimentellen Situationen bezieht sich „Population“ auf die größere, gesamte Gruppe, die untersucht wird. Es ist unpraktisch und unwahrscheinlich, dass Ihr Labor eine Methode entwickeln könnte, um Dopamin-Ausschüttungsdaten von Hunderttausenden oder Millionen von Menschen zu rekrutieren und zu sammeln.

Daher werden wir versuchen, Daten von einer kleineren, repräsentativen Gruppe oder Stichprobe zu sammeln, um die Population zu verstehen. Dazu müssen wir zwei Hauptfragen beantworten.

1. Wie viele Personen müssen in unsere Stichprobe aufgenommen werden?

2. Wie hängt dies mit der praktischen Relevanz und der statistischen Aussagekraft zusammen?

Lassen Sie es uns im Folgenden aufschlüsseln.

Statistische Aussagekraft und wahrer Effekt

Die statistische Aussagekraft (Power) ist definiert als die Wahrscheinlichkeit, dass ein Test einen statistisch signifikanten Unterschied erkennt, wenn ein solcher Unterschied tatsächlich existiert. Sie wird auch als wahrer Effekt bezeichnet.

Der wahre Effekt ist der Eckpfeiler des Versuchsdesigns. Cohens Bericht von 1988, der für seine Beiträge zur wissenschaftlichen Methode berühmt ist, argumentierte, dass eine Studie so konzipiert sein sollte, dass sie eine Wahrscheinlichkeit von 80% hat, einen wahren Effekt zu erkennen. Diese 80% stehen für ein Testdesign mit hoher Aussagekraft (High-Power, HP), während jeder Wert nahe 20% ein Testdesign mit geringer Aussagekraft (Low-Power, LP) ist.

Cohen schlug vor, dass Studien immer eine Wahrscheinlichkeit von weniger als 20% für einen Fehler 2. Art (auch bekannt als falsch-negatives Ergebnis) aufweisen sollten. Er verwendet dieselben Richtlinienbereiche auch für verpasste Entdeckungen, die auftreten, wenn ein Forscher fälschlicherweise berichtet, dass kein signifikanter Effekt vorliegt, obwohl tatsächlich ein Unterschied existiert.

Warum ist die statistische Aussagekraft wichtig?

Stellen Sie sich dieses Szenario vor. Wenn in 100 verschiedenen Studien mit einer Aussagekraft von 80% ein wahrer Effekt existiert, werden statistische Tests in 80 von 100 Studien einen wahren Effekt erkennen. Wenn eine Studie jedoch eine statistische Aussagekraft von 20% hat, wird bei 100 echten Effekten ungleich Null in den Ergebnissen erwartet, dass diese Studien nur 20 davon entdecken.

Schwächen der statistischen Aussagekraft in der neurowissenschaftlichen Forschung

Aufgrund des ressourcenintensiven Charakters der neurowissenschaftlichen Forschung ist es nicht überraschend, dass dieser Bereich eine mediane statistische Aussagekraft von etwa 21% aufweist und sich im Durchschnitt in einem breiten Spektrum von 8%-31% bewegt. Eine geringe statistische Aussagekraft in der neurowissenschaftlichen Forschung:

• Zweifelt an der Replizierbarkeit von Ergebnissen.

• Führt zu einer übertriebenen Effektstärke.

• Verringert die Wahrscheinlichkeit statistisch signifikanter Ergebnisse, die den wahren Effekt genau widerspiegeln.

Daher ist der aktuelle Stand der neurowissenschaftlichen Forschung im Problem der statistischen Aussagekraft gefangen, da diese Werte weit unter Cohens theoretischem Schwellenwert liegen.

Einrichtung einer repräsentativen Stichproben-Gruppe(n)

Ziel von Szenario Eins: Stichprobenfehler sowie Fehler 1. und 2. Art in unserem Test durch eine inklusive und große Stichprobenziehung vermeiden.

Wie viele Scans des menschlichen Gehirns müssen in unseren Stichproben-Satz aufgenommen werden, wenn wir wollen, dass das Experiment eine praktische Relevanz hat? Die praktische Relevanz bezieht sich darauf, ob die Ergebnisse eines Experiments auf die reale Welt anwendbar sind oder nicht.

Die Fähigkeit eines Neurowissenschaftlers, in seinem Experiment Effekte zu bestimmen (statistische Aussagekraft), hängt von der Stichprobengröße ab. Unter Beibehaltung der Parameter von Szenario 1 bleibt das Ziel weiterhin, genügend Daten zu sammeln, damit wir statistisch auswerten können, ob es einen wahren Effekt beim Zeitpunkt der Dopaminausschüttung nach dem Zeigen von emotional aufgeladenen visuellen Reizen gibt. Wir müssen auch Kriterien für die Aufnahme in die Stichprobe festlegen, die das Potenzial für einen Stichprobenfehler minimieren.

Wie man Stichprobenfehler vermeidet

Zwei Begriffe sind wichtig zu verstehen, bevor wir fortfahren.

1. Stichprobenfehler: Bei der Stichprobenziehung besteht immer die Möglichkeit, dass die gesammelten Daten der ausgewählten Personen nicht repräsentativ für die Grundgesamtheit sind.

2. Statistische Signifikanz: Statistische Signifikanz bedeutet, dass unsere Daten und unsere beobachteten Effekte wahrscheinlich wahre Effekte sind. In den meisten biomedizinischen Wissenschaften wird die statistische Signifikanz mit einem Signifikanzniveau oder p-Wert von .05 festgelegt. Im Wesentlichen bedeutet dies, dass die Wissenschaftler zu 95% auf den in ihren Experimenten beobachteten Effekt vertrauen.

Überlegen Sie, ob die Daten eine Beziehung zeigen (d. h. Dopaminausschüttung). Es besteht eine Wahrscheinlichkeit von 5%, dass der Effekt auf Zufall beruht und nicht mit der Variablen (den visuellen Reizen) zusammenhängt. Dies wäre ein Fehler 1. Art (Type I error). Alternativ besteht eine Wahrscheinlichkeit von 5%, dass unsere gesammelten Daten keinen Zusammenhang zwischen der Dopaminausschüttung und visuellen Reizen zeigen, obwohl in Wirklichkeit ein wahrer Effekt vorliegt – ein falsch-negatives Ergebnis oder ein Fehler 2. Art (Type II error).

Die sorgfältige Festlegung von Einschlusskriterien ist wirkungsvoller, da ab einer bestimmten Stichprobengröße ein Punkt abnehmender Erträge erreicht wird.

Wir hoffen, Daten zu sammeln, die alle Menschen repräsentieren, und wir möchten, dass unsere Schlussfolgerungen sowohl praktisch relevant als auch statistisch signifikant sind. Um unseren Stichproben-Satz erfolgreich zu konzipieren, müssen ein Stichprobenfehler, ein Fehler 1. Art (falsch-positiv) oder ein Fehler 2. Art (falsch-negativ) einkalkelt und vermieden werden.

Unser Experiment testet die folgende Hypothese:

• Nullhypothese – Kein Zusammenhang oder Effekt zwischen dem Zeitpunkt der Dopaminausschüttung im NAc und dem emotional besetzten visuellen Stimulus.

• Hypothese – Es GIBT einen Zusammenhang zwischen dem Zeitpunkt der Dopaminausschüttung im NAc und dem emotional besetzten visuellen Stimulus, und die maximale Dopaminausschüttung erfolgt nach dem Betrachten der visuellen Stimuli.

Es gibt einen Zusammenhang zwischen dem Zeitpunkt der Dopaminausschüttung im NAc und emotional besetzten visuellen Reizen. Wenn die Daten nicht statistisch signifikant sind:

• Wird unsere Hypothese verworfen.

• Wird kein wahrer Effekt oder Unterschied gefunden.

• Ist es genauso wahrscheinlich, dass unsere beobachteten Effekte auf Zufall beruhen.

Die Grundgesamtheit verstehen?

Praktische Einschränkungen im Versuchsdesign.

In der neurowissenschaftlichen Forschung versucht ein formales Einschlusskriterium in der Regel, die Wahrscheinlichkeit der Aufnahme in die Grundgesamtheit zu randomisieren und/oder anzugleichen, um Stichprobenfehler zu vermeiden. Wir müssen vermeiden, Personen nur deshalb auszuwählen, weil sie am nächsten oder am leichtesten zugänglich sind, um Daten zu sammeln, da dies das Rezept für einen Stichprobenfehler ist.

Der beste Ansatz zur Erstellung eines Stichproben-Satzes besteht darin, Einschlusskriterien zu verwenden, die die Auswahlwahrscheinlichkeit über die gesamte Grundgesamtheit hinweg nach dem Zufallsprinzip angleichen. Mithilfe von Volkszählungsdaten könnten wir beispielsweise Kontaktinformationen für 50 zufällig ausgewählte Personen in jedem Landkreis von Ohio erhalten. Dies würde die Auswahlverzerrung minimieren, da die Namen nach dem Zufallsprinzip zu gleichen Teilen aus allen geografischen Gebieten ausgewählt würden.

Die Festlegung des Versuchsdesigns, die Erhöhung der Stichprobengröße und die vollständige Umsetzung eines unvoreingenommenen, randomisierten und gleichermaßen angewandten Einschlusskriteriums können schnell an praktische Grenzen stoßen. Dies ist ein Problem für die wissenschaftliche Forschung auf allen Ebenen, von akademischen Übungen bis hin zu vollwertigen Forschungsuniversitäten. In der Regel sind Budget- und Zeitbeschränkungen die ersten, die zu Kompromissen zwingen. Zusammengenommen sind diese Fragen rund um die statistische Signifikanz aktive Forschungsbereiche.

Was ist die wahre Effektstärke?

Aufgrund der geringen statistischen Aussagekraft der neurowissenschaftlichen Forschung neigen wir dazu, die wahre Effektstärke zu überschätzen, was zu einer geringen Reproduzierbarkeit vieler Studien führt. Darüber hinaus macht die inhärente Komplexität der neurowissenschaftlichen Forschung eine statistische Aussagekraft unerlässlich.

Eine Methode, die das Fachgebiet anwenden kann, besteht darin, die Aussagekraft einer Studie durch eine Vergrößerung der Stichprobe zu erhöhen. Dies erhöht die Wahrscheinlichkeit, einen wahren Effekt zu erkennen. Die Wahl einer geeigneten Stichprobengröße ist entscheidend für die Gestaltung einer Forschung, die:

• Praktische Entdeckungen macht.

• Unser Verständnis der unzähligen Prozesse im Gehirn voranbringt.

• Wirksame Therapien entwickelt.

Herausforderungen in der zeitgenössischen neurowissenschaftlichen Forschung meistern: Die EmotivLAB-Plattform

Die Versuchsdesigns der neurowissenschaftlichen Forschung sollten darauf drängen, größere Stichprobengruppen und bessere Einschlusskriterien zu etablieren, um eine verlässliche statistische Signifikanz zu erreichen. Mit dem Zugang zu einer Crowdsourcing-gestützten Plattform wie EmotivLAB erhalten Forscher Zugang zu potenziell weitaus vielfältigeren, weitaus repräsentativeren Testpersonen – was die Stichprobengröße und die Inklusivität aller Demografien bei minimalem zusätzlichem logistischem Aufwand für die Forschungsgruppen verbessert.

Die moderne neurowissenschaftliche Forschung kann anfällig für Stichprobenfehler sein, da nur begrenzte Ressourcen zur Verfügung stehen, um eine diverse Gruppe für den experimentellen Stichproben-Satz zu rekrutieren. Das Konzept der „WEIRD-Gruppe“ bringt das Problem auf den Punkt. Der Großteil der universitären Forschung wird mit einem winzigen Budget an Testpersonen durchgeführt, die im Allgemeinen westlich, gebildet und aus industrialisierten, reichen und demokratischen Ländern stammen. Remote-Datenerfassungsgeräte, wie die EEG-Plattform von EmotivLAB, ermöglichen es Forschern jedoch, über den Universitätscampus hinauszureichen, um Stichprobengruppen zu rekrutieren, die die Bevölkerung besser widerspiegeln.

Die Plattform von EmotivLAB und die Remote-EEG-Geräte helfen Forschern nicht nur dabei, die Diversität der in experimentelle Stichprobengruppen aufgenommenen Personen zu erweitern. Sie vermitteln auch bei Fragen zur Gesamtstichprobengröße und zur geografischen Reichweite in Zielpopulationen.

Die EmotivLAB-Plattform befreit Forscher von den aktuellen Zwängen und ermöglicht es ihnen stattdessen, ihre Energie auf das Entwerfen von Experimenten und das Analysieren der Ergebnisse zu konzentrieren. Unsere Plattform gleicht das Experiment mit den am besten geeigneten Personen im Teilnehmerpool ab. Es ist nicht nötig, Zeit mit der Rekrutierung von Teilnehmern, deren Koordination und Terminierung und der Datenerfassung im Labor zu verbringen. Es ist lediglich erforderlich, die gewünschte Demografie auf der Online-Plattform anzugeben, und EmotivLAB stellt das Experiment den Mitwirkenden zur Verfügung, die den gewünschten Parametern am besten entsprechen. Die Teilnehmer können die Experimente in ihren eigenen vier Wänden mit ihren eigenen Geräten durchführen. Ihre Vertrautheit mit dem Headset macht es für Forscher überflüssig, Anweisungen zur Verwendung zu geben.

Darüber hinaus bietet die EmotivLAB-Plattform eine automatisierte Qualitätskontrolle und -bewertung der EEG-Aufzeichnungsdaten. Große Mengen qualitativ minderwertiger Daten helfen nicht, Stichproben- oder statistische Fehler in Versuchsdesigns zu überwinden. Der Zugriff auf qualitativ hochwertigere Daten bietet jedoch eine Lösung, um Fehler zu vermeiden in den Bereichen:

• Stichprobenziehung

• Population

• Statistische Signifikanz

Möchten Sie mehr darüber erfahren, was die EmotivLAB-Plattform für Ihre Forschung tun könnte?

EmotivLABS ermöglicht es Ihnen, Ihr Experiment aufzubauen, Ihr Experiment sicher und geschützt bereitzustellen, Teilnehmer aus einem globalen Panel verifizierter Personen zu rekrutieren und hochwertige EEG-Daten zu sammeln – alles auf einer einzigen Plattform. Klicken Sie hier, um mehr zu erfahren oder eine Demo anzufordern.