Statistische Signifikanz: Stichprobengröße(n) & statistische Aussagekraft – Um die Welt um uns herum zu verstehen, nutzen Forschende formell die wissenschaftliche Methode, um vermutete Wahrheiten von Unwahrheiten zu trennen. Die kognitive Neurowissenschaft zielt darauf ab zu verstehen, wie genetische, neurologische und Verhaltenssysteme die Fähigkeit eines Organismus unterstützen, die Welt um ihn herum wahrzunehmen, mit ihr zu interagieren, sich in ihr zu bewegen und über sie nachzudenken.

Das bedeutet, dass die kognitive Neurowissenschaft Experimente entwirft und Daten auf allen Analyseebenen sammelt. Forschungsprogramme weltweit, die unser Verständnis der natürlichen Welt vertiefen wollen, testen regelmäßig Annahmen oder Hypothesen in einer gut geplanten Reihe kleinerer Experimente. Diese Experimente neigen dazu, spezifische Faktoren zu untersuchen, die ein Ergebnis beeinflussen können oder auch nicht, während sie den Einfluss von Störfaktoren wie Umwelt, sexueller Orientierung, ethnischer Zugehörigkeit oder sozioökonomischem Status minimieren.

Szenario eins: Eine Dopaminfreisetzungsstudie

In der kognitiven Neurowissenschaft gilt Dopamin im Allgemeinen als „Wohlfühlsubstanz“. Seine Freisetzung im Nucleus accumbens (NuAc) wird durch Verhaltensweisen oder Dinge ausgelöst, die uns dazu motivieren, aktiv zu werden. Dazu können gehören:

• Ein gutes Essen genießen

• Zeit mit geliebten Menschen verbringen

• Sex

• Zucker

Nehmen wir an, wir möchten herausfinden, ob die Dopamin-Spitzenwerte im NuAc vor, während oder nach der Exposition gegenüber einem gewünschten oder vertrauten visuellen Stimulus auftreten. Wir können das EEG-Versuchsdesign verwenden, das aus Amatya Johanna Mackintoshs Studie übernommen wurde. Wir können die Hypothese aufstellen, dass die Dopaminfreisetzung während der Exposition gegenüber dem vertrauten oder gewünschten visuellen Stimulus stattfindet und kurz danach ihren Höhepunkt erreicht.

Nun stellt sich die kritischste Frage: Woher bekommen wir Testpersonen?

In experimentellen Situationen bezieht sich „Grundgesamtheit“ auf die größere Gesamtheit, die untersucht wird. Es ist unpraktisch und unwahrscheinlich, dass Ihr Labor eine Methode entwickeln könnte, um Dopaminfreisetzungsdaten von Hunderttausenden oder Millionen von Menschen zu rekrutieren und zu sammeln.

Daher werden wir versuchen, Daten von einer kleineren, repräsentativen Gruppe oder Stichprobe zu sammeln, um die Grundgesamtheit zu verstehen. Dazu müssen wir zwei Hauptfragen beantworten.

1. Wie viele Personen müssen in unsere Stichprobe aufgenommen werden?

2. Wie steht dies in Beziehung zur praktischen Signifikanz und statistischen Aussagekraft?

Lassen Sie es uns im Folgenden aufschlüsseln.

Statistische Aussagekraft und wahrer Effekt

Statistische Aussagekraft (Power) ist definiert als die Wahrscheinlichkeit, dass ein Test einen statistisch signifikanten Unterschied erkennt, wenn ein solcher Unterschied tatsächlich existiert. Sie wird auch als wahrer Effekt bezeichnet.

Der wahre Effekt ist der Eckpfeiler des Versuchsdesigns. Cohens Bericht von 1988, der für seine Beiträge zur wissenschaftlichen Methode bekannt ist, argumentierte, dass eine Studie so konzipiert sein sollte, dass sie eine Wahrscheinlichkeit von 80 % aufweist, einen wahren Effekt zu erkennen. Diese 80 % stehen für ein Testdesign mit hoher Aussagekraft (High-Power, HP), während jeder Wert, der sich 20 % nähert, ein Testdesign mit geringer Aussagekraft (Low-Power, LP) darstellt.

Cohen schlug vor, dass Studien immer eine Wahrscheinlichkeit von weniger als 20 % haben sollten, einen Fehler 2. Art (auch bekannt als Falsch-Negativ) zu begehen. Er verwendet dieselben Richtlinienbereiche auch für verpasste Entdeckungen, die auftreten, wenn ein Forscher fälschlicherweise keinen signifikanten Effekt meldet, obwohl tatsächlich ein Unterschied besteht.

Warum ist statistische Aussagekraft wichtig?

Stellen Sie sich dieses Szenario vor. Wenn in 100 verschiedenen Studien mit 80 % Power ein wahrer Effekt existiert, werden statistische Tests in 80 von 100 Studien einen wahren Effekt feststellen. Wenn eine Studie jedoch eine statistische Aussagekraft von 20 % hat, wird bei 100 echten Effekten ungleich null in den Ergebnissen erwartet, dass diese Studien nur 20 davon entdecken.

Mängel der statistischen Aussagekraft in der neurowissenschaftlichen Forschung

Aufgrund der ressourcenintensiven Natur der neurowissenschaftlichen Forschung hat dieses Feld wenig überraschend eine mediane statistische Aussagekraft von etwa 21 % und bewegt sich im Durchschnitt in einem breiten Bereich von 8 %–31 %. Eine geringe statistische Aussagekraft in der neurowissenschaftlichen Forschung:

• Lässt Zweifel an der Replizierbarkeit der Ergebnisse aufkommen.

• Führt zu einer übertriebenen Effektstärke.

• Verringert die Wahrscheinlichkeit statistisch signifikanter Ergebnisse, die den wahren Effekt genau widerspiegeln.

Daher ist der aktuelle Stand der neurowissenschaftlichen Forschung im Problem der statistischen Aussagekraft gefangen, da diese Werte weit unter Cohens theoretischer Schwelle liegen.

Etablierung einer repräsentativen Stichprobengruppe(n)

Ziel von Szenario eins: Vermeidung von Stichprobenfehlern sowie Fehlern 1. und 2. Art in unserem Test durch eine integrative und große Stichprobenerhebung.

Wie viele menschliche Gehirnscans müssen in unseren Stichprobensatz aufgenommen werden, wenn das Experiment praktisch signifikant sein soll? Praktische Signifikanz bezieht sich darauf, ob die Ergebnisse eines Experiments auf die reale Welt anwendbar sind oder nicht.

Die Fähigkeit des Experiments eines Neurowissenschaftlers, Effekte zu bestimmen (statistische Aussagekraft), hängt von der Stichprobengröße ab. Unter Beibehaltung der Parameter von Szenario 1 ist es weiterhin das Ziel, genügend Daten zu sammeln, um statistisch auswerten zu können, ob es einen wahren Effekt beim Timing der Dopaminfreisetzung nach dem Zeigen emotional aufgeladener visueller Reize gibt. Wir müssen auch Kriterien für die Aufnahme in die Stichprobe festlegen, die das Risiko eines Stichprobenfehlers minimieren.

Wie man Stichprobenfehler vermeidet

Zwei Begriffe sind wichtig zu verstehen, bevor wir fortfahren.

1. Stichprobenfehler: Bei der Stichprobenerhebung besteht immer die Möglichkeit, dass die erhobenen Daten der ausgewählten Personen nicht die Grundgesamtheit repräsentieren.

2. Statistische Signifikanz: Statistische Signifikanz bedeutet, dass unsere Daten und unsere beobachteten Effekte wahrscheinlich wahre Effekte sind. In den meisten biomedizinischen Wissenschaften wird die statistische Signifikanz mit einem Signifikanzniveau oder p-Wert von .05 festgestellt. Im Wesentlichen bedeutet dies, dass die Wissenschaftler zu 95 % Vertrauen in den in ihren Experimenten beobachteten Effekt haben.

Überlegen Sie, ob die Daten eine Beziehung zeigen (z. B. Dopaminfreisetzung). Es besteht eine Wahrscheinlichkeit von 5 %, dass der Effekt auf Zufall beruht und nicht mit der Variable (visuelle Reize) zusammenhängt. Dies wäre ein Fehler 1. Art (Type I error). Alternativ besteht eine Wahrscheinlichkeit von 5 %, dass unsere gesammelten Daten keinen Zusammenhang zwischen der Dopaminfreisetzung und visuellen Reizen zeigen, obwohl tatsächlich ein wahrer Effekt vorliegt – ein falsch-negatives Ergebnis oder ein Fehler 2. Art (Type II error).

Die sorgfältige Festlegung von Einschlusskriterien ist wirkungsvoller, da ab einer bestimmten Stichprobengröße ein Punkt abnehmender Erträge erreicht wird.

Wir hoffen, Daten zu sammeln, die alle Menschen repräsentieren, und wir möchten, dass unsere Schlussfolgerungen sowohl praktisch als auch statistisch signifikant sind. Um unseren Stichprobensatz erfolgreich zu entwerfen, müssen ein Stichprobenfehler, ein Fehler 1. Art (falsch-positiv) oder ein Fehler 2. Art (falsch-negativ) berücksichtigt und vermieden werden.

Unser Experiment testet die folgende Hypothese:

• Nullhypothese – Kein Zusammenhang oder Effekt zwischen dem Zeitpunkt der Dopaminfreisetzung im NAc und dem emotional besetzten visuellen Reiz.

• Hypothese – Es GIBT einen Zusammenhang zwischen dem Zeitpunkt der Dopaminfreisetzung im NAc und dem emotional besetzten visuellen Reiz, und die maximale Dopaminfreisetzung erfolgt nach dem Sehen des visuellen Reizes.

Es gibt einen Zusammenhang zwischen dem Zeitpunkt der Dopaminfreisetzung im NAc und emotional besetzten visuellen Reizen. Wenn die Daten nicht statistisch signifikant sind:

• Wird unsere Hypothese verworfen.

• Wird kein wahrer Effekt oder Unterschied gefunden.

• Ist es ebenso wahrscheinlich, dass unsere beobachteten Effekte auf Zufall beruhen.

Die Grundgesamtheit verstehen?

Praktische Einschränkungen im Versuchsdesign.

In der neurowissenschaftlichen Forschung versucht ein formelles Einschlusskriterium in der Regel, die Wahrscheinlichkeit der Aufnahme in die gesamte Grundgesamtheit zu randomisieren und/oder auszugleichen, um Stichprobenfehler zu vermeiden. Wir müssen es vermeiden, Personen nur deshalb auszuwählen, weil sie am nächsten oder am leichtesten zugänglich sind, um Daten zu sammeln, da dies das Rezept für einen Stichprobenfehler ist.

Der beste Ansatz zur Erstellung eines Stichprobensatzes besteht darin, Einschlusskriterien zu verwenden, die die Auswahlwahrscheinlichkeit über die gesamte Grundgesamtheit hinweg zufällig ausgleichen. Beispielsweise könnten wir mithilfe von Volkszählungsdaten Kontaktdaten von 50 zufällig ausgewählten Personen in jedem Landkreis von Ohio erhalten. Dies würde die Auswahlverzerrung minimieren, da die Namen zufällig und gleichmäßig aus allen geografischen Gebieten ausgewählt würden.

Die Etablierung des Versuchsdesigns, die Erhöhung der Stichprobengröße und die vollständige Umsetzung unvoreingenommener, randomisierter und gleichermaßen angewandter Einschlusskriterien können jedoch schnell an praktische Grenzen stoßen. Dies ist ein Problem für die wissenschaftliche Forschung auf allen Ebenen, von akademischen Übungen bis hin zu vollwertigen Forschungsuniversitäten. In der Regel sind Budget- und Zeitbeschränkungen die ersten Faktoren, die zu Kompromissen zwingen. Zusammengenommen sind diese Fragen rund um die statistische Signifikanz aktive Forschungsgebiete.

Was ist die wahre Effektstärke?

Aufgrund der geringen statistischen Aussagekraft der neurowissenschaftlichen Forschung neigen wir dazu, die wahre Effektstärke zu überschätzen, was zu der geringen Reproduzierbarkeit vieler Studien führt. Darüber hinaus macht die inhärente Komplexität der neurowissenschaftlichen Forschung eine statistische Aussagekraft unerlässlich.

Eine Methode, die das Fachgebiet anwenden kann, besteht darin, die Aussagekraft einer Studie durch Erhöhung der Stichprobengröße zu steigern. Dies erhöht die Wahrscheinlichkeit, einen wahren Effekt zu erkennen. Die Wahl einer geeigneten Stichprobengröße ist entscheidend für die Gestaltung von Forschungsarbeiten, die:

• Praktische Entdeckungen machen.

• Unser Verständnis der unzähligen Prozesse im Gehirn voranbringen.

• Effektive Therapien entwickeln.

Herausforderungen in der zeitgenössischen neurowissenschaftlichen Forschung meistern: Die EmotivLAB-Plattform

Die experimentellen Designs der neurowissenschaftlichen Forschung sollten darauf abzielen, größere Stichprobengruppen und bessere Einschlusskriterien zu etablieren, um eine zuverlässige statistische Signifikanz zu erreichen. Mit dem Zugang zu einer Crowdsourcing-gestützten Plattform wie EmotivLAB erhalten Forscher Zugang zu potenziell weitaus diverseren, repräsentativeren Testpersonen – was die Stichprobengröße und die Inklusivität aller demografischen Gruppen bei minimalem zusätzlichem logistischem Aufwand für die Forschungsgruppen verbessert.

Die moderne neurowissenschaftliche Forschung kann anfällig für Stichprobenfehler sein, da nur begrenzte Ressourcen zur Verfügung stehen, um eine diverse Gruppe für den experimentellen Stichprobensatz zu rekrutieren. Das Konzept der „WEIRD-Gruppe“ bringt das Problem auf den Punkt. Die meiste universitäre Forschung wird mit einem winzigen Budget an Versuchspersonen durchgeführt, die im Allgemeinen aus westlichen, gebildeten, industrialisierten, reichen und demokratischen Ländern stammen (Western, Educated, Industrialized, Rich, Democratic). Geräte zur Ferndatenerfassung, wie die EEG-Plattform von EmotivLAB, ermöglichen es Forschenden jedoch, über den Universitäts-Campus hinauszugehen, um Stichprobengruppen zu rekrutieren, die die Grundgesamtheit besser abbilden.

Die EmotivLAB-Plattform befreit Forschende von den aktuellen Einschränkungen und ermöglicht es ihnen stattdessen, ihre Energie auf das Entwerfen von Experimenten und das Analysieren der Ergebnisse zu konzentrieren.

Die Plattform von EmotivLAB und die mobilen EEG-Geräte helfen Forschenden nicht nur dabei, die Diversität der in experimentelle Stichprobengruppen aufgenommenen Personen zu erhöhen. Sie vermitteln auch bei Fragen zur Gesamtstichprobengröße und zur geografischen Reichweite in Zielpopulationen.

Die EmotivLAB-Plattform befreit Forschende von den aktuellen Einschränkungen und ermöglicht es ihnen stattdessen, ihre Energie auf das Entwerfen von Experimenten und das Analysieren der Ergebnisse zu konzentrieren. Unsere Plattform gleicht das Experiment mit den am besten geeigneten Personen im Probandenpool ab. Es ist nicht nötig, Zeit mit der Rekrutierung von Teilnehmenden, deren Koordinierung und Terminplanung sowie der Datenerfassung im Labor zu verbringen. Es ist lediglich erforderlich, die gewünschte Demografie auf der Online-Plattform anzugeben, und EmotivLAB stellt das Experiment den Mitwirkenden zur Verfügung, die den gewünschten Parametern am besten entsprechen. Die Teilnehmenden können die Experimente in ihren eigenen vier Wänden mit ihren eigenen Geräten durchführen. Da sie mit dem Headset vertraut sind, müssen die Forschenden keine Anweisungen zu dessen Verwendung geben.

Darüber hinaus bietet die EmotivLAB-Plattform eine automatisierte Qualitätskontrolle und -bewertung der EEG-Aufzeichnungsdaten. Große Mengen qualitativ minderwertiger Daten helfen nicht, Stichproben- oder statistische Fehler in Versuchsdesigns zu überwinden. Der Zugriff auf mehr qualitativ hochwertige Daten bietet jedoch eine Lösung, um Fehler zu vermeiden bei:

• Stichprobenziehung

• Grundgesamtheit

• Statistischer Signifikanz

Möchten Sie mehr darüber erfahren, was die EmotivLAB-Plattform für Ihre Forschung tun könnte?

Mit EmotivLAB können Sie Ihr Experiment erstellen, es sicher implementieren, Teilnehmende aus einem globalen Panel verifizierter Personen rekrutieren und qualitativ hochwertige EEG-Daten sammeln – alles über eine einzige Plattform. Klicken Sie hier, um mehr zu erfahren oder eine Demo anzufordern.