Istotność statystyczna: wielkość próby i moc statystyczna - Aby zrozumieć otaczający nas świat, badacze formalnie stosują metodę naukową jako sposób na oddzielenie podejrzewanych prawd od fałszu. Neuronauka poznawcza dąży do zrozumienia, w jaki sposób układy genetyczne, neurologiczne i behawioralne wspierają zdolność organizmu do odczuwania, interakcji, poruszania się i myślenia o otaczającym go świecie.

Oznacza to, że neuronauka poznawcza projektuje eksperymenty i gromadzi dane na wszystkich poziomach analizy. Programy badawcze na całym świecie, mające na celu pogłębienie naszego zrozumienia świata przyrody, regularnie testują założenia, czyli hipotezy, w dobrze zaplanowanej serii mniejszych eksperymentów. Eksperymenty te mają tendencję do badania specyficznych czynników, które mogą, ale nie muszą wpływać na wynik, minimalizując jednocześnie wpływ czynników zewnętrznych, takich jak środowisko, orientacja seksualna, rasa czy status społeczno-ekonomiczny.

Scenariusz pierwszy: Badanie uwalniania dopaminy

W neuronauce poznawczej dopamina jest ogólnie uważana za związek „dobrego samopoczucia”. Jej uwalnianie w jądrze półleżącym (NuAc) jest wyzwalane przez zachowania lub rzeczy, które motywują nas do działania. Mogą one obejmować:

• Zjedzenie dobrego posiłku

• Czas z bliskimi

• Seks

• Cukier

Załóżmy, że chcielibyśmy dowiedzieć się, czy szczytowe poziomy dopaminy w NuAc występują przed, w trakcie, czy po ekspozycji na pożądany lub znany bodziec wzrokowy. Możemy użyć projektu eksperymentalnego EEG zaadoptowanego z badania Amatyi Johanny Mackintosh. Możemy postawić hipotezę, że uwolnienie dopaminy następuje w trakcie i osiąga szczyt krótko po ekspozycji na znane lub pożądane bodźce wzrokowe.

Teraz, co najważniejsze, skąd bierzemy uczestników badania?

W sytuacjach eksperymentalnych „populacja” odnosi się do większej, całkowitej grupy badanej. Zaprojektowanie przez Twoje laboratorium techniki rekrutacji i zbierania danych o uwalnianiu dopaminy od setek tysięcy lub milionów ludzi jest niepraktyczne i mało prawdopodobne.

Dlatego spróbujemy zebrać dane z mniejszej, reprezentatywnej grupy lub próby, aby zrozumieć całą populację. W tym celu musimy odpowiedzieć na dwa główne pytania.

1. Ilu uczestników należy uwzględnić w naszej próbie?

2. Jak to się ma do znaczenia praktycznego i mocy statystycznej?

Przeanalizujmy to poniżej.

Moc statystyczna i rzeczywisty efekt

Moc statystyczna jest definiowana jako prawdopodobieństwo wykrycia przez test statystycznie istotnej różnicy, gdy taka różnica rzeczywiście istnieje. Jest ona również określana jako rzeczywisty efekt.

Rzeczywisty efekt jest kamieniem węgielnym projektowania eksperymentów. W raporcie Cohena z 1988 roku, niezwykle ważnym dla metody naukowej, argumentowano, że badanie powinno być zaprojektowane tak, aby miało 80% prawdopodobieństwa wykrycia rzeczywistego efektu. Te 80% reprezentuje projekt testu o wysokiej mocy (HP), podczas gdy każda wartość zbliżona do 20% to projekt testu o niskiej mocy (LP).

Cohen sugerował, że badania powinny zawsze charakteryzować się prawdopodobieństwem popełnienia błędu drugiego rodzaju (znanego jako wynik fałszywie negatywny) mniejszym niż 20%. Te same zakresy wytycznych stosuje on do pominiętych odkryć, które mają miejsce, gdy badacz błędnie zgłasza brak istotnego efektu, podczas gdy różnica faktycznie istnieje.

Dlaczego moc statystyczna ma znaczenie?

Wyobraź sobie taki scenariusz. Jeśli w 100 różnych badaniach o mocy 80% istnieje rzeczywisty efekt, testy statystyczne wykryją go w 80 na 100 przypadków. Kiedy jednak badanie ma moc badawczą wynoszącą 20%, a w wynikach występuje 100 rzeczywistych, niezerowych efektów, oczekuje się, że badania te wykryją tylko 20 z nich.

Mankamenty mocy statystycznej w badaniach neurobiologicznych

Nic dziwnego, że ze względu na kapitałochłonny charakter badań w dziedzinie neuronauki, dziedzina ta charakteryzuje się medianą mocy statystycznej wynoszącą około 21% i średnią w szerokim przedziale 8%-31%. Niska moc statystyczna w badaniach neurobiologicznych:

• Rzuca cień wątpliwości na replikowalność wyników.

• Prowadzi do zawyżenia wielkości efektu.

• Zmniejsza prawdopodobieństwo uzyskania statystycznie istotnych wyników, które dokładnie odzwierciedlają rzeczywisty efekt.

W związku z tym obecny stan badań w dziedzinie neuronauki jest uwięziony przez problem mocy statystycznej, ponieważ wartości te kształtują się znacznie poniżej teoretycznego progu Cohena.

Tworzenie reprezentatywnej grupy próbnej

Cel scenariusza pierwszego: Uniknięcie błędów wyboru próby oraz błędów pierwszego i drugiego rodzaju w naszym teście dzięki inkluzywnemu i dużemu próbowaniu.

Ile skanów ludzkiego mózgu musi znaleźć się w naszym zestawie próbnym, jeśli chcemy, aby eksperyment miał znaczenie praktyczne? Znaczenie praktyczne odnosi się do tego, czy wyniki eksperymentu mają przełożenie na rzeczywisty świat.

Zdolność eksperymentu neurobiologa do określenia efektów (moc statystyczna) jest powiązana z wielkością próby. Kontynuując parametry ze scenariusza 1, celem jest nadal zebranie wystarczającej ilości danych, abyśmy mogli ocenić statystycznie, czy istnieje rzeczywisty efekt w czasie uwalniania dopaminy po pokazaniu nacechowanych emocjonalnie bodźców wzrokowych. Musimy również ustanowić kryteria włączenia do próby, które zminimalizują prawdopodobieństwo wystąpienia błędu wyboru próby.

Jak unikać błędów wyboru próby

Przed przejściem dalej należy zrozumieć dwa pojęcia.

1. Błąd wyboru próby (błąd próbkowania): Podczas pobierania próby zawsze istnieje szansa, że zebrane dane wybranych osób nie będą reprezentatywne dla populacji.

2. Istotność statystyczna: Istotność statystyczna oznacza, że nasze dane i zaobserwowane efekty są prawdopodobnie efektami rzeczywistymi. W większości nauk biomedycznych istotność statystyczną ustala się na poziomie istotności lub wartości p wynoszącej .05. Zasadniczo oznacza to, że naukowcy są w 95% pewni efektu zaobserwowanego w swoich eksperymentach.

Zastanów się, czy dane wykazują zależność (tj. uwalnianie dopaminy). Istnieje 5% prawdopodobieństwo, że efekt jest dziełem przypadku i nie jest powiązany ze zmienną (bodźce wzrokowe). Byłby to błąd pierwszego rodzaju. Alternatywnie, istnieje 5% prawdopodobieństwo, że zebrane przez nas dane nie wykażą żadnego związku między uwalnianiem dopaminy a bodźcami wzrokowymi, podczas gdy w rzeczywistości istnieje rzeczywisty efekt – wynik fałszywie negatywny lub błąd drugiego rodzaju.

Staranne ustalenie kryteriów włączenia ma większy wpływ, ponieważ po osiągnięciu określonej wielkości próby następuje moment malejących przychodów.

Mamy nadzieję zebrać dane reprezentujące wszystkich ludzi i chcemy, aby nasze wnioski miały zarówno znaczenie praktyczne, jak i istotność statystyczną. Aby pomyślnie zaprojektować nasz zestaw próbny, należy uwzględnić i unikać błędu wyboru próby, błędu pierwszego rodzaju (fałszywie dodatniego) lub błędu drugiego rodzaju (fałszywie ujemnego).

W naszym eksperymencie testujemy następującą hipotezę:

• Hipoteza zerowa - Brak związku lub efektu pomiędzy czasem uwalniania dopaminy w NAc a emocjonalnie wartościowym bodźcem wzrokowym.

• Hipoteza - ISTNIEJE związek pomiędzy czasem uwalniania dopaminy w NAc a emocjonalnie wartościowym bodźcem wzrokowym, a szczytowe uwalnianie dopaminy następuje po zobaczeniu bodźca wzrokowego.

Istnieje związek pomiędzy czasem uwalniania dopaminy w NAc a emocjonalnie wartościowymi bodźcami wzrokowymi. Gdy dane nie są statystycznie istotne:

• Nasza hipoteza zostaje odrzucona.

• Nie stwierdza się żadnego rzeczywistego efektu ani różnicy.

• Nasze zaobserwowane efekty są w równym stopniu prawdopodobne jako wynik przypadku.

Zrozumienie populacji?

Praktyczne ograniczenia w projektowaniu eksperymentów.

W badaniach neurobiologicznych formalne kryterium włączenia zazwyczaj próbuje zrandomizować i/of wyrównać prawdopodobieństwo włączenia do populacji, aby uniknąć błędów próbkowania. Musimy unikać wybierania osób tylko dlatego, że są najbliżej lub są najbardziej dostępne do zebrania danych, ponieważ jest to gotowy przepis na błąd wyboru próby.

Najlepszym podejściem do generowania zestawu próbnego jest zastosowanie kryteriów włączenia, które losowo wyrównują prawdopodobieństwo wyboru w całej populacji. Na przykład, korzystając z danych spisowych, moglibyśmy uzyskać dane kontaktowe do 50 losowo wybranych osób w każdym hrabstwie Ohio. Zminimalizowałoby to błąd selekcji, ponieważ nazwiska byłyby wybierane losowo w równym stopniu ze wszystkich obszarów geograficznych.

Ustalenie projektu eksperymentalnego, zwiększenie wielkości próby i pełne zrealizowanie bezstronnych, zrandomizowanych i równomiernie stosowanych kryteriów włączenia może szybko napotkać praktyczne ograniczenia. Jest to problem dla badań naukowych na wszystkich poziomach, od ćwiczeń akademickich po pełnoprawne uniwersytety badawcze. Zazwyczaj ograniczenia budżetowe i czasowe są pierwszymi, które zmuszają do kompromisu. Zbiorczo, te kwestie wokół istotności statystycznej są aktywnymi obszarami badań.

Jaka jest rzeczywista wielkość efektu?

Ze względu na niską moc statystyczną badań neurobiologicznych, mamy tendencję do przeceniania rzeczywistej wielkości efektu, co prowadzi do niskiej odtwarzalności wielu badań. Ponadto, nieodłączna złożoność badań neurobiologicznych sprawia, że moc statystyczna ma kluczowe znaczenie.

Jedną z metod, którą można przyjąć w tej dziedzinie, jest zwiększenie mocy badania poprzez zwiększenie wielkości próby. Zwiększa to prawdopodobieństwo wykrycia rzeczywistego efektu. Wybór odpowiedniej wielkości próby ma kluczowe znaczenie dla zaprojektowania badań, które:

• Przynoszą praktyczne odkrycia.

• Rozwijają nasze zrozumienie niezliczonych procesów zachodzących w mózgu.

• Pozwalają na opracowanie skutecznych terapii.

Pokonywanie wyzwań we współczesnych badaniach neurobiologicznych: Platforma EmotivLAB

Projekty eksperymentalne w badaniach neurobiologicznych powinny dążyć do ustanowienia większych grup próbnych i lepszych kryteriów włączenia w celu uzyskania wiarygodnej istotności statystycznej. Dzięki dostępowi do platformy opartej na crowdsourcingu, takiej jak EmotivLAB, badacze otrzymują dostęp do potencjalnie znacznie bardziej zróżnicowanych, znacznie bardziej reprezentatywnych osób badanych – poprawiając wielkość próby i reprezentatywność wszystkich grup demograficznych przy minimalnym dodatkowym wysiłku logistycznym dla grup badawczych.

Współczesne badania neurobiologiczne mogą być podatne na błędy wyboru próby ze względu na ograniczone zasoby dostępne do rekrutacji zróżnicowanej grupy do eksperymentalnego zestawu próbnego. Koncepcja „grupy WEIRD” dobrze obrazuje ten problem. Większość badań uniwersyteckich jest prowadzona przy minimalnym budżecie na osobach badanych, które są ogólnie rzecz biorąc z krajów Zachodnich, Wykształconych, Uprzemysłowionych, Bogatych i Demokratycznych (Western, Educated, Industrialized, Rich, Democratic). Jednak sprzęt do zdalnego zbierania danych, taki jak platforma EEG EmotivLAB, pozwala naukowcom wyjść poza kampus uniwersytecki w celu rekrutacji grup próbnych, które lepiej odzwierciedlają populację.

Platforma EmotivLAB i zdalny sprzęt EEG nie tylko pomagają naukowcom zwiększyć różnorodność osób włączanych do eksperymentalnych grup próbnych. Pośredniczą one również w kwestiach dotyczących ogólnej wielkości próby i zasięgu geograficznego w docelowych populacjach.

Platforma EmotivLAB uwalnia badaczy od dotychczasowych ograniczeń, pozwalając im skupić energię na projektowaniu eksperymentów i analizowaniu wyników. Nasza platforma dopasowuje eksperyment do najbardziej odpowiednich osób w puli uczestników. Nie ma potrzeby spędzania czasu na rekrutacji uczestników, koordynowaniu ich harmonogramów i zbieraniu danych w laboratorium. Jedyne, co jest wymagane, to określenie pożądanej demografii na platformie internetowej, a EmotivLAB udostępni eksperyment uczestnikom, którzy najlepiej odpowiadają pożądanym parametrom. Uczestnicy mogą brać udział w eksperymentach we własnych domach, przy użyciu własnego sprzętu. Ich oswojenie z zestawem słuchawkowym eliminuje potrzebę instruowania ich przez badaczy na temat jego obsługi.

Poza tym platforma EmotivLAB zapewnia zautomatyzowaną kontrolę jakości i ocenę danych z nagrań EEG. Duże ilości danych niskiej jakości nie pomagają w przezwyciężeniu błędów próbkowania czy błędów statystycznych w projektach eksperymentalnych. Jednak dostęp do większej ilości danych wysokiej jakości zapewnia rozwiązanie pomagające uniknąć błędów w zakresie:

• Próbkowania

• Populacji

• Istotności statystycznej

Chcesz dowiedzieć się więcej o tym, co platforma EmotivLAB może zrobić dla Twoich badań?

EmotivLAB umożliwia budowanie eksperymentu, jego bezpieczne i pewne wdrażanie, rekrutację z globalnego panelu zweryfikowanych uczestników oraz zbieranie wysokiej jakości danych EEG – a wszystko to z poziomu jednej platformy. Kliknij tutaj, aby dowiedzieć się więcej lub poprosić o wersję demonstracyjną.