Istotność statystyczna: wielkość prób oraz moc statystyczna

Statystyczne znaczenie: Rozmiar próbki i moc statystyczna - Aby zrozumieć świat wokół nas, badacze formalnie stosują metodę naukową jako sposób na oddzielenie podejrzewanych prawd od fałszywych informacji. Neuropsychologia poznawcza ma na celu zrozumienie, w jaki sposób genetyczne, neurologiczne i behawioralne systemy wspierają zdolność organizmów do postrzegania, interakcji, nawigacji i myślenia o otaczającym ich świecie.

Oznacza to, że neuropsychologia poznawcza projektuje eksperymenty i zbiera dane na wszystkich poziomach analizy. Programy badawcze na całym świecie, które mają na celu poszerzenie naszej wiedzy o świecie naturalnym, regularnie testują założenia lub hipotezy w dobrze zaplanowanej serii mniejszych eksperymentów. Te eksperymenty zazwyczaj badają konkretne czynniki, które mogą lub nie mogą wpływać na wynik, przy minimalizacji wpływu czynników zewnętrznych, takich jak środowisko, orientacja seksualna, rasa czy status społeczno-ekonomiczny.

Scenariusz pierwszy: Badanie uwolnienia dopaminy

W neuropsychologii poznawczej, dopamina jest ogólnie uważana za związek, który powoduje uczucie dobrostanu. Jej uwolnienie w Jądrach Cieplnych (NuAc) jest wywoływane przez zachowania lub rzeczy, które motywują nas do działania. Mogą to być:

• Jedzenie dobrej kolacji

• Czas spędzony z bliskimi

• Seks

• Cukier

Załóżmy, że chcielibyśmy dowiedzieć się, czy szczytowe poziomy dopaminy w NuAc występują przed, w trakcie, czy po ekspozycji na pożądany lub znany bodziec wizualny. Możemy wykorzystać projekt eksperymentalny EEG przyjęty z badania Amatyi Johanny Mackintosh. Możemy postawić hipotezę, że uwolnienie dopaminy następuje w trakcie i osiąga szczyt tuż po ekspozycji na znane lub pożądane bodźce wizualne.

Teraz najważniejsze, skąd wziąć uczestników do testów?

W sytuacjach eksperymentalnych, "populacja" odnosi się do większej, całkowitej grupy, która jest badana. Jest to niepraktyczne i mało prawdopodobne, że Twoje laboratorium mogłoby opracować technikę rekrutacji i zbierania danych o uwolnieniu dopaminy od setek tysięcy czy milionów ludzi.

Dlatego spróbujemy zebrać dane z mniejszej, reprezentatywnej grupy lub próbki, aby zrozumieć populację. Aby to zrobić, musimy odpowiedzieć na dwa główne pytania.

1. Ile osób powinno być uwzględnionych w naszej próbce?

2. Jak ma to się do praktycznego znaczenia i mocy statystycznej?

Rozbijmy to poniżej.

Moc statystyczna a prawdziwy efekt

Moc statystyczna definiuje się jako prawdopodobieństwo wykrycia istotnej różnicy statystycznej, gdy taka różnica rzeczywiście istnieje. Nazywana jest również prawdziwym efektem.

Prawdziwy efekt jest fundamentem projektowania eksperymentalnego. Raport Cohena z 1988 roku, znany z wkładu w metodę naukową, stwierdził, że badanie powinno być zaprojektowane tak, aby miało 80% prawdopodobieństwo wykrycia prawdziwego efektu. Te 80% oznacza projekt testu o wysokiej mocy (HP), podczas gdy każda wartość bliska 20% to projekt testu o niskiej mocy (LP).

Cohen zasugerował, że badania powinny zawsze mieć mniej niż 20% prawdopodobieństwo popełnienia błędu typu II, znanego jako fałszywie negatywny. Używa również tych samych zakresów wytycznych dla pominiętych odkryć, które występują, gdy badacz błędnie raportuje brak istotnego efektu, gdy różnica rzeczywiście istnieje.

Dlaczego moc statystyczna ma znaczenie?

Pomyśl o tym scenariuszu. Jeśli prawdziwy efekt istnieje w 100 różnych badaniach o 80% mocy, testy statystyczne wykryją prawdziwy efekt w 80 na 100. Jednak gdy badanie ma moc badawczą 20%, jeśli w wynikach znajduje się 100 autentycznych efektów niezerowych, te badania mają odkryć tylko 20 z nich.

Ograniczenia mocy statystycznej w badaniach neurologicznych

Nie ma zaskoczenia, że z powodu zasobochłonnej natury badań neurologicznych, ta dziedzina ma medianę mocy statystycznej wynoszącą około 21% i waha się szeroko od 8% do 31%. Niska moc statystyczna w badaniach neurologicznych:

• Wzbudza wątpliwości co do powtarzalności wyników.

• Prowadzi do zawyżenia wielkości efektu.

• Zmniejsza prawdopodobieństwo uzyskania istotnych statystycznie wyników, które dokładnie odzwierciedlają prawdziwy efekt.

W związku z tym obecny stan badań neurologicznych jest uwięziony przez problem mocy statystycznej, ponieważ te wartości są daleko poniżej teoretycznego progu Cohena.

Ustanawianie reprezentatywnej grupy próbnych

Cel scenariusza pierwszego: Uniknięcie błędów próbkowania oraz błędów I i II typu w naszym teście przy dużych i włączających próbkach.

Ile skanów mózgu ludzi musi być uwzględnionych w naszym zestawie próbek, jeśli chcemy, aby eksperyment był praktycznie znaczący? Praktyczne znaczenie odnosi się do tego, czy wyniki eksperymentu mają zastosowanie w rzeczywistym świecie.

Możliwość eksperymentu neurobiologa do określenia efektów (mocy statystycznej) jest związana z rozmiarem próbki. Kontynuując parametry scenariusza 1, celem nadal jest zebranie wystarczającej liczby danych, aby móc statystycznie ocenić, czy istnieje prawdziwy efekt w czasie uwolnienia dopaminy po pokazaniu emocjonalnie naładowanych bodźców wizualnych. Musimy również ustalić kryteria włączenia do próbki, które minimalizują potencjalne błędy próbkowania.

Jak unikać błędów próbkowania

Dwa terminy są ważne do zrozumienia przed kontynuowaniem.

1. Błąd próbkowania: W przypadku próbkowania zawsze istnieje szansa, że zebrane dane wybranych osób nie będą odzwierciedlały populacji.

2. Znaczenie statystyczne: Znaczenie statystyczne oznacza, że nasze dane i obserwowane efekty są prawdopodobnie prawdziwymi efektami. W większości nauk biomedycznych, znaczenie statystyczne ustala się przy pomocy poziomu istotności lub wartości p wynoszącej 0,05. W zasadzie oznacza to, że naukowcy są w 95% pewni efektu obserwowanego w swoich eksperymentach.

Rozważ, czy dane pokazują związek (np. uwolnienie dopaminy). Istnieje 5% możliwość, że efekt jest wynikiem przypadku i nie jest związany ze zmienną (bodźce wizualne). To byłby błąd typu I. Alternatywnie istnieje 5% prawdopodobieństwo, że nasze zebrane dane mogą pokazać brak związku między uwolnieniem dopaminy a bodźcami wizualnymi, kiedy w rzeczywistości istnieje prawdziwy efekt - fałszywie negatywny lub błąd typu II.

Starannie ustalenie kryteriów włączenia jest bardziej znaczące, ponieważ po pewnym rozmiarze próbki następuje punkt malejących zwrotów.

Mamy nadzieję zebrać dane reprezentujące wszystkich ludzi i chcemy, aby nasze wnioski były zarówno praktycznie znaczące, jak i statystycznie znaczące. Aby skutecznie zaprojektować nasz zestaw próbek, błąd próbkowania, błąd typu I (fałszywie dodatni) lub błąd typu II (fałszywie negatywny) muszą być uwzględnione i unikać.

Nasz eksperyment testuje następującą hipotezę:

• Hipoteza zerowa - Brak związku lub efektu pomiędzy czasem uwolnienia dopaminy w NAc a emocjonalnie wartościowym bodźcem wizualnym.

• Hipoteza - Istnieje związek pomiędzy czasem uwolnienia dopaminy w NAc a emocjonalnie wartościowym bodźcem wizualnym, a szczytowe uwolnienie dopaminy następuje po zobaczeniu bodźców wizualnych.

Istnieje związek pomiędzy czasem uwolnienia dopaminy w NAc a emocjonalnie wartościowymi bodźcami wizualnymi. Gdy dane nie są statystycznie istotne:

• Nasza hipoteza jest odrzucana.

• Nie znaleziono prawdziwego efektu ani różnicy.

• Nasze obserwowane efekty są równie prawdopodobne, że są wynikiem przypadku.

Zrozumienie populacji?

Praktyczne ograniczenia w projektowaniu eksperymentalnym.

W badaniach neurologicznych, formalne kryterium włączenia zazwyczaj próbuje zrandomizować i/lub zrównoważyć prawdopodobieństwo włączenia w populacji, aby uniknąć błędów próbkowania. Musimy unikać wybierania osób tylko dlatego, że są najbliżej lub najbardziej dostępne do zbierania danych, ponieważ to jest przepis na błąd próbkowania.

Najlepszym podejściem do generacji zestawu próbek jest użycie kryteriów włączenia, które losowo równoważą prawdopodobieństwo selekcji w całej populacji. Na przykład, korzystając z danych spisowych, moglibyśmy uzyskać informacje kontaktowe dla 50 losowo wybranych osób w każdym hrabstwie Ohio. To zminimalizowałoby stronniczość selekcyjną, ponieważ imiona byłyby losowo wybierane równo ze wszystkich obszarów geograficznych.

Ustalenie projektu eksperymentalnego, zwiększenie rozmiaru próbki i pełne zrealizowanie bezstronnych, zrandomizowanych i równo zastosowanych kryteriów włączenia mogą szybko napotkać praktyczne ograniczenia. Jest to problem dla badań naukowych na wszystkich poziomach, od ćwiczeń akademickich po pełnoprawne uniwersytety badawcze. Zwykle budżetowe i czasowe ograniczenia są pierwszymi, które wymuszają kompromis. Zbiorowo te problemy związane z istotnością statystyczną stanowią aktywne obszary badań.

Jaka jest prawdziwa wielkość efektu?

Z powodu niskiej mocy statystycznej badań neurologicznych, tendencja do przeszacowywania prawdziwej wielkości efektu prowadzi do niskiej reprodukowalności wielu badań. Ponadto, inherentna złożoność badań neurologicznych sprawia, że moc statystyczna jest krytyczna.

Jedną z metod, które dziedzina może przyjąć, jest zwiększenie mocy badania poprzez zwiększenie rozmiaru próby. To zwiększa prawdopodobieństwo wykrycia prawdziwego efektu. Wybór odpowiedniego rozmiaru próby jest kluczowy w projektowaniu badań, które:

• Przynoszą praktyczne odkrycia.

• Poszerzają naszą wiedzę o niezliczonych procesach w mózgu.

• Opracowują skuteczne terapie.

Pokonywanie wyzwań w nowoczesnych badaniach neurologicznych: Platforma EmotivLAB

Eksperymentalne projekty badawcze w neurologii powinny dążyć do ustanowienia większych rozmiarów grup próbnych i lepszych kryteriów włączenia, aby osiągnąć wiarygodną istotność statystyczną. Dzięki dostępowi do platformy umożliwiającej tłum, takiej jak EmotivLAB, badacze mają dostęp do potencjalnie znacznie bardziej różnorodnych, znacznie bardziej reprezentatywnych osób - poprawiając rozmiar próby i włączenie wszystkich demografii przy minimalnych dodatkowych wysiłkach logistycznych dla grup badawczych.

Nowoczesne badania neurologiczne mogą być narażone na błędy próbkowania z powodu ograniczonych dostępnych zasobów do rekrutacji różnorodnej grupy do zestawu prób eksperymentalnych. Koncepcja grupy "WEIRD" podsumowuje problem. Większość badań uniwersyteckich przeprowadzana jest na ograniczonym budżecie na przedmiotach eksperymentalnych, które ogólnie mówiąc, są zachodnie, wykształcone i z krajów uprzemysłowionych, bogatych i demokratycznych. Jednak zdalne urządzenia do zbierania danych, takie jak platforma EEG EmotivLAB, pozwalają badaczom dotrzeć poza kampus uniwersytetu, aby rekrutować grupy prób, które lepiej odzwierciedlają populację.

Platforma EmotivLABs uwalnia badaczy od obecnych ograniczeń i pozwala im skoncentrować swoją energię na projektowaniu eksperymentów oraz analizowaniu wyników.

Platforma EmotivLABs i sprzęt EEG do zdalnego zbierania danych nie tylko pomagają badaczom zwiększyć różnorodność osób uwzględnianych w grupach próbnych, ale także łagodzą problemy związane z ogólnym rozmiarem próby i zasięgiem geograficznym w docelowych populacjach.

Platforma EmotivLABs uwalnia badaczy od obecnych ograniczeń i pozwala im skoncentrować swoją energię na projektowaniu eksperymentów oraz analizowaniu wyników. Nasza platforma dopasowuje eksperyment do najbardziej odpowiednich osób w puli badawczej. Nie ma potrzeby spędzać czasu na rekrutowaniu uczestników, koordynowaniu i umawianiu ich oraz przeprowadzaniu zbierania danych w laboratoriach. Wszystko, co jest wymagane, to określenie pożądanej demografii w platformie online, a EmotivLABs udostępni eksperyment uczestnikom, którzy najlepiej odpowiadają pożądanym parametrom. Uczestnicy mogą przeprowadzać eksperymenty we własnych domach, korzystając z własnego sprzętu. Ich znajomość zestawu słuchawkowego eliminuje potrzebę, aby badacze udzielali instrukcji dotyczących jego użycia.

Poza tym, platforma EmotivLAB zapewnia automatyczną kontrolę jakości i ocenę danych EEG. Duże ilości niskiej jakości danych nie pomagają przezwyciężyć błędów próbkowania lub statystycznych w projektach eksperymentalnych. Posiadanie dostępu do większej ilości wysokiej jakości danych z kolei dostarcza rozwiązanie pomagające unikać błędów w:

• Próbkowaniu

• Populacji

• Istotności statystycznej

Chcesz się dowiedzieć więcej o tym, co platforma EmotivLABs mogłaby zrobić dla Twoich badań?

EmotivLABS umożliwia ci zbudowanie swojego eksperymentu, bezpieczne i skuteczne wdrożenie go, rekrutację z globalnej puli zweryfikowanych uczestników oraz zbieranie wysokiej jakości danych EEG, wszystko z jednej platformy. Kliknij tutaj, aby dowiedzieć się więcej lub poprosić o demo.