Istotność statystyczna: wielkość próby (prób) i moc statystyczna - Aby zrozumieć otaczający nas świat, badacze formalnie stosują metodę naukową jako sposób na oddzielenie podejrzewanych prawd od fałszu. Neuronauka poznawcza ma na celu zrozumienie, w jaki sposób systemy genetyczne, neurologiczne i behawioralne wspierają zdolność organizmu do odczuwania, interakcji, poruszania się i myślenia o otaczającym go świecie.

Oznacza to, że neuronauka poznawcza projektuje eksperymenty i gromadzi dane na wszystkich poziomach analizy. Programy badawcze na całym świecie, mające na celu pogłębienie naszego zrozumienia świata przyrody, regularnie testują założenia, czyli hipotezy, w dobrze zaplanowanej serii mniejszych eksperymentów. Eksperymenty te mają tendencję do badania konkretnych czynników, które mogą, ale nie muszą wpływać na wynik, przy jednoczesnym minimalizowaniu wpływu czynników zewnętrznych, takich jak środowisko, orientacja seksualna, rasa czy status społeczno-ekonomiczny.

Scenariusz pierwszy: Badanie uwalniania dopaminy

W neuronauce poznawczej dopamina jest ogólnie uważana za związek odpowiadający za „dobre samopoczucie”. Jej uwalnianie w jądrze półleżącym (NuAc) jest wyzwalane przez zachowania lub rzeczy, które motywują nas do działania. Mogą to być:

• Zjedzenie dobrego posiłku

• Czas z bliskimi

• Seks

• Cukier

Załóżmy, że chcielibyśmy dowiedzieć się, czy szczytowy poziom dopaminy w NuAc występuje przed, w trakcie czy po ekspozycji na pożądany lub znany bodziec wzrokowy. Możemy użyć projektu eksperymentalnego EEG zaadaptowanego z badania Amatyi Johanny Mackintosh. Możemy postawić hipotezę, że uwalnianie dopaminy następuje podczas i osiąga szczyt krótko po ekspozycji na znane lub pożądane bodźce wzrokowe.

Teraz, co najważniejsze, skąd bierzemy uczestników badania?

W sytuacjach eksperymentalnych „populacja” odnosi się do większej, całkowitej badanej grupy. Jest niepraktyczne i mało prawdopodobne, aby Twoje laboratorium mogło opracować technikę rekrutacji i gromadzenia danych o uwalnianiu dopaminy u setek tysięcy lub milionów ludzi.

Dlatego podejmiemy próbę zebrania danych od mniejszej, reprezentatywnej grupy lub próby, aby zrozumieć całą populację. Aby to zrobić, będziemy musieli odpowiedzieć na dwa główne pytania.

1. Ile osób musi znaleźć się w naszej próbie?

2. Jak to się ma do znaczenia praktycznego i mocy statystycznej?

Przeanalizujmy to poniżej.

Moc statystyczna i rzeczywisty efekt

Moc statystyczna jest definiowana jako prawdopodobieństwo wykrycia przez test statystycznie istotnej różnicy, gdy taka różnica rzeczywiście istnieje. Jest ona również określana jako rzeczywisty efekt.

Rzeczywisty efekt jest kamieniem węgielnym projektu eksperymentalnego. W raporcie Cohena z 1988 roku, kluczowym dla rozwoju metody naukowej, uzasadniono, że badanie powinno być zaprojektowane tak, aby miało 80% prawdopodobieństwo wykrycia rzeczywistego efektu. Te 80% reprezentuje projekt testu o wysokiej mocy (HP), podczas gdy każda wartość zbliżona do 20% to projekt testu o niskiej mocy (LP).

Cohen zasugerował, że badania powinny zawsze charakteryzować się mniej niż 20% prawdopodobieństwem popełnienia błędu drugiego rodzaju, znanego jako błąd krytyczny (fałszywie ujemny). Używa on również tych samych zakresów wytycznych dla przeoczonych odkryć, które mają miejsce, gdy badacz niedokładnie zgłasza brak istotnego efektu, podczas gdy różnica naprawdę istnieje.

Dlaczego moc statystyczna ma znaczenie?

Wyobraź sobie taki scenariusz. Jeśli rzeczywisty efekt istnieje w 100 różnych badaniach o mocy 80%, testy statystyczne wykryją rzeczywisty efekt w 80 na 100 z nich. Jednakże, gdy badanie ma moc badawczą wynoszącą 20%, a w wynikach występuje 100 autentycznych, niezerowych efektów, oczekuje się, że badania te wykryją tylko 20 z nich.

Mankamenty mocy statystycznej w badaniach neurobiologicznych

Nic dziwnego, że ze względu na kapitałochłonny charakter badań w dziedzinie neuronauki, ta dziedzina charakteryzuje się medianą mocy statystycznej wynoszącą około 21% i średnio mieści się w szerokim przedziale 8%-31%. Niska moc statystyczna w badaniach neurobiologicznych:

• Rzuca cień wątpliwości na replikowalność wyników.

• Prowadzi do wyolbrzymienia wielkości efektu.

• Zmniejsza prawdopodobieństwo uzyskania statystycznie istotnych wyników, które dokładnie odzwierciedlają rzeczywisty efekt.

W związku z tym obecny stan badań w dziedzinie neuronauki jest uwięziony przez problem mocy statystycznej, ponieważ wartości te znajdują się znacznie poniżej teoretycznego progu Cohena.

Tworzenie reprezentatywnej grupy próbnej (grup próbnych)

Cel scenariusza pierwszego: Unikanie błędów wielkości próby oraz błędów pierwszego i drugiego rodzaju w naszym teście dzięki inkluzywnemu i dużemu wyborowi próby.

Ile skanów ludzkiego mózgu musi znaleźć się w naszym zestawie próbnym, jeśli chcemy, aby eksperyment miał znaczenie praktyczne? Znaczenie praktyczne odnosi się do tego, czy wyniki eksperymentu mają zastosowanie w świecie rzeczywistym.

Zdolność eksperymentu neurobiologa do określenia efektów (moc statystyczna) jest powiązana z wielkością próby. Kontynuując parametry scenariusza 1, celem jest nadal zebranie wystarczającej ilości danych, abyśmy mogli statystycznie ocenić, czy istnieje rzeczywisty efekt w czasie uwalniania dopaminy po pokazaniu emocjonalnie nacechowanych bodźców wzrokowych. Musimy również ustalić kryteria włączenia do próby, które zminimalizują ryzyko wystąpienia błędu wielkości próby.

Jak unikać błędów wielkości próby

Przed przejściem dalej należy zrozumieć dwa ważne pojęcia.

1. Błąd wielkości próby: Podczas pobierania próby zawsze istnieje szansa, że zgromadzone dane wybranych osób nie będą reprezentatywne dla całej populacji.

2. Istotność statystyczna: Istotność statystyczna oznacza, że nasze dane i zaobserwowane efekty są prawdopodobnie rzeczywistymi efektami. W większości nauk biomedycznych istotność statystyczną ustala się przy poziomie istotności lub wartości p wynoszącej .05. Zasadniczo oznacza to, że naukowcy są w 95% pewni efektu zaobserwowanego w ich eksperymentach.

Zastanów się, czy dane wykazują zależność (tj. uwalnianie dopaminy). Istnieje 5% prawdopodobieństwo, że efekt jest dziełem przypadku i nie jest powiązany ze zmienną (bodźce wzrokowe). Byłby to błąd pierwszego rodzaju. Alternatywnie, istnieje 5% prawdopodobieństwo, że zebrane przez nas dane mogą nie wykazać żadnego związku między uwalnianiem dopaminy a bodźcami wzrokowymi, podczas gdy w rzeczywistości istnieje rzeczywisty efekt – błąd krytyczny lub błąd drugiego rodzaju.

Staranne ustalenie kryteriów włączenia ma większy wpływ, ponieważ po osiągnięciu określonej wielkości próby następuje moment malejących przychodów.

Mamy nadzieję zebrać dane reprezentujące wszystkich ludzi i chcemy, aby nasze wnioski miały zarówno znaczenie praktyczne, jak i istotność statystyczną. Aby pomyślnie zaprojektować nasz zestaw próbny, należy uwzględnić i unikać błędu wielkości próby, błędu pierwszego rodzaju (fałszywie dodatniego) lub błędu drugiego rodzaju (fałszywie ujemnego).

W naszym eksperymencie testujemy następującą hipotezę:

• Hipoteza zerowa - Brak związku lub efektu pomiędzy czasem uwalniania dopaminy w jadrze półleżącym (NAc) a emocjonalnie nacechowanym bodźcem wzrokowym.

• Hipoteza - Istnieje związek pomiędzy czasem uwalniania dopaminy w jadrze półleżącym (NAc) a emocjonalnie nacechowanym bodźcem wzrokowym, a szczytowe uwalnianie dopaminy następuje po zobaczeniu bodźca wzrokowego.

Istnieje związek między czasem uwalniania dopaminy w NAc a bodźcami wzrokowymi o określonej walencji emocjonalnej. Kiedy dane nie są statystycznie istotne:

• Nasza hipoteza zostaje odrzucona.

• Nie stwierdzono żadnego rzeczywistego efektu ani różnicy.

• Nasze zaobserwowane efekty są w równym stopniu prawdopodobne jak wynik przypadku.

Zrozumienie populacji?

Praktyczne ograniczenia w projektowaniu eksperymentów.

W badaniach neurobiologicznych formalne kryterium włączenia zazwyczaj próbuje zrównoważyć i/lub ujednolicić prawdopodobieństwo włączenia do populacji, aby uniknąć błędów wielkości próby. Musimy unikać wybierania osób tylko dlatego, że są one najbliższe lub najbardziej dostępne do zebrania danych, ponieważ jest to idealny przepis na błąd wielkości próby.

Najlepszym podejściem do generowania zestawu próbek jest zastosowanie kryteriów włączenia, które losowo ujednolicają prawdopodobieństwo wyboru w całej populacji. Na przykład, korzystając z danych spisowych, moglibyśmy uzyskać dane kontaktowe 50 losowo wybranych osób w każdym hrabstwie stanu Ohio. Zminimalizowałoby to błąd selekcji, ponieważ nazwiska byłyby wybierane losowo i równomiernie ze wszystkich obszarów geograficznych.

Ustalenie projektu eksperymentalnego, zwiększenie wielkości próby i pełne wdrożenie bezstronnych, randomizowanych i równomiernie stosowanych kryteriów włączenia może szybko napotkać praktyczne ograniczenia. Jest to problem dla badań naukowych na wszystkich poziomach, od ćwiczeń akademickich po pełnoprawne uniwersytety badawcze. Zazwyczaj ograniczenia budżetowe i czasowe jako pierwsze zmuszają do kompromisu. Zbiorczo, kwestie te związane z istotnością statystyczną stanowią aktywny obszar badań.

Jaka jest rzeczywista wielkość efektu?

Ze względu na niską moc statystyczną badań neurobiologicznych, mamy tendencję do przeceniania rzeczywistej wielkości efektu, co prowadzi do niskiej odtwarzalności wielu badań. Ponadto nieodłączna złożoność badań z zakresu neuronauki sprawia, że moc statystyczna ma kluczowe znaczenie.

Jedną z metod, którą można przyjąć w tej dziedzinie, jest zwiększenie mocy badania poprzez zwiększenie wielkości próby. Zwiększa to prawdopodobieństwo wykrycia rzeczywistego efektu. Wybór odpowiedniej wielkości próby jest kluczem do zaprojektowania badań, które:

• Dokonują odkryć o charakterze praktycznym.

• Poszerzają naszą wiedzę na temat niezliczonych procesów zachodzących w mózgu.

• Pozwalają opracować skuteczne terapie.

Pokonywanie wyzwań we współczesnych badaniach neurobiologicznych: Platforma EmotivLAB

Projekty eksperymentalne w badaniach neurobiologicznych powinny dążyć do ustalenia większych grup próbnych i lepszych kryteriów włączenia w celu osiągnięcia wiarygodnej istotności statystycznej. Dzięki dostępowi do platformy crowdsourcingowej, takiej jak EmotivLAB, badacze zyskują dostęp do potencjalnie znacznie bardziej zróżnicowanych, znacznie bardziej reprezentatywnych osób testowanych – co zwiększa wielkość próby i inkluzywność wszystkich grup demograficznych przy minimalnym dodatkowym wysiłku logistycznym dla grup badawczych.

Współczesne badania neurobiologiczne mogą być podatne na błędy doboru próby ze względu na ograniczone zasoby niezbędne do rekrutacji zróżnicowanej grupy do eksperymentalnego zestawu próby. Koncepcja „grupy WEIRD” oddaje ten problem. Większość badań uniwersyteckich jest prowadzona przy bardzo skromnym budżecie na uczestnikach eksperymentów, którzy ogólnie rzecz biorąc pochodzą z krajów Zachodnich, są Wykształceni, pochodzą z krajów Uprzemysłowionych, Bogatych i Demokratycznych (od akronimu WEIRD). Jednak urządzenia do zdalnego gromadzenia danych, takie jak platforma EEG EmotivLAB, pozwalają naukowcom wyjść poza kampus uniwersytecki w celu rekrutacji grup próbnych, które lepiej odzwierciedlają populację.

Platforma EmotivLAB uwalnia badaczy od dotychczasowych ograniczeń i pozwala im skupić energię na projektowaniu eksperymentów i analizowaniu wyników.

Platforma EmotivLAB i zdalny sprzęt EEG nie tylko pomagają naukowcom zwiększyć różnorodność osób włączanych do eksperymentalnych grup próbnych. Pośredniczą one również w rozwiązywaniu problemów dotyczących ogólnej wielkości próby i zasięgu geograficznego w docelowych populacjach.

Platforma EmotivLAB uwalnia badaczy od dotychczasowych ograniczeń i pozwala im skupić energię na projektowaniu eksperymentów i analizowaniu wyników. Nasza platforma dopasowuje eksperyment do najbardziej odpowiednich osób z puli uczestników. Nie ma potrzeby spędzania czasu na rekrutacji uczestników, koordynowaniu ich i planowaniu harmonogramów oraz przeprowadzaniu zbiórki danych w laboratorium. Jedyne, co jest wymagane, to określenie pożądanej demografii na platformie internetowej, a EmotivLAB udostępni eksperyment autorom, którzy najlepiej odpowiadają pożądanym parametrom. Uczestnicy mogą brać udział w eksperymentach we własnych domach, przy użyciu własnego sprzętu. Ich znajomość zestawu słuchawkowego eliminuje potrzebę instruowania ich przez badaczy na temat jego obsługi.

Poza tym platforma EmotivLAB zapewnia zautomatyzowaną kontrolę i ocenę jakości danych rejestracyjnych EEG. Duże ilości danych niskiej jakości nie pomagają w przezwyciężaniu błędów próbkowania ani błędów statystycznych w projektach eksperymentalnych. Posiadanie dostępu do większej ilości danych wysokiej jakości stanowi jednak rozwiązanie pomagające uniknąć błędów w zakresie:

• Próbkowania

• Populacji

• Istotności statystycznej

Chcesz dowiedzieć się więcej o tym, co platforma EmotivLAB może zrobić dla Twoich badań?

EmotivLAB umożliwia budowanie eksperymentów, bezpieczne ich wdrażanie, rekrutację uczestników z globalnego panelu zweryfikowanych osób oraz zbieranie wysokiej jakości danych EEG – a wszystko to z poziomu jednej platformy. Kliknij tutaj, aby dowiedzieć się więcej lub poprosić o wersję demonstracyjną.