Kryzys replikacji w neuropsychologii

Ukierunkowanie kryzysu replikacji w neurologii poznawczej w celu poprawy statystycznej istotności.

W badaniach z zakresu neurologii poznawczej i zachowań społecznych metodologia badań EEG ma na celu zrozumienie ludzkiego umysłu poprzez badanie charakteru aktywności mózgu związanej z różnymi czynnościami lub zewnętrznymi środowiskami. Ważnym wyróżnikiem badań EEG, teraz gdy dostępne są bezprzewodowe, przenośne headsety EEG, jest możliwość badania długoterminowej aktywności mózgu i zachowań społecznych w rzeczywistych lokalizacjach, a nie jedynie w laboratorium.

Co to jest kryzys replikacji?

Kryzys replikacji odnosi się do sytuacji, gdy badacze nie mogą powtórzyć lub zreprodukowować wyników eksperymentów innych badaczy. W związku z tym, ich wnioski nie mogą być rozszerzone z grupy próbek na ogół populacji.

Niestety, małe rozmiary próbek są sednem obecnych wyzwań w przedsięwzięciach neurobiologicznych. Małe rozmiary próbek wpływają na statystyczną istotność, zwiększają trudności w wyciąganiu znaczących wniosków i pogarszają wciąż narastający kryzys replikacji.

Ponieważ replikacja jest tak kluczowym krokiem w procesie naukowym, rozwiązanie tego kryzysu replikacji jest niezbędne. W przeciwnym razie empiryczne wyniki, które nie mogą być powtórzone, podważają wiarygodność teorii w pytaniu, a zatem wszelkich terapii, leczenia lub przepisów, które powstają w wyniku tego procesu.

Ten post przedstawia przegląd kryzysu replikacji oraz jak wpływa on na zdolność neurobiologów do uwolnienia pełnego potencjału danych zebranych w celu zrozumienia rzeczywistego świata. Następnie wprowadzimy, jak technologia XXI wieku, taka jak badania z wykorzystaniem AI, przynosi ulgę od kryzysu replikacji.

Znaczenie reprodukowalności w badaniach neurobiologicznych

Współczesne badania empiryczne obejmują zarówno pozyskiwanie, jak i analizowanie danych. W związku z tym rozważania na temat ich reprodukowalności skupiają się na dwóch pytaniach:

1. Reprodukowalność: Czy Twój eksperyment posiada walidację analiz i niezbędne certyfikaty do interpretacji danych?

2. Replikacja: Czy Twój eksperyment ma zdolność do powtarzania, aby uzyskać nowe, niezależne dane?

Niestety, odpowiedź na oba pytania w badaniach neurobiologicznych brzmi „nie”.

W 2016 roku Nature przeprowadził badanie wśród 1 576 badaczy i odkrył, że ponad 70% badaczy próbowało i nie udało się odtworzyć eksperymentu innego naukowca. I ponad połowa nie zdołała odtworzyć swoich własnych eksperymentów. Pomimo porażek, tylko 52% badaczy zgodziło się, że istnieje kryzys, podczas gdy 31% uważało, że wyniki są prawdopodobnie błędne.

Niemożność odtworzenia wyników badań zazwyczaj wynika z unikalnego charakteru warunków eksperymentalnych, które nie mogą być skompensowane lub wykryte statystycznie. Wszystko, od pogody danego dnia, przez konkretnego technika laboratoryjnego przeprowadzającego eksperymenty, po narzędzia analizy lub statystyki opracowane w celu oceny wyników eksperymentów, może mieć unikalne elementy, które utrudniają replikację.

Dodatkowo z powodu ograniczonych zasobów i wiedzy wymaganych do badań neurobiologicznych, ich eksperymenty mają tendencję do przeszacowanej próby i już mają ograniczone próby WEIRD (zachodnie, wykształcone, przemysłowe, bogate i demokratyczne).

Dlaczego replikacja w badaniach jest ważna?

Ograniczenia logistyczne, takie jak problemy z rekrutacją, ograniczenie do laboratorium i małe rozmiary próbek, sprawiły, że badacze musieli polegać na tradycyjnych metodach badawczych. W efekcie badacze badający zachowania społeczne i informacje osobiste w rzeczywistym świecie nie mogą przeprowadzać eksperymentów różnorodnie ani kreatywnie. Te ograniczenia wpłynęły na zdolność badaczy z dziedziny neurologii, aby przekształcić swoje odkrycia w rzeczywistych zastosowaniach, takich jak terapie, leczenia, a nawet przepisy. Te problemy, ograniczenia grupy próbnej i ograniczona możliwość testowania w rzeczywistych sytuacjach są w jądrze kryzysu replikacji.

Niemożność replikowania wyników eksperymentalnych w laboratorium utrudnia wyciąganie wniosków z wysoką mocą statystyczną. Kiedy pojawiają się wątpliwości co do wniosków wyciągniętych z wyników eksperymentalnych, podważa to zaufanie całego systemu. Ta wątpliwość może również negatywnie odbić się na organizacjach przyznających granty, które mają za zadanie wspierać badania mające szerokie, rzeczywiste konsekwencje.

Poprawiona reprodukowalność często wynika z ustalenia metod badawczych. Powtarzanie wyników poprawia się, gdy badacze osiągają ścisłą standaryzację zbierania danych, kontroli jakości i procedur analizy w eksperymentach z większymi grupami próbek.

W ciągu ostatniej dekady innowacje technologiczne w oprogramowaniu i sprzęcie do crowdsourcingu umożliwiły badaczom dostarczenie tych podstawowych elementów standaryzacji, które rozwiązują kryzys replikacji, problem mocy statystycznej oraz kryzys reprodukowalności.

Praktyki badawcze z użyciem crowdsourcingu

Idąc globalnie dla większej liczby uczestników z badaniami opartymi na crowdsourcingu

Technologia crowdsourcingowa rozwijała się szybko w ciągu ostatnich dwóch dekad. Jest to podejście, które pozwala badaczowi pozyskiwać o wiele więcej danych od osób z globalnej sieci. Na przykład, rozważ postęp dokonany w zakresie szybkiego rozpoznawania komputera. Przez dziesięciolecia badania te były w zasadzie w stanie zawieszenia, aż firmy takie jak Google, Amazon i Apple zgromadziły zbiorczy wkład setek tysięcy użytkowników internetu. Posiadając tak ogromny zbiór danych, mogli udoskonalić oprogramowanie do rozpoznawania głosu w to, co powszechnie stosowane w usługach Google, Alexy i Siri dzisiaj.

Jednak, jak w przypadku większości innowacji technologicznych, crowdsourcing został zaadaptowany do różnych praktyk badawczych w komercyjnych i naukowych. Zooniverse, Folding@Home i Seek by iNaturalists to trzy najbardziej znane platformy do crowdsourcingu.

Zooniverse jest największą platformą badawczą napędzaną przez ludzi, z zarejestrowanymi dwoma milionami kont. Ludzie są wyjątkowo przystosowani do identyfikacji wzorców, podczas gdy komputery mają z tym trudności. Ogół społeczeństwa może pomóc badaczom w identyfikacji i klasyfikacji wszystkiego, od kształtów galaktyk po rodzaje zwierząt. Społeczność Zooniverse przyczyniła się do wielu odkryć i każdy może przesłać swoje dane do projektu dostępnego dla społeczności.

Inne popularne platformy do crowdsourcingu to Folding@Home oraz Seek by iNaturalist. Folding@Home wykorzystuje moc obliczeniową, gdy wygaszacz ekranu jest aktywny, obliczając kształt i możliwości interakcji białek przetłumaczonych z kodów DNA. Aplikacja mobilna Seek od iNaturalists identyfikuje rodzaj i gatunek każdej rośliny lub zwierzęcia za pomocą aparatu.

W zakresie pozyskiwania danych Seek średnio przesyła prawie 200 000 obrazów dziennie. Po przesłaniu, społeczność ponad dwóch milionów naukowców i naukowców obywatelskich interaguje z danymi, pełniąc rolę analityków jakości danych, sugerując i potwierdzając dokładność identyfikacji.

Crowdsourcing i neurologia zawsze miały być partnerami

Badania z wykorzystaniem crowdsourcingu są sposobem na poprawę praktycznego znaczenia eksperymentów. Łączy ze sobą osoby zainteresowane przyczynieniem się do badań i pomagające badaczom osiągnąć wpływ. Dzięki crowdsourcingowi statystyczna moc tych praktyk badawczych wzrasta. Badacze mają większe szanse na wykrycie statystycznie istotnej różnicy, gdy ta istnieje, ponieważ rozmiar próbki jest wystarczający, aby zagwarantować wystarczającą moc statystyczną.

Ostatnie osiągnięcia w technologii crowdsourcingowej oraz wysokiej jakości, przenośnych headsetach i sprzęcie EEG o jakości badawczej dają nadzieję na rozwiązanie kryzysu replikacji. Zbieranie danych o jakości badawczej z tysięcy różnorodnych i rozproszonych osób rzeczywiście wydaje się zapewniać większą moc statystyczną dla praktyk badawczych. Aby odpowiedzieć na najtrudniejsze pytania innowacyjne i badawcze, tłumy stają się partnerami wyboru.

Podczas gdy niektóre dyskusje trwają na temat kryzysu replikacji, EMOTIV przekształcił problem bardziej w okazję — wyzwanie, które warto spróbować rozwiązać — i poczynili znaczne postępy w tym zakresie. Aby rozwiązać kryzys replikacji w neurologii poznawczej, EMOTIV opracował skalowalną platformę badawczą zdalną o nazwie EmotivLABS.

Wyprzedzanie kryzysu replikacji z EmotivLABS

Możemy przyspieszyć nasze badania, pracując razem.

EmotivLABS to skalowalna platforma badawcza EMOTIV. Uczestnicy z całego świata mogą brać udział w badaniach neurobiologicznych za pomocą własnych headsetów EEG EMOTIV i otrzymać wynagrodzenie za swój wkład.

Integralnym elementem platformy są jej zaawansowane procesy zapewnienia jakości, które zapewniają badaczom pozyskiwanie danych wysokiej jakości, odpowiednich do badań od uczestników. Użytkownicy muszą przejść proces certyfikacji: udowadniając, że wiedzą, jak działa ich headset i że mogą uzyskać wysokiej jakości dane EEG. Po uzyskaniu certyfikatu użytkownicy mogą brać udział w eksperymentach badań neurobiologicznych na platformie i, w niektórych przypadkach, nawet otrzymać wynagrodzenie.

Oprócz surowych danych EEG, badacze mają również dostęp do danych o mocy fal mózgowych i zestawu algorytmów wykrywania emocji i poznania, w tym uwagi, frustracji, zainteresowania, relaksacji, zaangażowania, ekscytacji i stresu poznawczego.

Eksperymenty badawcze mogą być tworzone za pomocą Kreatora Eksperymentów EMOTIV, a następnie wdrażane na EmotivLABS. Łącz się i rekrutuj z globalnej grupy certyfikowanych uczestników oraz zbieraj dane EEG wysokiej jakości na jednej platformie.

Headsety EEG EMOTIV w połączeniu z EmotivLABS rozwiązują trzy główne problemy kryzysu replikacji: logistykę rekrutacji, statystyczną istotność i dostęp do bardziej zróżnicowanej, inkluzywnej grupy demograficznej.

Ostatecznie, w miarę jak rośnie liczba dyscyplin i rynków komercyjnych, które przyjmują narzędzia i metodologie neurologiczne, niskokosztowe headsety EMOTIV o jakości badawczej są wykorzystywane w badaniach neurobiologicznych, zdrowiu i dobrostanie, branży motoryzacyjnej, neuromarketingu, badaniach konsumenckich, edukacji i rozrywce.

Ostatecznie innowacje w neurotechnologii tego kalibru pozwoliły nam uzyskać lepszy wgląd w nasze życie emocjonalne i intelektualne. Wiedza, która dawniej była poza zasięgiem z powodu tradycyjnych projektów eksperymentalnych i praktyk badawczych. Zastosowanie takich spostrzeżeń da nam większą kontrolę w świadomym dostosowywaniu naszych osobistych i zawodowych żyć, aby zmaksymalizować wydajność i wzbogacić nasze wrodzone zdolności zarówno osobiście, jak i w relacjach z innymi.

Dowiedz się więcej o tym, jak poprawić swoje badania tutaj.

Dowiedz się więcej o EMOTIV

Założona w 2011 roku, EMOTIV to firma bioinformatyczna z siedzibą w San Francisco, której celem jest poszerzanie naszej wiedzy o ludzkim mózgu przy użyciu dostosowanego sprzętu elektroencefalograficznego (EEG), analizy i wizualizacji.

W centrum otwartej nauki znajduje się współpraca. Platforma badawcza EMOTIV i personel mają na celu promowanie integralności naukowej i rygoru eksperymentalnego. Skalowalna platforma badawcza EMOTIV, EmotivLABs, łączy kognitywistyków na całym świecie z globalną populacją uczestników badawczych i badaczy. Rozpoznając addytywną liniowość badań neuronowych, pomagamy badaczom dostarczając obszerne, wielowymiarowe, bogate zbiory danych, umożliwiając wyciąganie znaczących wniosków z szerokiej próbki.

Headsety EMOTIV

EMOTIV Insight

EMOTIV obsługuje szeroką społeczność użytkowników, od profesjonalistów po osoby, które po prostu chcą poznać swoje mózgi. EMOTIV Insight to 5-kanałowy headset EEG zaprojektowany do interfejsu mózg-komputer (BCI). Insight łączy elegancki, łatwy do skonfigurowania projekt z rewolucyjną technologią czujników.

EMOTIV EPOC X i EPOC Flex

EMOTIV EPOC X to 14-kanałowy headset EEG, a EPOC Flex to 32-kanałowy system EEG. Zaprojektowane do badań neurobiologicznych w każdych warunkach, headsety EPOC są bezprzewodowe z ulepszoną technologią czujników. Oba headsety zostały zweryfikowane przez niezależne grupy badawcze i udowodniono, że dostarczają dane wysokiej jakości, odpowiednie do badań.

Kompletną porównawczą analizę możliwości technicznych headsetów EEG EMOTIV można znaleźć na stronie internetowej EMOTIV.

Technologia EMOTIV

EMOTIV zaprojektował zestaw narzędzi wspierających każdy etap badań neurobiologicznych.
Oprogramowanie EmotivPRO pozwala użytkownikom przetwarzać, analizować i wizualizować wyniki prób. Badacze mogą także projektować eksperymenty na profesjonalnym poziomie, w których każdy uczestnik z headsetem EMOTIV może wziąć udział, jeśli zarówno stosuje się do projektu eksperymentalnego.

Dostępny jest również zestaw narzędzi do rozwoju oprogramowania (SDK) dla EMOTIV, dzięki któremu można tworzyć własne aplikacje, interakcje lub projekty eksperymentalne w ruchu, korzystając jedynie z headsetu i smartfona.

W miarę wzrostu liczby dyscyplin i rynków komercyjnych przyjmujących narzędzia i metodologie neurologiczne, niskokosztowe, łatwe w użyciu headsety EEG EMOTIV są wykorzystywane w:

• Badaniach neurobiologicznych

• Zdrowiu i dobrostanie

• Przemyśle motoryzacyjnym

• Neuromarketingu

• Badaniach konsumenckich

• Edukacji

• Ustawieniach rozrywkowych