Wymierzenie ciosu w kryzys replikacji w neuronauce poznawczej w celu poprawy istotności statystycznej.

W neuronauce poznawczej i badaniach nad zachowaniami społecznymi metodologia badań EEG ma na celu zrozumienie ludzkiego umysłu poprzez badanie natury aktywności mózgu związanej z różnymi czynnościami lub środowiskiem zewnętrznym. Ważnym wyróżnikiem badań EEG, teraz gdy dostępne są bezprzewodowe, przenośne zestawy słuchawkowe EEG, jest możliwość badania podłużnej aktywności mózgu i zachowań społecznych w rzeczywistych lokalizacjach, zamiast ograniczania się do laboratorium.

Czym jest kryzys replikacji?

Kryzys replikacji odnosi się do sytuacji, w której badacze nie mogą powtórzyć lub odtworzyć wyników eksperymentów innych naukowców. W rezultacie ich odkrycia nie mogą zostać przeniesione z grupy próbnej na ogół populacji.

Niestety, małe rozmiary prób leżą u podstaw obecnych wyzwań w przedsięwzięciach neuronaukowych. Małe rozmiary prób wpływają na istotność statystyczną, zwiększają trudność w wyciąganiu konstruktywnych wniosków i pogłębiają narastający kryzys replikacji.

Ponieważ replikacja jest tak kluczowym krokiem w procesie naukowym, rozwiązanie tego kryzysu replikacji jest koniecznością. W przeciwnym razie wyniki empiryczne, których nie można odtworzyć, podważają wiarygodność omawianych teorii, a tym samym wszelkich terapii, metod leczenia lub przepisów prawnych, które powstają w wyniku tego procesu.

Ten post zawiera przegląd kryzysu replikacji i tego, jak wpływa on na zdolność neuronaukowców do odblokowania pełnego potencjału gromadzonych danych w celu zrozumienia rzeczywistego świata. Następnie przedstawimy, jak technologia XXI wieku, taka jak badania crowdsourcingowe oparte na sztucznej inteligencji, przynosi ulgę w kryzysie replikacji.

Znaczenie powtarzalności w badaniach neuronaukowych

Współczesne badania empiryczne obejmują zarówno pozyskiwanie, jak i analizę danych. W związku z tym rozważania na temat ich powtarzalności sprowadzają się do dwóch pytań:

1. Reprodukowalność: Czy Twój eksperyment posiada walidację analiz i niezbędne certyfikaty do interpretacji danych?

2. Replikacja: Czy Twój eksperyment ma możliwość powtórzenia w celu uzyskania nowych, niezależnych danych

Niestety, odpowiedź na którekolwiek z tych pytań w badaniach neuronaukowych brzmi „nie”.

W 2016 roku czasopismo Nature przeprowadziło ankietę wśród 1576 badaczy i wykazało, że ponad 70% badaczy próbowało i nie zdołało odtworzyć eksperymentu innego naukowca. A ponad połowa nie zdołała odtworzyć własnych eksperymentów. Pomimo swoich niepowodzeń tylko 52% badaczy zgodziło się, że istnieje kryzys, podczas gdy 31% uważało, że wyniki są prawdopodobnie błędne.

Niemożność odtworzenia wyników badań wynika zazwyczaj z unikalnego charakteru warunków eksperymentalnych, których nie można skompensować ani wykryć statystycznie. Wszystko, począwszy od pogody tego dnia, poprzez indywidualnego technika laboratoryjnego przeprowadzającego eksperymenty, aż po narzędzia analityczne lub statystyczne opracowane do oceny wyników eksperymentów, może mieć unikalne elementy komplikujące replikację.

Co więcej, z powodu ograniczonych zasobów i wiedzy specjalistycznej wymaganej do badań neuronaukowych, ich eksperymenty mają tendencję do niedostatecznej liczebności próby i już teraz posiadają ograniczone próbki populacji typu WEIRD (zachodnie, wykształcone, uprzemysłowione, bogate i demokratyczne).

Dlaczego replikacja w badaniach jest ważna?

Ograniczenia logistyczne, takie jak problemy z rekrutacją, ograniczenie do laboratorium i małe rozmiary prób, oznaczały, że badacze opierali się na dotychczasowych praktykach i wzorcach badawczych. W rezultacie badacze studiujący rzeczywiste zachowania społeczne i informacje osobiste nie mogą przeprowadzać eksperymentów w sposób zróżnicowany lub kreatywny. Ograniczenia te wpłynęły na zdolność badaczy neuronauki do przekładania swoich odkryć na zastosowania w świecie rzeczywistym, takie jak terapie, leczenie, a nawet przepisy prawne. Problemy te, ograniczenia grup próbnych oraz ograniczona możliwość testowania w sytuacjach rzeczywistych leżą u podstaw kryzysu replikacji.

Niemożność replikacji wyników eksperymentalnych w laboratorium utrudnia wyciąganie wniosków o wysokiej mocy statystycznej. Kiedy pojawiają się wątpliwości co do wniosków wyciąganych z wyników eksperymentów, podważa to zaufanie do całego systemu. Wątpliwości te mogą również odbić się negatywnie na organach finansujących granty, których zadaniem jest wspieranie badań, które będą miały szeroki wpływ na rzeczywisty świat.

Poprawa powtarzalności często wynika z precyzyjnego określenia metod badawczych. Replikację wyników poprawia się, gdy badacze osiągają ścisłą standaryzację gromadzenia danych, kontroli jakości i procedur analizy w eksperymentach z większymi grupami prób.

W ostatniej dekadzie innowacje technologiczne w oprogramowaniu i sprzęcie do crowdsourcingu umożliwiły badaczom zapewnienie tych podstawowych elementów standaryzacji, które stawiają czoła kryzysowi replikacji, problemowi mocy statystycznej i kryzysowi powtarzalności.

Crowdsourcingowe praktyki badawcze

Wyjście na rynek globalny w celu pozyskania większej liczby badanych dzięki badaniom crowdsourcingowym

Technologia crowdsourcingu rozwijała się gwałtownie w ciągu ostatnich dwóch dekad. Jest to podejście, które pozwala badaczowi zebrać znacznie więcej danych od osób fizycznych za pośrednictwem globalnie połączonej sieci. Na przykład, weźmy pod uwagę postęp, jaki dokonał się w szybkości rozpoznawania komputerowego. Przez dziesięciolecia badania te w zasadzie stały w miejscu, dopóki firmy takie jak Google, Amazon i Apple nie zebrały skumulowanych danych od setek tysięcy użytkowników internetu. Przy tak ogromnym zbiorze danych mogły one udoskonalić oprogramowanie do rozpoznawania głosu do postaci powszechnie stosowanej dzisiaj w usługach Google, Alexa i Siri.

Jednak, podobnie jak w przypadku większości innowacji technologicznych, crowdsourcing został dostosowany do kilku komercyjnych i naukowych praktyk badawczych. Zooniverse, Folding@Home i Seek by iNaturalists to trzy najbardziej znane platformy crowdsourcingowe.

Zooniverse to największa platforma badawcza oparta na pracy ludzi, z dwoma milionami zarejestrowanych kont. Ludzie są wyjątkowo przystosowani do identyfikowania wzorców, z czym komputery mają trudności. Ogół społeczeństwa może pomóc badaczom w identyfikacji i klasyfikacji wszystkiego, od kształtów galaktyk po typy zwierząt. Społeczność Zooniverse przyczyniła się do wielu odkryć, a każdy może przesłać swoje dane do projektu otwartego dla społeczności.

Inne popularne platformy crowdsourcingowe to Folding@Home oraz Seek by iNaturalist. Folding@Home pożycza moc obliczeniową, gdy wygaszacz ekranu jest aktywny, obliczając kształt i możliwości interakcji białek przetłumaczonych z kodów DNA. Seek firmy iNaturalists to aplikacja na telefon komórkowy, która identyfikuje rodzaj i gatunek dowolnej rośliny lub zwierzęcia za pomocą aparatu fotograficznego.

Pod względem gromadzenia danych, Seek odnotowuje średnio prawie 200 000 przesłanych zdjęć dziennie. Po przesłaniu, społeczność ponad dwóch milionów naukowców i amatorów wchodzi w interakcję z danymi, pełniąc rolę analityków jakości danych, sugerując i potwierdzając dokładność identyfikacji.

Crowdsourcing i neuronauka zawsze miały być partnerami

Badania crowdsourcingowe to sposób na poprawę praktycznego znaczenia eksperymentów. Łączą one osoby, które są zainteresowane wnoszeniem wkładu w badania i pomaganiem badaczom w wywieraniu wpływu. Dzięki crowdsourcingowi rośnie moc statystyczna tych praktyk badawczych. Badacze mają większe szanse na wykrycie istotnej statystycznie różnicy, gdy taka istnieje, ponieważ dysponują dużą wielkością próby gwarantującą wystarczającą moc statystyczną.

Niedawny rozwój technologii crowdsourcingu oraz wysokiej jakości, przenośnych zestawów słuchawkowych i sprzętu EEG klasy badawczej daje nadzieję na rozwiązanie kryzysu replikacji. Crowdsourcing danych klasy badawczej od tysięcy zróżnicowanych i rozproszonych osób wydaje się zapewniać bardziej znaczącą moc statystyczną praktykom badawczym. Aby odpowiedzieć na najbardziej frapujące pytania dotyczące innowacji i badań, tłumy stają się partnerem pierwszego wyboru.

Podczas gdy pewna dyskusja na temat kryzysu replikacji trwa nadal, firma Emotiv przeformułowała ten problem bardziej jako szansę – wyzwanie warte podjęcia próby rozwiązania – i poczyniła znaczne postępy w tym kierunku. Aby zaradzić kryzysowi replikacji w neuronauce poznawczej, firma Emotiv opracowała skalowalną, rozproszoną platformę badawczą neuronauki o nazwie EmotivLABS.

Wyprzedzenie kryzysu replikacji dzięki EmotivLABS

Możemy przyspieszyć nasze badania dzięki wspólnej pracy.

EmotivLABS to skalowalna rozproszona platforma badawcza firmy Emotiv. Uczestnicy z całego świata mogą brać udział w badaniach neuronaukowych przy użyciu własnych zestawów słuchawkowych Emotiv EEG i otrzymywać wynagrodzenie za swój wkład.

Integralną cechą platformy są zaawansowane procesy zapewniania jakości, które gwarantują, że badacze pozyskują od uczestników wysokiej jakości dane klasy badawczej. Użytkownicy muszą przejść proces certyfikacji: wykazując, że wiedzą, jak działa ich zestaw słuchawkowy i potrafią uzyskać wysokiej jakości dane EEG. Po przejściu certyfikacji użytkownicy mogą uczestniczyć w eksperymentach badawczych z zakresu neuronauki na platformie, a w niektórych przypadkach nawet otrzymać wynagrodzenie.

Oprócz surowego EEG, badacze mają również dostęp do danych o mocy pasma oraz zestawu algorytmów wykrywania afektu i poznania, które obejmują uwagę, frustrację, zainteresowanie, relaks, zaangażowanie, ekscytację i stres poznawczy.

Eksperymenty badawcze można tworzyć za pomocą narzędzia Experiment Builder firmy Emotiv, a następnie wdrażać w EmotivLABS. Łącz się i rekrutuj z globalnego panelu certyfikowanych uczestników oraz zbieraj wysokiej jakości dane EEG – wszystko na jednej platformie.

Zestawy słuchawkowe EEG firmy Emotiv, w połączeniu z EmotivLABS, odpowiadają na trzy główne problemy kryzysu replikacji: logistykę rekrutacji, istotność statystyczną oraz dostęp do bardziej zróżnicowanej, inkluzywnej grupy demograficznej.

Ostatecznie, w miarę jak rośnie liczba dyscyplin i rynków komercyjnych wdrażających narzędzia i metodologie neuronaukowe, tanie zestawy słuchawkowe klasy badawczej firmy Emotiv są wykorzystywane w badaniach neuronaukowych, zdrowiu i wellness, motoryzacji, neuromarketingu, badaniach konsumenckich, edukacji i rozrywce.

W rezultacie innowacje w neurotechnologii tej skali pozwoliły nam uzyskać lepszy wgląd w nasze życie emocjonalne i intelektualne. Wiedza, która kiedyś była poza zasięgiem ze względu na przestarzałe projekty eksperymentalne i praktyki badawcze. Zastosowanie takich spostrzeżeń da nam większą kontrolę w świadomym dostosowywaniu naszego życia osobistego i zawodowego w celu maksymalizacji wydajności i wzbogacenia naszych wrodzonych możliwości osobiście oraz w relacjach z innymi.

Dowiedz się więcej o tym, jak ulepszyć swoje badania tutaj.

Dowiedz się więcej o Emotiv

Założona w 2011 roku firma Emotiv to mająca siedzibę w San Francisco firma bioinformatyczna, której misją jest pogłębianie naszego zrozumienia ludzkiego mózgu przy użyciu niestandardowego sprzętu do elektroencefalografii (EEG), analizy i wizualizacji.

W centrum otwartej nauki leży współpraca. Platforma badawcza i pracownicy firmy Emotiv mają na celu promowanie rzetelności naukowej i rygoru eksperymentalnego. Skalowalna platforma badawcza Emotiv, EmotivLABS, łączy neuronaukowców poznawczych na całym świecie z globalną populacją uczestników badań i badaczy. Doceniając addytywną liniowość badań neuronaukowych, pomagamy badaczom, dostarczając obszerne, wielowymiarowe, bogate zestawy danych, co pozwala na wyciągnięcie konstruktywnych wniosków z szerokiej próby.

Zestawy słuchawkowe Emotiv

Emotiv Insight

Emotiv służy szerokiej społeczności użytkowników, od profesjonalistów po osoby, które po prostu chcą dowiedzieć się czegoś o swoim mózgu. Emotiv Insight to 5-kanałowy zestaw słuchawkowy EEG przeznaczony do interfejsu mózg-komputer (BCI). Insight łączy w sobie elegancką, łatwą w konfiguracji konstrukcję z rewolucyjną technologią czujników.

Emotiv EPOC X i EPOC Flex

Emotiv EPOC X to 14-kanałowy zestaw słuchawkowy EEG, a EPOC Flex to 32-kanałowy system EEG. Zaprojektowane do badań neuronaukowych w każdych warunkach, zestawy słuchawkowe EPOC są bezprzewodowe i wyposażone w ulepszoną technologię czujników. Oba zestawy słuchawkowe zostały zweryfikowane przez niezależne grupy badawcze i udowodniono, że dostarczają wysokiej jakości dane klasy badawczej.

Pełne porównanie możliwości technicznych zestawów słuchawkowych EEG firmy Emotiv jest dostępne na stronie internetowej Emotiv.

Technologia Emotiv

Firma Emotiv zaprojektowała zestaw narzędzi wspierających każdy krok badań neuronaukowych po drodze.
Oprogramowanie EmotivPRO pozwala użytkownikom przetwarzać, analizować i wizualizować wyniki prób. Badacze mogą również projektować eksperymenty na poziomie profesjonalnym, w których może wziąć udział każdy uczestnik z zestawem słuchawkowym Emotiv, jeśli jest to zgodne z projektem eksperymentu.

Dostępny jest również zestaw programistyczny (SDK) dla Emotiv, dzięki czemu niestandardowe aplikacje, interakcje lub projekty eksperymentalne mogą być realizowane w podróży przy użyciu samego zestawu słuchawkowego i smartfona.

W miarę jak rośnie liczba dyscyplin i rynków komercyjnych wdrażających narzędzia i metodologie neuronaukowe, tanie i łatwe w użyciu zestawy słuchawkowe EEG firmy Emotiv są wykorzystywane w:

• Badaniach neuronaukowych

• Zdrowiu i wellness

• Branży motoryzacyjnej

• Neuromarketingu

• Badaniach konsumenckich

• Edukacji

• Rozrywce