3 podejścia do rozwiązania kryzysu replikowalności w neuronauce
Quoc Minh Lai
Zaktualizowano dnia
3 podejścia do rozwiązania kryzysu replikowalności w neuronauce
Quoc Minh Lai
Zaktualizowano dnia
3 podejścia do rozwiązania kryzysu replikowalności w neuronauce
Quoc Minh Lai
Zaktualizowano dnia
3 sposoby na rozwiązanie kryzysu replikowalności w neuronauce:
Przeprowadzaj badania próbne z zamiarem ponownego uruchomienia eksperymentu.
Zapewnij większe próby badawcze.
Zróżnicuj swoją próbę, korzystając z internetowych społeczności wolontariuszy.
We współczesnych badaniach naukowych, a zwłaszcza w neuronauce poznawczej, istnieje dobrze opisany kryzys replikowalności. Oznacza to, że ze względu na koszty i logistykę pozyskiwania uczestników do próby lub korzystania z zaawansowanego technologicznie sprzętu, takiego jak fMRI, laboratoria neuronauki poznawczej rzadko powtarzają wyniki prób eksperymentalnych.
Replikowalność w tym wpisie definiowana jest jako wewnętrzny proces laboratoryjny, w którym projekt eksperymentalny przechodzi od prób pilotażowych/eksploracyjnych do większych, bardziej kontrolowanych prób eksperymentalnych, które będą uruchamiane wielokrotnie. W prawidłowo zaprojektowanych eksperymentach zebrane dane i wyniki z każdej próby powinny umożliwiać:
Połączenie w większy zestaw danych.
Uzyskanie większej liczebności próby
Uzyskanie wysokiej mocy statystycznej.
Czynniki te sprawiają, że eksperymenty neuronaukowe zasługują na opublikowanie w raportach badawczych, tak aby inne laboratoria mogły podjąć próbę replikacji odkryć. Niestety, dzieje się tak rzadko z kilku powodów.
Ów kryzys replikowalności zagraża przyszłości nauki, ponieważ marnuje czas, wysiłek, zasoby i wiedzę specjalistyczną na badania, które nie zostaną powtórzone. Bez replikacji „przełomowe” badania odchodzą w zapomnienie i rzadko wpływają na świat w zapowiadany sposób. Raport analityczny wiceprezesa ds. badań nad hematologią i onkologią oszacował, że brak replikowalności kosztuje do 28 miliardów dolarów rocznie w samych Stanach Zjednoczonych. Fundusze te są ostatecznie marnowane na prace przedkliniczne, które nie spełniają standardów wiarygodnej replikowalności.
Aby zmienić ten schemat, musimy go najpierw zrozumieć. Możemy zacząć od rozpoznania obecnych praktyk i kultury neuronauki. W tym wpisie omówimy projektowanie eksperymentów i planowanie prób, przedstawiając kilka sposobów, w jakie Twoje laboratorium może poprawić replikowalność eksperymentów, zarówno wewnątrz laboratorium (próby eksperymentalne), jak i poza nim (udostępnianie danych w ramach otwartej nauki). Na koniec dowiesz się, jak pewne zasoby mogą zmniejszyć koszty i logistykę pozyskiwania danych próbnych i badanych obiektów.
Uruchom to jeszcze raz!
Możliwe jest osiągnięcie pewności co do replikowalności Twojego badania.
Zazwyczaj większość projektów eksperymentalnych rozpoczyna się od badania pilotażowego lub eksploracyjnego o mniejszej liczebności próby, w zależności od charakteru eksperymentu. W neuronauce poznawczej ta początkowa liczebność próby wynosi zwykle n < 20. Ich celem jest upewnienie się, że obserwowany efekt eksperymentalny jest rzeczywistym potencjalnym efektem oraz uzasadnienie użycia dodatkowych zasobów, których wymaga większy eksperyment. Badania te są również ważne dla przetestowania i ulepszenia protokołu.
Ogólnie rzecz biorąc, badacze w dziedzinie neuronauki poznawczej starają się zrównoważyć moc statystyczną z najmniejszymi kosztami wielkości próby, jakie można racjonalnie osiągnąć na etapie pilotażowym. Celem tych badań jest dostarczenie tymczasowych dowodów statystycznych na obecność efektu. Badania te nie są przeznaczone do raportów badawczych ani publikacji, ale raczej do walidacji kierunku badań, uzasadnienia wniosków o dofinansowanie grantów i służenia jako baza dla przyszłych badań.
Po zakończeniu badań pilotażowych lub eksploracyjnych w eksperymentach z zakresu neuronauki poznawczej kolejnym krokiem jest „uruchomienie go ponownie!”. Przy skupieniu się na różnych parametrach, ponowne przeprowadzenie badania jest sposobem na przezwyciężenie kryzysu replikowalności danych eksperymentalnych w neuronauce poznawczej. Niską moc statystyczną można zazwyczaj przezwyciężyć większą liczebnością próby. W celu określenia odpowiedniej liczebności próby, Journal of Neuroscience sformułował te zalecenia w 2020 roku. Podobnie jak wiele pojęć i zasad w neuronauce poznawczej, zależy to od kontekstu i zamierzonego celu Twoich eksperymentów.
Ponownie, te początkowe badania nie są przeznaczone do publikacji jako raporty badawcze. Czasami jednak wydaje się, że tak się dzieje, a to prowadzi do kryzysu replikowalności.
Większe próby i otwarta nauka
Zyskaj pewność, że obserwowany efekt jest efektem rzeczywistym o praktycznym znaczeniu.
Wyjście poza pilotaż do prób eksperymentalnych przeznaczonych do publikacji jest zazwyczaj kolejnym krokiem w procesie badawczym laboratorium neuronaukowego.
Dzięki badaniu pilotażowemu naukowcy są pewni swojej metodologii i wydaje się, że uzyskali prawdziwy efekt.
Na tym etapie:
Projektują eksperyment z większą próbą badawczą.
Muszą zebrać więcej danych.
Ponownie uruchamiają próbę eksperymentalną.
Jeśli testy statystyczne są istotne i niesprzeczne, neuronaukowcy muszą zgromadzić jeszcze więcej dowodów, aby mieć pewność, że obserwują rzeczywisty efekt.
Otwarta nauka
W publikacjach badawczych rośnie ruch zwany „otwartą nauką” (open science), w ramach którego dane i skrypty analityczne są publikowane wraz z opisem badań. W neuronauce poznawczej jednym z najlepszych zasobów dla otwartych badań neuronaukowych jest Neuroscience Information Framework (NIF; neuinfo.org).
Teoria otwartej nauki obejmuje wszystkie etapy cyklu badawczego, w których nastąpiłoby zwiększenie przejrzystości zbierania, przetwarzania, przechowywania i recenzowania danych eksperymentalnych. Filozofia przejrzystości w otwartej nauce obejmuje również projekty eksperymentów – dzielenie się szczegółami ze społecznością naukową w celu poprawy replikacji i replikowalności kluczowych eksperymentów neuronaukowych. Takie metody zachęcają naukowców do dalszego prowadzenia badań wysokiej jakości i zwalczania rosnącego kryzysu replikacji w neuronauce poznawczej.
Grupy takie jak EmotivLABs rozwijają społeczności badawcze w dziedzinie neuronauki poznawczej, co pozwala im dzielić się projektami eksperymentalnymi z innymi naukowcami.
Ponieważ kryzys replikowalności nadal wpływa na społeczność naukową, zapotrzebowanie na wysokiej jakości, replikowalne badania naukowe nigdy nie było większe. Istnieje kilka opcji projektowych, które pozwalają innym naukowcom replikować eksperymenty. Opcje te dają badaczom neuronauki możliwość:
Określenia odpowiedniej liczebności próby.
Korzystania z innowacyjnych, zweryfikowanych i niezawodnych narzędzi do analizy danych.
Konsultowania się z rówieśnikami i liderami naukowymi.
Szybkiego korzystania z przewodnich zasad otwartej nauki.
Zróżnicowane, zdalne społeczności wolontariuszy
Mała liczebność próby negatywnie wpływa na wiarygodność i replikowalność badań, ponieważ wyników uzyskanych od kilku uczestników nie można uogólnić na resztę populacji. Wyniki te nie obejmują neuroróżnorodności społeczeństwa. W związku z tym narzędzia do zdalnego zbierania danych są przyszłością inkluzywnej neuronauki.
EmotivLABs: Budowanie społeczności neuronauki poznawczej
Poznaj Emotiv
Założona w 2011 roku firma Emotiv z siedzibą w San Francisco to przedsiębiorstwo z branży bioinformatyki, którego misją jest poszerzanie naszej wiedzy o ludzkim mózgu przy użyciu niestandardowego sprzętu do elektroencefalografii (EEG), analizy i wizualizacji.
W centrum otwartej nauki leży współpraca. Platforma i pracownicy Emotiv dążą do promowania rzetelności naukowej i rygoru eksperymentalnego. Nasza skalowalna platforma badawcza, EmotivLABs, łączy neuronaukowców poznawczych na całym świecie z globalną populacją uczestników badań i badaczy. Doceniając addytywną liniowość badań neuronaukowych, pomagamy badaczom, dostarczając obszerne, wielowymiarowe, bogate zestawy danych, co pozwala na wyciąganie znaczących wniosków z szerokiej próby.
Zwiększ liczebność próby w swoich badaniach
EmotivLABs zwalcza kryzys replikowalności, łącząc badaczy ze zweryfikowanymi, wykwalifikowanymi uczestnikami badań i zmniejszając obciążenie logistyczne związane z rekrutacją, zapewniając jednocześnie wystarczającą moc statystyczną.
Zapewnij bezpieczne przechowywanie, przekształcanie i odzyskiwanie swoich prac
Kolejnym zagrożeniem dla replikowalności jest replikacja analityczna, która wymaga oryginalnego zestawu danych w celu zweryfikowania wyników. Znalezienie i sfinansowanie bezpiecznego miejsca do przechowywania jest uciążliwe. Działając jako repozytorium danych, EmotivLABs bezpiecznie przechowuje Twoje dane po przesłaniu nagrań przez uczestników. Dane te są automatycznie przesyłane i rygorystycznie szyfrowane na wszystkich etapach przesyłania i przechowywania.
Usprawnianie procesów
Aby pomóc badaczom w projektowaniu eksperymentów z zakresu neuronauki poznawczej i publikowaniu badań, które wnoszą wkład do szerszej społeczności naukowej, opracowaliśmy solidny, usprawniony zestaw narzędzi – EmotivPRO – do generowania innowacyjnych, replikowalnych eksperymentów.
Nasze jasne instrukcje i przejrzyste metody służą jako przewodnik pozwalający badaczom na zweryfikowanie oryginalnych ustaleń. Intuicyjny i łatwy w użyciu Kreator Eksperymentów (Experiment Builder) umożliwi innym badaczom, którzy chcieliby zreplikować Twoje badanie, skorzystanie z gotowego szablonu w ramach platformy. Alternatywnie, badacze neuronauki poznawczej mogą stworzyć unikalny eksperyment, co pozwala im dostosować każdy szczegół od zera.
Technologia Emotiv
Emotiv zaprojektował pakiet narzędzi wspierających każdy krok badań neuronaukowych po drodze.
Oprogramowanie EmotivPRO pozwala użytkownikom przetwarzać, analizować i wizualizować wyniki prób. Badacze mogą również projektować eksperymenty na poziomie profesjonalnym, w których może wziąć udział każdy uczestnik posiadający zestaw słuchawkowy Emotiv, o ile jest to zgodne z projektem eksperymentu.
Dostępny jest również pakiet programistyczny (SDK) dla Emotiv, dzięki czemu niestandardowe aplikacje, interakcje lub projekty eksperymentalne można wykonywać w podróży, używając wyłącznie zestawu słuchawkowego i smartfona.
W miarę jak rośnie liczba dyscyplin i rynków komercyjnych przyjmujących narzędzia i metodologie neuronaukowe, niedrogie, łatwe w użyciu systemy EEG od Emotiv są stosowane w:
Badaniach neuronaukowych
Inicjatywach marketingowych związanych ze zdrowiem i samopoczuciem
Branży motoryzacyjnej
Neuromarketingu
Badaniach konsumenckich
Edukacji
Sektorze rozrywki
Dodatkowo, dzięki jakości, kosztom i możliwości wysyłki zestawów słuchawkowych Emotiv na cały świat, naukowcy mogą rekrutować i zapisywać osoby, które się kwalifikują. Ze względu na wskaźniki kontroli jakości oceniane przez oprogramowanie przetwarzające, badacze mogą również ufać procesowi zbierania danych.
Chcesz dowiedzieć się więcej o tym, co platforma EmotivLABs może zrobić dla Twoich badań?
EmotivLABS umożliwia budowanie eksperymentu, bezpieczne jego wdrażanie, rekrutację z globalnego panelu zweryfikowanych uczestników oraz zbieranie wysokiej jakości danych EEG – a wszystko to z poziomu jednej platformy. Kliknij tutaj, aby dowiedzieć się więcej lub poprosić o wersję demonstracyjną.
3 sposoby na rozwiązanie kryzysu replikowalności w neuronauce:
Przeprowadzaj badania próbne z zamiarem ponownego uruchomienia eksperymentu.
Zapewnij większe próby badawcze.
Zróżnicuj swoją próbę, korzystając z internetowych społeczności wolontariuszy.
We współczesnych badaniach naukowych, a zwłaszcza w neuronauce poznawczej, istnieje dobrze opisany kryzys replikowalności. Oznacza to, że ze względu na koszty i logistykę pozyskiwania uczestników do próby lub korzystania z zaawansowanego technologicznie sprzętu, takiego jak fMRI, laboratoria neuronauki poznawczej rzadko powtarzają wyniki prób eksperymentalnych.
Replikowalność w tym wpisie definiowana jest jako wewnętrzny proces laboratoryjny, w którym projekt eksperymentalny przechodzi od prób pilotażowych/eksploracyjnych do większych, bardziej kontrolowanych prób eksperymentalnych, które będą uruchamiane wielokrotnie. W prawidłowo zaprojektowanych eksperymentach zebrane dane i wyniki z każdej próby powinny umożliwiać:
Połączenie w większy zestaw danych.
Uzyskanie większej liczebności próby
Uzyskanie wysokiej mocy statystycznej.
Czynniki te sprawiają, że eksperymenty neuronaukowe zasługują na opublikowanie w raportach badawczych, tak aby inne laboratoria mogły podjąć próbę replikacji odkryć. Niestety, dzieje się tak rzadko z kilku powodów.
Ów kryzys replikowalności zagraża przyszłości nauki, ponieważ marnuje czas, wysiłek, zasoby i wiedzę specjalistyczną na badania, które nie zostaną powtórzone. Bez replikacji „przełomowe” badania odchodzą w zapomnienie i rzadko wpływają na świat w zapowiadany sposób. Raport analityczny wiceprezesa ds. badań nad hematologią i onkologią oszacował, że brak replikowalności kosztuje do 28 miliardów dolarów rocznie w samych Stanach Zjednoczonych. Fundusze te są ostatecznie marnowane na prace przedkliniczne, które nie spełniają standardów wiarygodnej replikowalności.
Aby zmienić ten schemat, musimy go najpierw zrozumieć. Możemy zacząć od rozpoznania obecnych praktyk i kultury neuronauki. W tym wpisie omówimy projektowanie eksperymentów i planowanie prób, przedstawiając kilka sposobów, w jakie Twoje laboratorium może poprawić replikowalność eksperymentów, zarówno wewnątrz laboratorium (próby eksperymentalne), jak i poza nim (udostępnianie danych w ramach otwartej nauki). Na koniec dowiesz się, jak pewne zasoby mogą zmniejszyć koszty i logistykę pozyskiwania danych próbnych i badanych obiektów.
Uruchom to jeszcze raz!
Możliwe jest osiągnięcie pewności co do replikowalności Twojego badania.
Zazwyczaj większość projektów eksperymentalnych rozpoczyna się od badania pilotażowego lub eksploracyjnego o mniejszej liczebności próby, w zależności od charakteru eksperymentu. W neuronauce poznawczej ta początkowa liczebność próby wynosi zwykle n < 20. Ich celem jest upewnienie się, że obserwowany efekt eksperymentalny jest rzeczywistym potencjalnym efektem oraz uzasadnienie użycia dodatkowych zasobów, których wymaga większy eksperyment. Badania te są również ważne dla przetestowania i ulepszenia protokołu.
Ogólnie rzecz biorąc, badacze w dziedzinie neuronauki poznawczej starają się zrównoważyć moc statystyczną z najmniejszymi kosztami wielkości próby, jakie można racjonalnie osiągnąć na etapie pilotażowym. Celem tych badań jest dostarczenie tymczasowych dowodów statystycznych na obecność efektu. Badania te nie są przeznaczone do raportów badawczych ani publikacji, ale raczej do walidacji kierunku badań, uzasadnienia wniosków o dofinansowanie grantów i służenia jako baza dla przyszłych badań.
Po zakończeniu badań pilotażowych lub eksploracyjnych w eksperymentach z zakresu neuronauki poznawczej kolejnym krokiem jest „uruchomienie go ponownie!”. Przy skupieniu się na różnych parametrach, ponowne przeprowadzenie badania jest sposobem na przezwyciężenie kryzysu replikowalności danych eksperymentalnych w neuronauce poznawczej. Niską moc statystyczną można zazwyczaj przezwyciężyć większą liczebnością próby. W celu określenia odpowiedniej liczebności próby, Journal of Neuroscience sformułował te zalecenia w 2020 roku. Podobnie jak wiele pojęć i zasad w neuronauce poznawczej, zależy to od kontekstu i zamierzonego celu Twoich eksperymentów.
Ponownie, te początkowe badania nie są przeznaczone do publikacji jako raporty badawcze. Czasami jednak wydaje się, że tak się dzieje, a to prowadzi do kryzysu replikowalności.
Większe próby i otwarta nauka
Zyskaj pewność, że obserwowany efekt jest efektem rzeczywistym o praktycznym znaczeniu.
Wyjście poza pilotaż do prób eksperymentalnych przeznaczonych do publikacji jest zazwyczaj kolejnym krokiem w procesie badawczym laboratorium neuronaukowego.
Dzięki badaniu pilotażowemu naukowcy są pewni swojej metodologii i wydaje się, że uzyskali prawdziwy efekt.
Na tym etapie:
Projektują eksperyment z większą próbą badawczą.
Muszą zebrać więcej danych.
Ponownie uruchamiają próbę eksperymentalną.
Jeśli testy statystyczne są istotne i niesprzeczne, neuronaukowcy muszą zgromadzić jeszcze więcej dowodów, aby mieć pewność, że obserwują rzeczywisty efekt.
Otwarta nauka
W publikacjach badawczych rośnie ruch zwany „otwartą nauką” (open science), w ramach którego dane i skrypty analityczne są publikowane wraz z opisem badań. W neuronauce poznawczej jednym z najlepszych zasobów dla otwartych badań neuronaukowych jest Neuroscience Information Framework (NIF; neuinfo.org).
Teoria otwartej nauki obejmuje wszystkie etapy cyklu badawczego, w których nastąpiłoby zwiększenie przejrzystości zbierania, przetwarzania, przechowywania i recenzowania danych eksperymentalnych. Filozofia przejrzystości w otwartej nauce obejmuje również projekty eksperymentów – dzielenie się szczegółami ze społecznością naukową w celu poprawy replikacji i replikowalności kluczowych eksperymentów neuronaukowych. Takie metody zachęcają naukowców do dalszego prowadzenia badań wysokiej jakości i zwalczania rosnącego kryzysu replikacji w neuronauce poznawczej.
Grupy takie jak EmotivLABs rozwijają społeczności badawcze w dziedzinie neuronauki poznawczej, co pozwala im dzielić się projektami eksperymentalnymi z innymi naukowcami.
Ponieważ kryzys replikowalności nadal wpływa na społeczność naukową, zapotrzebowanie na wysokiej jakości, replikowalne badania naukowe nigdy nie było większe. Istnieje kilka opcji projektowych, które pozwalają innym naukowcom replikować eksperymenty. Opcje te dają badaczom neuronauki możliwość:
Określenia odpowiedniej liczebności próby.
Korzystania z innowacyjnych, zweryfikowanych i niezawodnych narzędzi do analizy danych.
Konsultowania się z rówieśnikami i liderami naukowymi.
Szybkiego korzystania z przewodnich zasad otwartej nauki.
Zróżnicowane, zdalne społeczności wolontariuszy
Mała liczebność próby negatywnie wpływa na wiarygodność i replikowalność badań, ponieważ wyników uzyskanych od kilku uczestników nie można uogólnić na resztę populacji. Wyniki te nie obejmują neuroróżnorodności społeczeństwa. W związku z tym narzędzia do zdalnego zbierania danych są przyszłością inkluzywnej neuronauki.
EmotivLABs: Budowanie społeczności neuronauki poznawczej
Poznaj Emotiv
Założona w 2011 roku firma Emotiv z siedzibą w San Francisco to przedsiębiorstwo z branży bioinformatyki, którego misją jest poszerzanie naszej wiedzy o ludzkim mózgu przy użyciu niestandardowego sprzętu do elektroencefalografii (EEG), analizy i wizualizacji.
W centrum otwartej nauki leży współpraca. Platforma i pracownicy Emotiv dążą do promowania rzetelności naukowej i rygoru eksperymentalnego. Nasza skalowalna platforma badawcza, EmotivLABs, łączy neuronaukowców poznawczych na całym świecie z globalną populacją uczestników badań i badaczy. Doceniając addytywną liniowość badań neuronaukowych, pomagamy badaczom, dostarczając obszerne, wielowymiarowe, bogate zestawy danych, co pozwala na wyciąganie znaczących wniosków z szerokiej próby.
Zwiększ liczebność próby w swoich badaniach
EmotivLABs zwalcza kryzys replikowalności, łącząc badaczy ze zweryfikowanymi, wykwalifikowanymi uczestnikami badań i zmniejszając obciążenie logistyczne związane z rekrutacją, zapewniając jednocześnie wystarczającą moc statystyczną.
Zapewnij bezpieczne przechowywanie, przekształcanie i odzyskiwanie swoich prac
Kolejnym zagrożeniem dla replikowalności jest replikacja analityczna, która wymaga oryginalnego zestawu danych w celu zweryfikowania wyników. Znalezienie i sfinansowanie bezpiecznego miejsca do przechowywania jest uciążliwe. Działając jako repozytorium danych, EmotivLABs bezpiecznie przechowuje Twoje dane po przesłaniu nagrań przez uczestników. Dane te są automatycznie przesyłane i rygorystycznie szyfrowane na wszystkich etapach przesyłania i przechowywania.
Usprawnianie procesów
Aby pomóc badaczom w projektowaniu eksperymentów z zakresu neuronauki poznawczej i publikowaniu badań, które wnoszą wkład do szerszej społeczności naukowej, opracowaliśmy solidny, usprawniony zestaw narzędzi – EmotivPRO – do generowania innowacyjnych, replikowalnych eksperymentów.
Nasze jasne instrukcje i przejrzyste metody służą jako przewodnik pozwalający badaczom na zweryfikowanie oryginalnych ustaleń. Intuicyjny i łatwy w użyciu Kreator Eksperymentów (Experiment Builder) umożliwi innym badaczom, którzy chcieliby zreplikować Twoje badanie, skorzystanie z gotowego szablonu w ramach platformy. Alternatywnie, badacze neuronauki poznawczej mogą stworzyć unikalny eksperyment, co pozwala im dostosować każdy szczegół od zera.
Technologia Emotiv
Emotiv zaprojektował pakiet narzędzi wspierających każdy krok badań neuronaukowych po drodze.
Oprogramowanie EmotivPRO pozwala użytkownikom przetwarzać, analizować i wizualizować wyniki prób. Badacze mogą również projektować eksperymenty na poziomie profesjonalnym, w których może wziąć udział każdy uczestnik posiadający zestaw słuchawkowy Emotiv, o ile jest to zgodne z projektem eksperymentu.
Dostępny jest również pakiet programistyczny (SDK) dla Emotiv, dzięki czemu niestandardowe aplikacje, interakcje lub projekty eksperymentalne można wykonywać w podróży, używając wyłącznie zestawu słuchawkowego i smartfona.
W miarę jak rośnie liczba dyscyplin i rynków komercyjnych przyjmujących narzędzia i metodologie neuronaukowe, niedrogie, łatwe w użyciu systemy EEG od Emotiv są stosowane w:
Badaniach neuronaukowych
Inicjatywach marketingowych związanych ze zdrowiem i samopoczuciem
Branży motoryzacyjnej
Neuromarketingu
Badaniach konsumenckich
Edukacji
Sektorze rozrywki
Dodatkowo, dzięki jakości, kosztom i możliwości wysyłki zestawów słuchawkowych Emotiv na cały świat, naukowcy mogą rekrutować i zapisywać osoby, które się kwalifikują. Ze względu na wskaźniki kontroli jakości oceniane przez oprogramowanie przetwarzające, badacze mogą również ufać procesowi zbierania danych.
Chcesz dowiedzieć się więcej o tym, co platforma EmotivLABs może zrobić dla Twoich badań?
EmotivLABS umożliwia budowanie eksperymentu, bezpieczne jego wdrażanie, rekrutację z globalnego panelu zweryfikowanych uczestników oraz zbieranie wysokiej jakości danych EEG – a wszystko to z poziomu jednej platformy. Kliknij tutaj, aby dowiedzieć się więcej lub poprosić o wersję demonstracyjną.
3 sposoby na rozwiązanie kryzysu replikowalności w neuronauce:
Przeprowadzaj badania próbne z zamiarem ponownego uruchomienia eksperymentu.
Zapewnij większe próby badawcze.
Zróżnicuj swoją próbę, korzystając z internetowych społeczności wolontariuszy.
We współczesnych badaniach naukowych, a zwłaszcza w neuronauce poznawczej, istnieje dobrze opisany kryzys replikowalności. Oznacza to, że ze względu na koszty i logistykę pozyskiwania uczestników do próby lub korzystania z zaawansowanego technologicznie sprzętu, takiego jak fMRI, laboratoria neuronauki poznawczej rzadko powtarzają wyniki prób eksperymentalnych.
Replikowalność w tym wpisie definiowana jest jako wewnętrzny proces laboratoryjny, w którym projekt eksperymentalny przechodzi od prób pilotażowych/eksploracyjnych do większych, bardziej kontrolowanych prób eksperymentalnych, które będą uruchamiane wielokrotnie. W prawidłowo zaprojektowanych eksperymentach zebrane dane i wyniki z każdej próby powinny umożliwiać:
Połączenie w większy zestaw danych.
Uzyskanie większej liczebności próby
Uzyskanie wysokiej mocy statystycznej.
Czynniki te sprawiają, że eksperymenty neuronaukowe zasługują na opublikowanie w raportach badawczych, tak aby inne laboratoria mogły podjąć próbę replikacji odkryć. Niestety, dzieje się tak rzadko z kilku powodów.
Ów kryzys replikowalności zagraża przyszłości nauki, ponieważ marnuje czas, wysiłek, zasoby i wiedzę specjalistyczną na badania, które nie zostaną powtórzone. Bez replikacji „przełomowe” badania odchodzą w zapomnienie i rzadko wpływają na świat w zapowiadany sposób. Raport analityczny wiceprezesa ds. badań nad hematologią i onkologią oszacował, że brak replikowalności kosztuje do 28 miliardów dolarów rocznie w samych Stanach Zjednoczonych. Fundusze te są ostatecznie marnowane na prace przedkliniczne, które nie spełniają standardów wiarygodnej replikowalności.
Aby zmienić ten schemat, musimy go najpierw zrozumieć. Możemy zacząć od rozpoznania obecnych praktyk i kultury neuronauki. W tym wpisie omówimy projektowanie eksperymentów i planowanie prób, przedstawiając kilka sposobów, w jakie Twoje laboratorium może poprawić replikowalność eksperymentów, zarówno wewnątrz laboratorium (próby eksperymentalne), jak i poza nim (udostępnianie danych w ramach otwartej nauki). Na koniec dowiesz się, jak pewne zasoby mogą zmniejszyć koszty i logistykę pozyskiwania danych próbnych i badanych obiektów.
Uruchom to jeszcze raz!
Możliwe jest osiągnięcie pewności co do replikowalności Twojego badania.
Zazwyczaj większość projektów eksperymentalnych rozpoczyna się od badania pilotażowego lub eksploracyjnego o mniejszej liczebności próby, w zależności od charakteru eksperymentu. W neuronauce poznawczej ta początkowa liczebność próby wynosi zwykle n < 20. Ich celem jest upewnienie się, że obserwowany efekt eksperymentalny jest rzeczywistym potencjalnym efektem oraz uzasadnienie użycia dodatkowych zasobów, których wymaga większy eksperyment. Badania te są również ważne dla przetestowania i ulepszenia protokołu.
Ogólnie rzecz biorąc, badacze w dziedzinie neuronauki poznawczej starają się zrównoważyć moc statystyczną z najmniejszymi kosztami wielkości próby, jakie można racjonalnie osiągnąć na etapie pilotażowym. Celem tych badań jest dostarczenie tymczasowych dowodów statystycznych na obecność efektu. Badania te nie są przeznaczone do raportów badawczych ani publikacji, ale raczej do walidacji kierunku badań, uzasadnienia wniosków o dofinansowanie grantów i służenia jako baza dla przyszłych badań.
Po zakończeniu badań pilotażowych lub eksploracyjnych w eksperymentach z zakresu neuronauki poznawczej kolejnym krokiem jest „uruchomienie go ponownie!”. Przy skupieniu się na różnych parametrach, ponowne przeprowadzenie badania jest sposobem na przezwyciężenie kryzysu replikowalności danych eksperymentalnych w neuronauce poznawczej. Niską moc statystyczną można zazwyczaj przezwyciężyć większą liczebnością próby. W celu określenia odpowiedniej liczebności próby, Journal of Neuroscience sformułował te zalecenia w 2020 roku. Podobnie jak wiele pojęć i zasad w neuronauce poznawczej, zależy to od kontekstu i zamierzonego celu Twoich eksperymentów.
Ponownie, te początkowe badania nie są przeznaczone do publikacji jako raporty badawcze. Czasami jednak wydaje się, że tak się dzieje, a to prowadzi do kryzysu replikowalności.
Większe próby i otwarta nauka
Zyskaj pewność, że obserwowany efekt jest efektem rzeczywistym o praktycznym znaczeniu.
Wyjście poza pilotaż do prób eksperymentalnych przeznaczonych do publikacji jest zazwyczaj kolejnym krokiem w procesie badawczym laboratorium neuronaukowego.
Dzięki badaniu pilotażowemu naukowcy są pewni swojej metodologii i wydaje się, że uzyskali prawdziwy efekt.
Na tym etapie:
Projektują eksperyment z większą próbą badawczą.
Muszą zebrać więcej danych.
Ponownie uruchamiają próbę eksperymentalną.
Jeśli testy statystyczne są istotne i niesprzeczne, neuronaukowcy muszą zgromadzić jeszcze więcej dowodów, aby mieć pewność, że obserwują rzeczywisty efekt.
Otwarta nauka
W publikacjach badawczych rośnie ruch zwany „otwartą nauką” (open science), w ramach którego dane i skrypty analityczne są publikowane wraz z opisem badań. W neuronauce poznawczej jednym z najlepszych zasobów dla otwartych badań neuronaukowych jest Neuroscience Information Framework (NIF; neuinfo.org).
Teoria otwartej nauki obejmuje wszystkie etapy cyklu badawczego, w których nastąpiłoby zwiększenie przejrzystości zbierania, przetwarzania, przechowywania i recenzowania danych eksperymentalnych. Filozofia przejrzystości w otwartej nauce obejmuje również projekty eksperymentów – dzielenie się szczegółami ze społecznością naukową w celu poprawy replikacji i replikowalności kluczowych eksperymentów neuronaukowych. Takie metody zachęcają naukowców do dalszego prowadzenia badań wysokiej jakości i zwalczania rosnącego kryzysu replikacji w neuronauce poznawczej.
Grupy takie jak EmotivLABs rozwijają społeczności badawcze w dziedzinie neuronauki poznawczej, co pozwala im dzielić się projektami eksperymentalnymi z innymi naukowcami.
Ponieważ kryzys replikowalności nadal wpływa na społeczność naukową, zapotrzebowanie na wysokiej jakości, replikowalne badania naukowe nigdy nie było większe. Istnieje kilka opcji projektowych, które pozwalają innym naukowcom replikować eksperymenty. Opcje te dają badaczom neuronauki możliwość:
Określenia odpowiedniej liczebności próby.
Korzystania z innowacyjnych, zweryfikowanych i niezawodnych narzędzi do analizy danych.
Konsultowania się z rówieśnikami i liderami naukowymi.
Szybkiego korzystania z przewodnich zasad otwartej nauki.
Zróżnicowane, zdalne społeczności wolontariuszy
Mała liczebność próby negatywnie wpływa na wiarygodność i replikowalność badań, ponieważ wyników uzyskanych od kilku uczestników nie można uogólnić na resztę populacji. Wyniki te nie obejmują neuroróżnorodności społeczeństwa. W związku z tym narzędzia do zdalnego zbierania danych są przyszłością inkluzywnej neuronauki.
EmotivLABs: Budowanie społeczności neuronauki poznawczej
Poznaj Emotiv
Założona w 2011 roku firma Emotiv z siedzibą w San Francisco to przedsiębiorstwo z branży bioinformatyki, którego misją jest poszerzanie naszej wiedzy o ludzkim mózgu przy użyciu niestandardowego sprzętu do elektroencefalografii (EEG), analizy i wizualizacji.
W centrum otwartej nauki leży współpraca. Platforma i pracownicy Emotiv dążą do promowania rzetelności naukowej i rygoru eksperymentalnego. Nasza skalowalna platforma badawcza, EmotivLABs, łączy neuronaukowców poznawczych na całym świecie z globalną populacją uczestników badań i badaczy. Doceniając addytywną liniowość badań neuronaukowych, pomagamy badaczom, dostarczając obszerne, wielowymiarowe, bogate zestawy danych, co pozwala na wyciąganie znaczących wniosków z szerokiej próby.
Zwiększ liczebność próby w swoich badaniach
EmotivLABs zwalcza kryzys replikowalności, łącząc badaczy ze zweryfikowanymi, wykwalifikowanymi uczestnikami badań i zmniejszając obciążenie logistyczne związane z rekrutacją, zapewniając jednocześnie wystarczającą moc statystyczną.
Zapewnij bezpieczne przechowywanie, przekształcanie i odzyskiwanie swoich prac
Kolejnym zagrożeniem dla replikowalności jest replikacja analityczna, która wymaga oryginalnego zestawu danych w celu zweryfikowania wyników. Znalezienie i sfinansowanie bezpiecznego miejsca do przechowywania jest uciążliwe. Działając jako repozytorium danych, EmotivLABs bezpiecznie przechowuje Twoje dane po przesłaniu nagrań przez uczestników. Dane te są automatycznie przesyłane i rygorystycznie szyfrowane na wszystkich etapach przesyłania i przechowywania.
Usprawnianie procesów
Aby pomóc badaczom w projektowaniu eksperymentów z zakresu neuronauki poznawczej i publikowaniu badań, które wnoszą wkład do szerszej społeczności naukowej, opracowaliśmy solidny, usprawniony zestaw narzędzi – EmotivPRO – do generowania innowacyjnych, replikowalnych eksperymentów.
Nasze jasne instrukcje i przejrzyste metody służą jako przewodnik pozwalający badaczom na zweryfikowanie oryginalnych ustaleń. Intuicyjny i łatwy w użyciu Kreator Eksperymentów (Experiment Builder) umożliwi innym badaczom, którzy chcieliby zreplikować Twoje badanie, skorzystanie z gotowego szablonu w ramach platformy. Alternatywnie, badacze neuronauki poznawczej mogą stworzyć unikalny eksperyment, co pozwala im dostosować każdy szczegół od zera.
Technologia Emotiv
Emotiv zaprojektował pakiet narzędzi wspierających każdy krok badań neuronaukowych po drodze.
Oprogramowanie EmotivPRO pozwala użytkownikom przetwarzać, analizować i wizualizować wyniki prób. Badacze mogą również projektować eksperymenty na poziomie profesjonalnym, w których może wziąć udział każdy uczestnik posiadający zestaw słuchawkowy Emotiv, o ile jest to zgodne z projektem eksperymentu.
Dostępny jest również pakiet programistyczny (SDK) dla Emotiv, dzięki czemu niestandardowe aplikacje, interakcje lub projekty eksperymentalne można wykonywać w podróży, używając wyłącznie zestawu słuchawkowego i smartfona.
W miarę jak rośnie liczba dyscyplin i rynków komercyjnych przyjmujących narzędzia i metodologie neuronaukowe, niedrogie, łatwe w użyciu systemy EEG od Emotiv są stosowane w:
Badaniach neuronaukowych
Inicjatywach marketingowych związanych ze zdrowiem i samopoczuciem
Branży motoryzacyjnej
Neuromarketingu
Badaniach konsumenckich
Edukacji
Sektorze rozrywki
Dodatkowo, dzięki jakości, kosztom i możliwości wysyłki zestawów słuchawkowych Emotiv na cały świat, naukowcy mogą rekrutować i zapisywać osoby, które się kwalifikują. Ze względu na wskaźniki kontroli jakości oceniane przez oprogramowanie przetwarzające, badacze mogą również ufać procesowi zbierania danych.
Chcesz dowiedzieć się więcej o tym, co platforma EmotivLABs może zrobić dla Twoich badań?
EmotivLABS umożliwia budowanie eksperymentu, bezpieczne jego wdrażanie, rekrutację z globalnego panelu zweryfikowanych uczestników oraz zbieranie wysokiej jakości danych EEG – a wszystko to z poziomu jednej platformy. Kliknij tutaj, aby dowiedzieć się więcej lub poprosić o wersję demonstracyjną.
Kontynuuj czytanie