
Zdalne zbieranie danych: rozwiązanie problemu grup próby typu WEIRD
Mehul Nayak
Zaktualizowano dnia

Zdalne zbieranie danych: rozwiązanie problemu grup próby typu WEIRD
Mehul Nayak
Zaktualizowano dnia

Zdalne zbieranie danych: rozwiązanie problemu grup próby typu WEIRD
Mehul Nayak
Zaktualizowano dnia
Większość metod badawczych w psychologii i neuronauce opiera się na grupach próbnych typu WEIRD (ang. białe, wykształcone, uprzemysłowione, bogate i demokratyczne społeczeństwa). Tworzy to ograniczenia kontekstowe i kulturowe. Jeśli ograniczenia te nie zostaną uznane, możliwość uogólnienia wyników badań na całą populację ludzką jest ograniczona. Ogólne podejście WEIRD do badań doprowadziło do problematycznych zastosowań metod leczenia, terapii, a nawet przepisów prawnych.
Programy badawcze, które wykorzystują wąskie grupy próbne, składające się wyłącznie z uczestników WEIRD, mogą prowadzić do tworzenia szkodliwych polityk i praktyk. Dzieje się tak, ponieważ mogą one opierać się na wynikach, które mogą wykluczać osoby o niedostatecznie reprezentowanych cechach. Badanie opublikowane w Proceedings of the National Academy of Sciences wykazało, że 96% badań w sześciu czołowych czasopismach Amerykańskiego Towarzystwa Psychologicznego opierało się na próbach WEIRD, które reprezentowały zaledwie 12% globalnych cech populacji.
Problem ten komplikuje fakt, że populacje niedostatecznie reprezentowane w wielu przypadkach wcale nie muszą stanowić mniejszości. Badania sugerują, że osoby z kręgu WEIRD są w rzeczywistości przypadkami odstającymi w wielu miarach psychologicznych – w tym w rozumowaniu przestrzennym, percepcji wzrokowej, indukcji inferencyjnej i rozumowaniu moralnym.
Aby pomóc złagodzić uprzedzenie WEIRD, badacze mogą skorzystać z internetowych narzędzi do zbierania danych, które oferują dostęp do ludzi spoza ograniczonego obszaru geograficznego. Rozszerzając potencjalną pulę prób poza osoby dostępne lokalnie, platformy do zdalnego zbierania danych – takie jak EmotivLABS – mogą zwiększyć różnorodność demograficzną i reprezentatywność w badaniach neuronaukowych. Ten wzrost różnorodności nie wymaga znacznego zwiększenia kosztów rekrutacji uczestników, a w dłuższej perspektywie może okazać się tańszy.
Rozszerzenie puli badanych na skalę globalną może zapewnić Twoim badaniom większą moc statystyczną. Może również sprawić, że będą one łatwiejsze do odtworzenia – co jest głównym tematem omawianym we wcześniejszych wpisach: "3 Approaches to Fix the Neuroscience Reproducibility Crisis" oraz "The Replication Crisis in Cognitive Neuroscience".
Platformy do zdalnego zbierania danych bezpośrednio rozwiązują problem WEIRD we współczesnych badaniach psychologicznych, neuronaukowych i naukach społecznych. Biorąc pod uwagę dostępność technologii badań online i zdalnych, laboratoria psychologiczne nie mają usprawiedliwienia dla polegania wyłącznie na pulach prób WEIRD.
Problematyczna normalizacja pobierania prób z populacji WEIRD
Pierwszym krokiem do rozwiązania problemu jest przyznanie, że on istnieje. Mostafa Salari Rad i współpracownicy przeanalizowali raporty z badań psychologicznych w czasopiśmie Psychological Science. Autorzy szczegółowo przejrzeli 428 badań i zakodowali je na podstawie pochodzenia geograficznego grupy badanej, poziomu wykształcenia, statusu społeczno-ekonomicznego/dochodów, rasy/etniczności, płci, technik rekrutacji i wynagrodzenia. Zdecydowana większość badanych próbek (94,15%) składała się wyłącznie z zachodnich, anglojęzycznych uczestników.
Ogólnie rzecz biorąc, wydaje się, że badacze nie zmodyfikowali swoich metodologii badawczych, aby zaradzić brakowi różnorodności i reprezentatywności w próbach. Trzeba przyznać, że modyfikacja projektu eksperymentu i podejścia metodologicznego laboratorium może być barierą z perspektywy czasu i finansów.
Zwykłe raportowanie szczegółów dotyczących demografii próby i uwzględnianie ich w wyciąganych wnioskach może z pewnością przynieść duże efekty, będąc jednocześnie o wiele tańszym rozwiązaniem. Niestety ta prosta praktyka nie stała się standardem. Na przykład artykuł z 2018 roku sugeruje, że:
Ponad 72% przeanalizowanych streszczeń nie zawierało żadnych szczegółów na temat badanej populacji.
83% nie przeprowadziło analizy statystycznej potencjalnych efektów związanych z różnorodnością próby.
85% nawet nie przedyskutowało potencjalnego wpływu kontekstu lub kultury.
Tylko 16% zalecało przeprowadzenie przyszłych badań nad danym zagadnieniem w innych kulturach lub społeczeństwach.
Nowsze badania wykazały podobne wyniki – brak różnorodności bez uznania jej potencjalnego ograniczenia. E. Kate Webb oraz Narodowe Centrum Postępu Nauk Translacyjnych (NCATS) odkryli, że narzędzia neuronaukowe (np. EEG) wprowadzają uprzedzenia rasowe do badań poprzez wykluczanie badanych na podstawie różnic fenotypowych w typie włosów i pigmentacji skóry. Celem, jak podsumowuje Webb, jest „rzucenie wyzwania rasizmowi w pracy naukowej oraz zaproponowanie procedur i zmian, które mogą prowadzić do bardziej sprawiedliwej nauki”.
Nadmierne poleganie na amerykańskich studentach studiów licencjackich
Głównym powodem utrzymywania się problemu WEIRD jest nadmierne poleganie na amerykańskich studentach studiów licencjackich jako uczestnikach badań. W 2007 roku 67% amerykańskich badań opublikowanych w Journal of Personality i 20% w Psychological Science wykorzystywało amerykańskich studentów studiów licencjackich jako obiekty badań. Jest to powszechne, ponieważ zebranie zróżnicowanej grupy badanych wiąże się z realnymi trudnościami. Często proces selekcji, rekrutacji i wynagradzania uczestników wymaga więcej czasu i energii niż samo zaprojektowanie, przeprowadzenie i przeanalizowanie wyników eksperymentów. Oznacza to, że badacze spędzają więcej czasu na organizowaniu uczestników niż na odkrywaniu wniosków na ich temat.
Zwiększanie różnorodności puli prób dzięki internetowym platformom do zdalnych badań
Globalne społeczności
Szybko staje się standardową praktyką docieranie do uczestników badań, rekrutowanie ich i ocenianie online. Korzystanie z platform badawczych opartych na chmurze uwalnia naukowców od przeszkód logistycznych (reklama, harmonogram, rejestracja) i fizycznych (lokalizacja uczestników), pozwalając im przeznaczyć więcej zasobów na właściwe badania.
Platformy te sprzyjają redukcji kosztów i zwiększeniu wydajności, umożliwiając jednocześnie badaczom dostęp do globalnych sieci puli uczestników, które lepiej charakteryzują kontekst kulturowy badań.
Wyjście poza psychologiczne badania WEIRD
Problem WEIRD rodzi trudne pytania o rzetelność, możliwość uogólniania, trafność i solidność badań. Badania te często próbują odpowiedzieć na pytania badawcze dotyczące ludzi, ale angażują osoby, które reprezentują mniej niż 12% globalnej populacji.
Wystosowano szereg zaleceń w celu rozwiązania problemu WEIRD. Zazwyczaj zalecenia te wiążą się z bardziej szczegółowymi wymogami dotyczącymi sprawozdawczości ze strony komitetów redakcyjnych czasopism naukowych. Biorąc pod uwagę konieczność publikowania wyników pracy przez naukowców, powinny nastąpić zmiany w wymogach dotyczących przesyłania prac: raporty muszą zawierać bardziej szczegółowe informacje demograficzne i omawiać wyniki w kontekście cech demograficznych próby.
Pokonywanie wyzwań logistycznych i fizycznych dzięki EmotivLABS
Do najczęściej wymienianych korzyści płynących z internetowych eksperymentów neurobiologicznych lub psychologicznych należą: zwiększenie wielkości próby badawczej, szybkie zróżnicowanie demograficzne oraz niski koszt technologii.
EmotivLABS integruje wiele z tych najlepszych praktyk, w tym proces certyfikacji uczestników korzystających z zestawów słuchawkowych Emotiv EEG, a także kontrolę jakości danych wykorzystującą uczenie maszynowe do weryfikacji jakości sygnału. Pozwala to na prowadzenie eksperymentów online generujących wysokiej jakości dane badawcze. Ponadto Emotiv stale monitoruje korzystanie z platformy i współpracuje z badaczami w celu regularnego wprowadzania aktualizacji usprawniających zarówno oprogramowanie, jak i sprzęt.
Usprawniony dobór uczestników
Osoby fizyczne i badacze nie muszą już spotykać się osobiście w celu zbierania danych. EmotivLABS usprawnia proces selekcji, rekrutacji i wynagradzania uczestników poprzez dopasowanie każdego eksperymentu do najbardziej odpowiednich osób z globalnej puli badanych.
Badacze mogą określić cechy demograficzne w projekcie swojego eksperymentu, podobnie jak ma to miejsce w przypadku szczegółowych możliwości targetowania reklam w sieciach społecznościowych. Eksperyment badacza jest automatycznie udostępniany certyfikowanym osobom, które najlepiej spełniają pożądane kryteria. Proces certyfikacji gwarantuje, że dane zebrane od tej społeczności są kompletne i charakteryzują się wysoką jakością.
Dostępność badanych w różnym wieku i o różnym pochodzeniu etnicznym zwiększy moc badań i zapewni większą precyzję w interpretacji ludzkich danych. Według stanu na rok 2021 platforma EmotivLABS zrzeszała osoby z ponad 80 krajów o zróżnicowanym profilu edukacyjnym, zawodowym i społeczno-ekonomicznym.
EmotivLABS umożliwia badaczom dostęp do uczestników spoza USA i innych krajów zachodnich, co jest kluczowym cznikiem w łagodzeniu problemu WEIRD.
Łatwe budżetowanie
Zestawy słuchawkowe EEG firmy Emotiv są znacznie tańsze niż laboratoryjne urządzenia badawcze i łatwiejsze w konfiguracji. Użytkownicy indywidualni, czyli tzw. naukowcy obywatelscy, posiadają własne zestawy słuchawkowe Emotiv, więc badacze nie muszą dostarczać własnych.
Początkowo uznani badacze wyrażali sceptycyzm wobec komercyjnego sprzętu EEG i zdalnego zbierania danych. Naukowcy ci są wyjątkowo świadomi wyzwań związanych z gromadzeniem wysokiej jakości, wiarygodnych danych sygnałowych w laboratorium, gdy badani znajdują się pod ich bezpośrednim nadzorem. Jednak liczne zespoły badawcze potwierdziły przydatność zestawów słuchawkowych Emotiv EEG. Większość z tych badań walidacyjnych wykazuje równoważność danych badawczych uzyskanych za pomocą systemów Emotiv i systemów laboratoryjnych. To potwierdza, że zestawy słuchawkowe Emotiv są opłacalną alternatywą dla zbierania danych o klasie naukowej.
Odkrywaj nietknięte obszary badawcze
Korzystanie z przenośnego sprzętu EEG pozwala badaczom zadawać nowe pytania dotyczące ludzi, którzy są chodzącymi, mówiącymi istotami spędzającymi życie poza laboratorium. Na przykład badanie poznania społecznego w interakcjach w świecie rzeczywistym jest bardziej pożądanym projektem eksperymentalnym niż badanie odizolowanych osób zamkniętych w pomieszczeniu i unieruchomionych. Ponadto dzięki tej elastyczności badania podłużne stają się bardziej wykonalne.
Ostatecznie problemem jest nie tylko to, że eksperymenty są przeprowadzane na ograniczonych, niereprezentatywnych grupach badanych.
Większość opublikowanych raportów z badań nie uwzględnia nawet ani nie opisuje szczegółowo cech demograficznych badanych osób poza wiekiem i płcią.
Wykazano również, że badani typu WEIRD są często przypadkami niezwykle odstającymi na spektrum ludzkich zachowań. Innymi słowy, są najmniej idealną grupą próbną do uzyskania wglądu w uniwersalne ludzkie cechy.
Jeśli w projekcie eksperymentu uwzględni się najlepsze praktyki i inkluzywność, badania online mogą w rzeczywistości mieć większy wpływ i znaczenie niż badania offline w laboratorium. W każdym przypadku należy dokładnie przemyśleć ramy kontekstowe, w których stawiane są pytania badawcze.
Badania online, jak i offline mają swoje wady i zalety, a wybór badacza powinien zależeć od konkretnych uwarunkowań pytania badawczego.
Chcesz dowiedzieć się więcej o tym, co EmotivLABS może zrobić dla Twoich badań?
Stwórz swój eksperyment za pomocą narzędzia Experiment Builder firmy Emotiv, a następnie wdróż go w EmotivLABS. Rekrutuj uczestników z globalnego panelu certyfikowanych osób, aby zbierać wysokiej jakości dane EEG – a wszystko to z poziomu jednej platformy. Kliknij tutaj, aby dowiedzieć się więcej lub poprosić o wersję demonstracyjną.
Większość metod badawczych w psychologii i neuronauce opiera się na grupach próbnych typu WEIRD (ang. białe, wykształcone, uprzemysłowione, bogate i demokratyczne społeczeństwa). Tworzy to ograniczenia kontekstowe i kulturowe. Jeśli ograniczenia te nie zostaną uznane, możliwość uogólnienia wyników badań na całą populację ludzką jest ograniczona. Ogólne podejście WEIRD do badań doprowadziło do problematycznych zastosowań metod leczenia, terapii, a nawet przepisów prawnych.
Programy badawcze, które wykorzystują wąskie grupy próbne, składające się wyłącznie z uczestników WEIRD, mogą prowadzić do tworzenia szkodliwych polityk i praktyk. Dzieje się tak, ponieważ mogą one opierać się na wynikach, które mogą wykluczać osoby o niedostatecznie reprezentowanych cechach. Badanie opublikowane w Proceedings of the National Academy of Sciences wykazało, że 96% badań w sześciu czołowych czasopismach Amerykańskiego Towarzystwa Psychologicznego opierało się na próbach WEIRD, które reprezentowały zaledwie 12% globalnych cech populacji.
Problem ten komplikuje fakt, że populacje niedostatecznie reprezentowane w wielu przypadkach wcale nie muszą stanowić mniejszości. Badania sugerują, że osoby z kręgu WEIRD są w rzeczywistości przypadkami odstającymi w wielu miarach psychologicznych – w tym w rozumowaniu przestrzennym, percepcji wzrokowej, indukcji inferencyjnej i rozumowaniu moralnym.
Aby pomóc złagodzić uprzedzenie WEIRD, badacze mogą skorzystać z internetowych narzędzi do zbierania danych, które oferują dostęp do ludzi spoza ograniczonego obszaru geograficznego. Rozszerzając potencjalną pulę prób poza osoby dostępne lokalnie, platformy do zdalnego zbierania danych – takie jak EmotivLABS – mogą zwiększyć różnorodność demograficzną i reprezentatywność w badaniach neuronaukowych. Ten wzrost różnorodności nie wymaga znacznego zwiększenia kosztów rekrutacji uczestników, a w dłuższej perspektywie może okazać się tańszy.
Rozszerzenie puli badanych na skalę globalną może zapewnić Twoim badaniom większą moc statystyczną. Może również sprawić, że będą one łatwiejsze do odtworzenia – co jest głównym tematem omawianym we wcześniejszych wpisach: "3 Approaches to Fix the Neuroscience Reproducibility Crisis" oraz "The Replication Crisis in Cognitive Neuroscience".
Platformy do zdalnego zbierania danych bezpośrednio rozwiązują problem WEIRD we współczesnych badaniach psychologicznych, neuronaukowych i naukach społecznych. Biorąc pod uwagę dostępność technologii badań online i zdalnych, laboratoria psychologiczne nie mają usprawiedliwienia dla polegania wyłącznie na pulach prób WEIRD.
Problematyczna normalizacja pobierania prób z populacji WEIRD
Pierwszym krokiem do rozwiązania problemu jest przyznanie, że on istnieje. Mostafa Salari Rad i współpracownicy przeanalizowali raporty z badań psychologicznych w czasopiśmie Psychological Science. Autorzy szczegółowo przejrzeli 428 badań i zakodowali je na podstawie pochodzenia geograficznego grupy badanej, poziomu wykształcenia, statusu społeczno-ekonomicznego/dochodów, rasy/etniczności, płci, technik rekrutacji i wynagrodzenia. Zdecydowana większość badanych próbek (94,15%) składała się wyłącznie z zachodnich, anglojęzycznych uczestników.
Ogólnie rzecz biorąc, wydaje się, że badacze nie zmodyfikowali swoich metodologii badawczych, aby zaradzić brakowi różnorodności i reprezentatywności w próbach. Trzeba przyznać, że modyfikacja projektu eksperymentu i podejścia metodologicznego laboratorium może być barierą z perspektywy czasu i finansów.
Zwykłe raportowanie szczegółów dotyczących demografii próby i uwzględnianie ich w wyciąganych wnioskach może z pewnością przynieść duże efekty, będąc jednocześnie o wiele tańszym rozwiązaniem. Niestety ta prosta praktyka nie stała się standardem. Na przykład artykuł z 2018 roku sugeruje, że:
Ponad 72% przeanalizowanych streszczeń nie zawierało żadnych szczegółów na temat badanej populacji.
83% nie przeprowadziło analizy statystycznej potencjalnych efektów związanych z różnorodnością próby.
85% nawet nie przedyskutowało potencjalnego wpływu kontekstu lub kultury.
Tylko 16% zalecało przeprowadzenie przyszłych badań nad danym zagadnieniem w innych kulturach lub społeczeństwach.
Nowsze badania wykazały podobne wyniki – brak różnorodności bez uznania jej potencjalnego ograniczenia. E. Kate Webb oraz Narodowe Centrum Postępu Nauk Translacyjnych (NCATS) odkryli, że narzędzia neuronaukowe (np. EEG) wprowadzają uprzedzenia rasowe do badań poprzez wykluczanie badanych na podstawie różnic fenotypowych w typie włosów i pigmentacji skóry. Celem, jak podsumowuje Webb, jest „rzucenie wyzwania rasizmowi w pracy naukowej oraz zaproponowanie procedur i zmian, które mogą prowadzić do bardziej sprawiedliwej nauki”.
Nadmierne poleganie na amerykańskich studentach studiów licencjackich
Głównym powodem utrzymywania się problemu WEIRD jest nadmierne poleganie na amerykańskich studentach studiów licencjackich jako uczestnikach badań. W 2007 roku 67% amerykańskich badań opublikowanych w Journal of Personality i 20% w Psychological Science wykorzystywało amerykańskich studentów studiów licencjackich jako obiekty badań. Jest to powszechne, ponieważ zebranie zróżnicowanej grupy badanych wiąże się z realnymi trudnościami. Często proces selekcji, rekrutacji i wynagradzania uczestników wymaga więcej czasu i energii niż samo zaprojektowanie, przeprowadzenie i przeanalizowanie wyników eksperymentów. Oznacza to, że badacze spędzają więcej czasu na organizowaniu uczestników niż na odkrywaniu wniosków na ich temat.
Zwiększanie różnorodności puli prób dzięki internetowym platformom do zdalnych badań
Globalne społeczności
Szybko staje się standardową praktyką docieranie do uczestników badań, rekrutowanie ich i ocenianie online. Korzystanie z platform badawczych opartych na chmurze uwalnia naukowców od przeszkód logistycznych (reklama, harmonogram, rejestracja) i fizycznych (lokalizacja uczestników), pozwalając im przeznaczyć więcej zasobów na właściwe badania.
Platformy te sprzyjają redukcji kosztów i zwiększeniu wydajności, umożliwiając jednocześnie badaczom dostęp do globalnych sieci puli uczestników, które lepiej charakteryzują kontekst kulturowy badań.
Wyjście poza psychologiczne badania WEIRD
Problem WEIRD rodzi trudne pytania o rzetelność, możliwość uogólniania, trafność i solidność badań. Badania te często próbują odpowiedzieć na pytania badawcze dotyczące ludzi, ale angażują osoby, które reprezentują mniej niż 12% globalnej populacji.
Wystosowano szereg zaleceń w celu rozwiązania problemu WEIRD. Zazwyczaj zalecenia te wiążą się z bardziej szczegółowymi wymogami dotyczącymi sprawozdawczości ze strony komitetów redakcyjnych czasopism naukowych. Biorąc pod uwagę konieczność publikowania wyników pracy przez naukowców, powinny nastąpić zmiany w wymogach dotyczących przesyłania prac: raporty muszą zawierać bardziej szczegółowe informacje demograficzne i omawiać wyniki w kontekście cech demograficznych próby.
Pokonywanie wyzwań logistycznych i fizycznych dzięki EmotivLABS
Do najczęściej wymienianych korzyści płynących z internetowych eksperymentów neurobiologicznych lub psychologicznych należą: zwiększenie wielkości próby badawczej, szybkie zróżnicowanie demograficzne oraz niski koszt technologii.
EmotivLABS integruje wiele z tych najlepszych praktyk, w tym proces certyfikacji uczestników korzystających z zestawów słuchawkowych Emotiv EEG, a także kontrolę jakości danych wykorzystującą uczenie maszynowe do weryfikacji jakości sygnału. Pozwala to na prowadzenie eksperymentów online generujących wysokiej jakości dane badawcze. Ponadto Emotiv stale monitoruje korzystanie z platformy i współpracuje z badaczami w celu regularnego wprowadzania aktualizacji usprawniających zarówno oprogramowanie, jak i sprzęt.
Usprawniony dobór uczestników
Osoby fizyczne i badacze nie muszą już spotykać się osobiście w celu zbierania danych. EmotivLABS usprawnia proces selekcji, rekrutacji i wynagradzania uczestników poprzez dopasowanie każdego eksperymentu do najbardziej odpowiednich osób z globalnej puli badanych.
Badacze mogą określić cechy demograficzne w projekcie swojego eksperymentu, podobnie jak ma to miejsce w przypadku szczegółowych możliwości targetowania reklam w sieciach społecznościowych. Eksperyment badacza jest automatycznie udostępniany certyfikowanym osobom, które najlepiej spełniają pożądane kryteria. Proces certyfikacji gwarantuje, że dane zebrane od tej społeczności są kompletne i charakteryzują się wysoką jakością.
Dostępność badanych w różnym wieku i o różnym pochodzeniu etnicznym zwiększy moc badań i zapewni większą precyzję w interpretacji ludzkich danych. Według stanu na rok 2021 platforma EmotivLABS zrzeszała osoby z ponad 80 krajów o zróżnicowanym profilu edukacyjnym, zawodowym i społeczno-ekonomicznym.
EmotivLABS umożliwia badaczom dostęp do uczestników spoza USA i innych krajów zachodnich, co jest kluczowym cznikiem w łagodzeniu problemu WEIRD.
Łatwe budżetowanie
Zestawy słuchawkowe EEG firmy Emotiv są znacznie tańsze niż laboratoryjne urządzenia badawcze i łatwiejsze w konfiguracji. Użytkownicy indywidualni, czyli tzw. naukowcy obywatelscy, posiadają własne zestawy słuchawkowe Emotiv, więc badacze nie muszą dostarczać własnych.
Początkowo uznani badacze wyrażali sceptycyzm wobec komercyjnego sprzętu EEG i zdalnego zbierania danych. Naukowcy ci są wyjątkowo świadomi wyzwań związanych z gromadzeniem wysokiej jakości, wiarygodnych danych sygnałowych w laboratorium, gdy badani znajdują się pod ich bezpośrednim nadzorem. Jednak liczne zespoły badawcze potwierdziły przydatność zestawów słuchawkowych Emotiv EEG. Większość z tych badań walidacyjnych wykazuje równoważność danych badawczych uzyskanych za pomocą systemów Emotiv i systemów laboratoryjnych. To potwierdza, że zestawy słuchawkowe Emotiv są opłacalną alternatywą dla zbierania danych o klasie naukowej.
Odkrywaj nietknięte obszary badawcze
Korzystanie z przenośnego sprzętu EEG pozwala badaczom zadawać nowe pytania dotyczące ludzi, którzy są chodzącymi, mówiącymi istotami spędzającymi życie poza laboratorium. Na przykład badanie poznania społecznego w interakcjach w świecie rzeczywistym jest bardziej pożądanym projektem eksperymentalnym niż badanie odizolowanych osób zamkniętych w pomieszczeniu i unieruchomionych. Ponadto dzięki tej elastyczności badania podłużne stają się bardziej wykonalne.
Ostatecznie problemem jest nie tylko to, że eksperymenty są przeprowadzane na ograniczonych, niereprezentatywnych grupach badanych.
Większość opublikowanych raportów z badań nie uwzględnia nawet ani nie opisuje szczegółowo cech demograficznych badanych osób poza wiekiem i płcią.
Wykazano również, że badani typu WEIRD są często przypadkami niezwykle odstającymi na spektrum ludzkich zachowań. Innymi słowy, są najmniej idealną grupą próbną do uzyskania wglądu w uniwersalne ludzkie cechy.
Jeśli w projekcie eksperymentu uwzględni się najlepsze praktyki i inkluzywność, badania online mogą w rzeczywistości mieć większy wpływ i znaczenie niż badania offline w laboratorium. W każdym przypadku należy dokładnie przemyśleć ramy kontekstowe, w których stawiane są pytania badawcze.
Badania online, jak i offline mają swoje wady i zalety, a wybór badacza powinien zależeć od konkretnych uwarunkowań pytania badawczego.
Chcesz dowiedzieć się więcej o tym, co EmotivLABS może zrobić dla Twoich badań?
Stwórz swój eksperyment za pomocą narzędzia Experiment Builder firmy Emotiv, a następnie wdróż go w EmotivLABS. Rekrutuj uczestników z globalnego panelu certyfikowanych osób, aby zbierać wysokiej jakości dane EEG – a wszystko to z poziomu jednej platformy. Kliknij tutaj, aby dowiedzieć się więcej lub poprosić o wersję demonstracyjną.
Większość metod badawczych w psychologii i neuronauce opiera się na grupach próbnych typu WEIRD (ang. białe, wykształcone, uprzemysłowione, bogate i demokratyczne społeczeństwa). Tworzy to ograniczenia kontekstowe i kulturowe. Jeśli ograniczenia te nie zostaną uznane, możliwość uogólnienia wyników badań na całą populację ludzką jest ograniczona. Ogólne podejście WEIRD do badań doprowadziło do problematycznych zastosowań metod leczenia, terapii, a nawet przepisów prawnych.
Programy badawcze, które wykorzystują wąskie grupy próbne, składające się wyłącznie z uczestników WEIRD, mogą prowadzić do tworzenia szkodliwych polityk i praktyk. Dzieje się tak, ponieważ mogą one opierać się na wynikach, które mogą wykluczać osoby o niedostatecznie reprezentowanych cechach. Badanie opublikowane w Proceedings of the National Academy of Sciences wykazało, że 96% badań w sześciu czołowych czasopismach Amerykańskiego Towarzystwa Psychologicznego opierało się na próbach WEIRD, które reprezentowały zaledwie 12% globalnych cech populacji.
Problem ten komplikuje fakt, że populacje niedostatecznie reprezentowane w wielu przypadkach wcale nie muszą stanowić mniejszości. Badania sugerują, że osoby z kręgu WEIRD są w rzeczywistości przypadkami odstającymi w wielu miarach psychologicznych – w tym w rozumowaniu przestrzennym, percepcji wzrokowej, indukcji inferencyjnej i rozumowaniu moralnym.
Aby pomóc złagodzić uprzedzenie WEIRD, badacze mogą skorzystać z internetowych narzędzi do zbierania danych, które oferują dostęp do ludzi spoza ograniczonego obszaru geograficznego. Rozszerzając potencjalną pulę prób poza osoby dostępne lokalnie, platformy do zdalnego zbierania danych – takie jak EmotivLABS – mogą zwiększyć różnorodność demograficzną i reprezentatywność w badaniach neuronaukowych. Ten wzrost różnorodności nie wymaga znacznego zwiększenia kosztów rekrutacji uczestników, a w dłuższej perspektywie może okazać się tańszy.
Rozszerzenie puli badanych na skalę globalną może zapewnić Twoim badaniom większą moc statystyczną. Może również sprawić, że będą one łatwiejsze do odtworzenia – co jest głównym tematem omawianym we wcześniejszych wpisach: "3 Approaches to Fix the Neuroscience Reproducibility Crisis" oraz "The Replication Crisis in Cognitive Neuroscience".
Platformy do zdalnego zbierania danych bezpośrednio rozwiązują problem WEIRD we współczesnych badaniach psychologicznych, neuronaukowych i naukach społecznych. Biorąc pod uwagę dostępność technologii badań online i zdalnych, laboratoria psychologiczne nie mają usprawiedliwienia dla polegania wyłącznie na pulach prób WEIRD.
Problematyczna normalizacja pobierania prób z populacji WEIRD
Pierwszym krokiem do rozwiązania problemu jest przyznanie, że on istnieje. Mostafa Salari Rad i współpracownicy przeanalizowali raporty z badań psychologicznych w czasopiśmie Psychological Science. Autorzy szczegółowo przejrzeli 428 badań i zakodowali je na podstawie pochodzenia geograficznego grupy badanej, poziomu wykształcenia, statusu społeczno-ekonomicznego/dochodów, rasy/etniczności, płci, technik rekrutacji i wynagrodzenia. Zdecydowana większość badanych próbek (94,15%) składała się wyłącznie z zachodnich, anglojęzycznych uczestników.
Ogólnie rzecz biorąc, wydaje się, że badacze nie zmodyfikowali swoich metodologii badawczych, aby zaradzić brakowi różnorodności i reprezentatywności w próbach. Trzeba przyznać, że modyfikacja projektu eksperymentu i podejścia metodologicznego laboratorium może być barierą z perspektywy czasu i finansów.
Zwykłe raportowanie szczegółów dotyczących demografii próby i uwzględnianie ich w wyciąganych wnioskach może z pewnością przynieść duże efekty, będąc jednocześnie o wiele tańszym rozwiązaniem. Niestety ta prosta praktyka nie stała się standardem. Na przykład artykuł z 2018 roku sugeruje, że:
Ponad 72% przeanalizowanych streszczeń nie zawierało żadnych szczegółów na temat badanej populacji.
83% nie przeprowadziło analizy statystycznej potencjalnych efektów związanych z różnorodnością próby.
85% nawet nie przedyskutowało potencjalnego wpływu kontekstu lub kultury.
Tylko 16% zalecało przeprowadzenie przyszłych badań nad danym zagadnieniem w innych kulturach lub społeczeństwach.
Nowsze badania wykazały podobne wyniki – brak różnorodności bez uznania jej potencjalnego ograniczenia. E. Kate Webb oraz Narodowe Centrum Postępu Nauk Translacyjnych (NCATS) odkryli, że narzędzia neuronaukowe (np. EEG) wprowadzają uprzedzenia rasowe do badań poprzez wykluczanie badanych na podstawie różnic fenotypowych w typie włosów i pigmentacji skóry. Celem, jak podsumowuje Webb, jest „rzucenie wyzwania rasizmowi w pracy naukowej oraz zaproponowanie procedur i zmian, które mogą prowadzić do bardziej sprawiedliwej nauki”.
Nadmierne poleganie na amerykańskich studentach studiów licencjackich
Głównym powodem utrzymywania się problemu WEIRD jest nadmierne poleganie na amerykańskich studentach studiów licencjackich jako uczestnikach badań. W 2007 roku 67% amerykańskich badań opublikowanych w Journal of Personality i 20% w Psychological Science wykorzystywało amerykańskich studentów studiów licencjackich jako obiekty badań. Jest to powszechne, ponieważ zebranie zróżnicowanej grupy badanych wiąże się z realnymi trudnościami. Często proces selekcji, rekrutacji i wynagradzania uczestników wymaga więcej czasu i energii niż samo zaprojektowanie, przeprowadzenie i przeanalizowanie wyników eksperymentów. Oznacza to, że badacze spędzają więcej czasu na organizowaniu uczestników niż na odkrywaniu wniosków na ich temat.
Zwiększanie różnorodności puli prób dzięki internetowym platformom do zdalnych badań
Globalne społeczności
Szybko staje się standardową praktyką docieranie do uczestników badań, rekrutowanie ich i ocenianie online. Korzystanie z platform badawczych opartych na chmurze uwalnia naukowców od przeszkód logistycznych (reklama, harmonogram, rejestracja) i fizycznych (lokalizacja uczestników), pozwalając im przeznaczyć więcej zasobów na właściwe badania.
Platformy te sprzyjają redukcji kosztów i zwiększeniu wydajności, umożliwiając jednocześnie badaczom dostęp do globalnych sieci puli uczestników, które lepiej charakteryzują kontekst kulturowy badań.
Wyjście poza psychologiczne badania WEIRD
Problem WEIRD rodzi trudne pytania o rzetelność, możliwość uogólniania, trafność i solidność badań. Badania te często próbują odpowiedzieć na pytania badawcze dotyczące ludzi, ale angażują osoby, które reprezentują mniej niż 12% globalnej populacji.
Wystosowano szereg zaleceń w celu rozwiązania problemu WEIRD. Zazwyczaj zalecenia te wiążą się z bardziej szczegółowymi wymogami dotyczącymi sprawozdawczości ze strony komitetów redakcyjnych czasopism naukowych. Biorąc pod uwagę konieczność publikowania wyników pracy przez naukowców, powinny nastąpić zmiany w wymogach dotyczących przesyłania prac: raporty muszą zawierać bardziej szczegółowe informacje demograficzne i omawiać wyniki w kontekście cech demograficznych próby.
Pokonywanie wyzwań logistycznych i fizycznych dzięki EmotivLABS
Do najczęściej wymienianych korzyści płynących z internetowych eksperymentów neurobiologicznych lub psychologicznych należą: zwiększenie wielkości próby badawczej, szybkie zróżnicowanie demograficzne oraz niski koszt technologii.
EmotivLABS integruje wiele z tych najlepszych praktyk, w tym proces certyfikacji uczestników korzystających z zestawów słuchawkowych Emotiv EEG, a także kontrolę jakości danych wykorzystującą uczenie maszynowe do weryfikacji jakości sygnału. Pozwala to na prowadzenie eksperymentów online generujących wysokiej jakości dane badawcze. Ponadto Emotiv stale monitoruje korzystanie z platformy i współpracuje z badaczami w celu regularnego wprowadzania aktualizacji usprawniających zarówno oprogramowanie, jak i sprzęt.
Usprawniony dobór uczestników
Osoby fizyczne i badacze nie muszą już spotykać się osobiście w celu zbierania danych. EmotivLABS usprawnia proces selekcji, rekrutacji i wynagradzania uczestników poprzez dopasowanie każdego eksperymentu do najbardziej odpowiednich osób z globalnej puli badanych.
Badacze mogą określić cechy demograficzne w projekcie swojego eksperymentu, podobnie jak ma to miejsce w przypadku szczegółowych możliwości targetowania reklam w sieciach społecznościowych. Eksperyment badacza jest automatycznie udostępniany certyfikowanym osobom, które najlepiej spełniają pożądane kryteria. Proces certyfikacji gwarantuje, że dane zebrane od tej społeczności są kompletne i charakteryzują się wysoką jakością.
Dostępność badanych w różnym wieku i o różnym pochodzeniu etnicznym zwiększy moc badań i zapewni większą precyzję w interpretacji ludzkich danych. Według stanu na rok 2021 platforma EmotivLABS zrzeszała osoby z ponad 80 krajów o zróżnicowanym profilu edukacyjnym, zawodowym i społeczno-ekonomicznym.
EmotivLABS umożliwia badaczom dostęp do uczestników spoza USA i innych krajów zachodnich, co jest kluczowym cznikiem w łagodzeniu problemu WEIRD.
Łatwe budżetowanie
Zestawy słuchawkowe EEG firmy Emotiv są znacznie tańsze niż laboratoryjne urządzenia badawcze i łatwiejsze w konfiguracji. Użytkownicy indywidualni, czyli tzw. naukowcy obywatelscy, posiadają własne zestawy słuchawkowe Emotiv, więc badacze nie muszą dostarczać własnych.
Początkowo uznani badacze wyrażali sceptycyzm wobec komercyjnego sprzętu EEG i zdalnego zbierania danych. Naukowcy ci są wyjątkowo świadomi wyzwań związanych z gromadzeniem wysokiej jakości, wiarygodnych danych sygnałowych w laboratorium, gdy badani znajdują się pod ich bezpośrednim nadzorem. Jednak liczne zespoły badawcze potwierdziły przydatność zestawów słuchawkowych Emotiv EEG. Większość z tych badań walidacyjnych wykazuje równoważność danych badawczych uzyskanych za pomocą systemów Emotiv i systemów laboratoryjnych. To potwierdza, że zestawy słuchawkowe Emotiv są opłacalną alternatywą dla zbierania danych o klasie naukowej.
Odkrywaj nietknięte obszary badawcze
Korzystanie z przenośnego sprzętu EEG pozwala badaczom zadawać nowe pytania dotyczące ludzi, którzy są chodzącymi, mówiącymi istotami spędzającymi życie poza laboratorium. Na przykład badanie poznania społecznego w interakcjach w świecie rzeczywistym jest bardziej pożądanym projektem eksperymentalnym niż badanie odizolowanych osób zamkniętych w pomieszczeniu i unieruchomionych. Ponadto dzięki tej elastyczności badania podłużne stają się bardziej wykonalne.
Ostatecznie problemem jest nie tylko to, że eksperymenty są przeprowadzane na ograniczonych, niereprezentatywnych grupach badanych.
Większość opublikowanych raportów z badań nie uwzględnia nawet ani nie opisuje szczegółowo cech demograficznych badanych osób poza wiekiem i płcią.
Wykazano również, że badani typu WEIRD są często przypadkami niezwykle odstającymi na spektrum ludzkich zachowań. Innymi słowy, są najmniej idealną grupą próbną do uzyskania wglądu w uniwersalne ludzkie cechy.
Jeśli w projekcie eksperymentu uwzględni się najlepsze praktyki i inkluzywność, badania online mogą w rzeczywistości mieć większy wpływ i znaczenie niż badania offline w laboratorium. W każdym przypadku należy dokładnie przemyśleć ramy kontekstowe, w których stawiane są pytania badawcze.
Badania online, jak i offline mają swoje wady i zalety, a wybór badacza powinien zależeć od konkretnych uwarunkowań pytania badawczego.
Chcesz dowiedzieć się więcej o tym, co EmotivLABS może zrobić dla Twoich badań?
Stwórz swój eksperyment za pomocą narzędzia Experiment Builder firmy Emotiv, a następnie wdróż go w EmotivLABS. Rekrutuj uczestników z globalnego panelu certyfikowanych osób, aby zbierać wysokiej jakości dane EEG – a wszystko to z poziomu jednej platformy. Kliknij tutaj, aby dowiedzieć się więcej lub poprosić o wersję demonstracyjną.

Kontynuuj czytanie