3 abordagens para corrigir a crise de reprodutibilidade da neurociência:

1. Realize estudos piloto com a intenção de executar o experimento novamente.

2. Garanta conjuntos de amostras maiores.

3. Diversifique sua amostra usando comunidades de voluntários online.

Existe uma crise de reprodutibilidade bem descrita na pesquisa científica moderna, especialmente na neurociência cognitiva. Ou seja, devido aos custos e à logística para obter sujeitos de amostra ou usar equipamentos de alta tecnologia como um fMRI, os laboratórios de neurociência cognitiva raramente reproduzem os resultados de ensaios experimentais.

A reprodutibilidade, neste post, é definida como um processo laboratorial interno no qual o design experimental passa de ensaios experimentais piloto/exploratórios para ensaios experimentais maiores e mais controlados que serão executados várias vezes. Em experimentos devidamente projetados, os dados coletados e os resultados de cada ensaio devem ser capazes de:

• Fundir-se em um conjunto de dados maior.

• Ter um tamanho de amostra maior

• Ter alto poder estatístico.

Esses fatores preparam os experimentos de neurociência para serem dignos de relatórios de pesquisa publicados, para que outros laboratórios possam tentar replicar as descobertas. No entanto, infelizmente, isso raramente acontece por vários motivos.

Essa crise de reprodutibilidade ameaça o futuro da ciência porque desperdiça tempo, esforço, recursos e conhecimento em estudos que não serão replicados. Sem a replicação, os estudos "marcos" caem no esquecimento e raramente afetam o mundo da maneira prometida. Um relatório analítico do vice-presidente de Pesquisa em Hematologia e Oncologia estimou que a falta de reprodutibilidade custa até 28 bilhões de dólares por ano apenas nos Estados Unidos. Esses fundos são, em última análise, desperdiçados em trabalhos pré-clínicos que não atendem ao padrão de reprodutibilidade confiável.

Para corrigir esse padrão, devemos primeiro compreendê-lo. Podemos começar reconhecendo as práticas e a cultura atuais da neurociência. Este post abordará o design experimental e o agendamento de ensaios para fornecer várias maneiras de seu laboratório melhorar a reprodutibilidade experimental, tanto dentro do laboratório (ensaios experimentais) quanto fora dele (compartilhamento de dados de ciência aberta). Ao final, você saberá como alguns recursos podem reduzir os custos e a logística de obtenção de dados de amostra e sujeitos de teste.

Execute novamente!

É possível alcançar confiança na reprodutibilidade do seu estudo.

Geralmente, a maioria dos designs experimentais começa com um estudo piloto ou exploratório com um tamanho de amostra menor, dependendo da natureza do experimento. Na neurociência cognitiva, esse tamanho de amostra inicial costuma ser n < 20. O objetivo deles é garantir que o efeito experimental que você está vendo seja um efeito potencial real e justificar o uso de recursos adicionais que um experimento maior exige. Esses estudos também são importantes para testar e refinar seu protocolo.

Geralmente, os investigadores de neurociência cognitiva tentam equilibrar o poder estatístico com o menor custo de tamanho de amostra que pode ser razoavelmente alcançado na fase piloto. O objetivo desses estudos é fornecer evidências estatísticas provisórias da presença de um efeito. Esses estudos não se destinam a relatórios de pesquisa ou publicações, mas sim a validar uma linha de investigação, fundamentar aplicações de financiamento de bolsas e servir de base para estudos futuros.

Após a conclusão dos estudos piloto ou exploratórios em experimentos de neurociência cognitiva, o próximo passo é "executar novamente!". Com vários parâmetros em foco, refazer a investigação é uma forma de superar a crise de reprodutibilidade nos dados experimentais da neurociência cognitiva. O baixo poder estatístico geralmente pode ser superado com um tamanho de amostra maior. Para determinar um tamanho de amostra apropriado, o Journal of Neuroscience fez estas recomendações em 2020. Assim como muitos conceitos e princípios na neurociência cognitiva, isso depende do contexto dos seus experimentos e do objetivo pretendido.

Novamente, esses estudos iniciais não se destinam a ser relatórios de pesquisa publicados. No entanto, às vezes parece que isso acontece, e isso leva a uma crise de reprodutibilidade.

Conjuntos de amostras maiores e ciência aberta

Ganhe confiança de que o efeito que você está vendo é um efeito real com significância prática.

Ir além do piloto para ensaios experimentais destinados à publicação é normalmente o próximo passo no processo de pesquisa de um laboratório de neurociência.

Graças ao estudo piloto, os pesquisadores estão confiantes em sua metodologia e parecem ter um efeito real.

Nesta fase, eles:

• Projetam o experimento com um conjunto de amostras maior.

• Precisam coletar mais dados.

• Executam o ensaio experimental novamente.

Se os testes estatísticos forem significativos e não conflitantes, os neurocientistas precisam reunir ainda mais evidências para ter certeza de que estão vendo um efeito real.

Ciência aberta

Nas publicações de pesquisa, há um movimento crescente conhecido como "ciência aberta", onde os dados e os scripts de análise são publicados juntamente com a narrativa da pesquisa. Na neurociência cognitiva, um dos melhores recursos para pesquisa em neurociência aberta é o Neuroscience Information Framework (NIF; neuinfo.org).

A teoria da ciência aberta abrange todas as fases do ciclo de pesquisa, nas quais haveria uma maior transparência na coleta, processamento, armazenamento e revisão de dados experimentais. A filosofia da transparência na ciência aberta também inclui designs experimentais — compartilhando os detalhes com a comunidade científica para melhorar a replicação e a reprodutibilidade dos principais experimentos de neurociência. Tais métodos incentivam os cientistas a continuar produzindo pesquisas de alto calibre e a combater a crescente crise de replicação na neurociência cognitiva.

Grupos como o EmotivLABs estão cultivando comunidades de pesquisa em neurociência cognitiva que lhes permitem compartilhar designs experimentais com outros pesquisadores.

À medida que a crise de reprodutibilidade continua a impactar a comunidade científica, a necessidade de estudos de pesquisa reprodutíveis e de alta qualidade nunca foi tão grande. Existem várias opções de design para permitir que outros cientistas reproduzam experimentos. Essas opções dão aos pesquisadores de neurociência a oportunidade de:

• Determinar seu tamanho de amostra apropriado.

• Usar ferramentas inovadoras, validadas e confiáveis para análise de dados.

• Consultar pares e lideranças científicas.

• Utilizar rapidamente os princípios norteadores da ciência aberta.

Comunidades de voluntários remotos diversos

Um tamanho de amostra pequeno afeta negativamente a validade e a reprodutibilidade da pesquisa porque os resultados gerados a partir de poucos participantes não podem ser generalizados para o resto da população. Esses resultados não abrangem a neurodiversidade da sociedade. Como tal, as ferramentas de coleta de dados remota são o futuro da neurociência inclusiva.

EmotivLABs: Cultivando uma comunidade de neurociência cognitiva

Conheça a Emotiv

Fundada em 2011, a Emotiv é uma empresa de bioinformática com sede em São Francisco, com a missão de avançar nossa compreensão do cérebro humano usando hardware de eletroencefalografia (EEG) personalizado, análise e visualização.

No centro da ciência aberta está a colaboração. A plataforma e a equipe da Emotiv visam promover a integridade científica e o rigor experimental. Nossa plataforma de pesquisa escalável, EmotivLABs, conecta neurocientistas cognitivos de todo o mundo com uma população global de participantes de pesquisa e investigadores. Reconhecendo a linearidade aditiva da pesquisa em neurociência, auxiliamos os pesquisadores fornecendo conjuntos de dados extensos, multidimensionais e ricos, permitindo que você tire conclusões significativas de uma ampla amostra.

Aumente o tamanho da amostra da sua pesquisa

O EmotivLABs combate a crise de reprodutibilidade conectando investigadores a participantes de pesquisa qualificados e credenciados, aliviando a carga logística do recrutamento e garantindo poder estatístico suficiente.

Garanta que seu trabalho seja armazenado com segurança, transformável e recuperável

Outra ameaça à reprodutibilidade é a replicação analítica, que requer o conjunto de dados original para validar os resultados. Encontrar e financiar um local de armazenamento seguro é entediante. Atuando como um repositório de dados, o EmotivLABs armazena seus dados com segurança após os participantes fazerem o upload de suas gravações. Esses dados são enviados automaticamente e rigorosamente criptografados em todas as etapas de trânsito e armazenamento.

Otimizando processos

Para ajudar os investigadores a projetar experimentos de neurociência cognitiva e publicar estudos de pesquisa que contribuam para a comunidade científica em geral, desenvolvemos um kit de ferramentas robusto e simplificado, o EmotivPRO, para gerar experimentos inovadores e reprodutíveis.

Nossas instruções explícitas e métodos transparentes servem como um guia que permite aos investigadores verificar as descobertas originais. O intuitivo e fácil de usar Experiment Builder permite que outros pesquisadores que desejam reproduzir seu estudo utilizem um modelo pré-criado na plataforma. Alternativamente, esses pesquisadores de neurociência cognitiva podem criar um experimento exclusivo, permitindo-lhes personalizar cada detalhe do zero.

Tecnologia Emotiv

A Emotiv projetou um conjunto de ferramentas para apoiar cada etapa da pesquisa em neurociência ao longo do caminho.

O software EmotivPRO permite que os usuários processem, analisem e visualizem os resultados dos ensaios. Os pesquisadores também podem projetar experimentos em nível profissional nos quais qualquer participante com um headset Emotiv pode participar, desde que esteja em conformidade com o design experimental.

Um Kit de Desenvolvimento de Software (SDK) para a Emotiv também está disponível para que aplicativos personalizados, interações ou designs experimentais possam ser executados em movimento usando apenas o headset e o smartphone.

À medida que aumenta o número de disciplinas e mercados comerciais que adotam ferramentas e metodologias de neurociência, os sistemas de EEG de baixo custo e fáceis de usar da Emotiv estão sendo utilizados em:

• Pesquisa em neurociência

• Iniciativas de marketing de saúde e bem-estar

• Indústrias automotivas

• Neuromarketing

• Pesquisa do consumidor

• Educação

• Ambientes de entretenimento

Além disso, devido à qualidade, ao custo e à capacidade de enviar headsets Emotiv para todo o mundo, os pesquisadores podem recrutar e cadastrar indivíduos qualificados. Devido às métricas de controle de qualidade que o software de processamento avalia, os pesquisadores também podem confiar no processo de coleta de dados.

Quer saber mais sobre o que a plataforma EmotivLABs pode fazer pela sua pesquisa?

O EmotivLABs permite que você construa seu experimento, implemente seu experimento de forma segura, recrute a partir de um painel global de participantes verificados e colete dados de EEG de alta qualidade, tudo a partir de uma única plataforma. Clique aqui para saber mais ou solicitar uma demonstração.