3 enfoques para solucionar la crisis de reproducibilidad de la neurociencia:

1. Realizar estudios piloto con la intención de volver a ejecutar el experimento.

2. Garantizar conjuntos de muestras más grandes.

3. Diversificar su muestra utilizando comunidades de voluntarios en línea.

Existe una crisis de reproducibilidad bien descrita en la investigación científica moderna, especialmente en la neurociencia cognitiva. Esto se debe a que, debido a los costos y la logística de obtener sujetos de muestra o utilizar equipos de alta tecnología como la resonancia magnética funcional (fMRI), los laboratorios de neurociencia cognitiva rara vez reproducen los resultados de los ensayos experimentales.

La reproducibilidad, en este artículo, se define como un proceso de laboratorio interno en el que el diseño experimental pasa de ensayos experimentales piloto/exploratorios a ensayos experimentales más grandes y controlados que se ejecutarán varias veces. En experimentos diseñados adecuadamente, los datos recopilados y los resultados de cada ensayo deberían poder:

• Fusionarse en un conjunto de datos más grande.

• Tener un tamaño de muestra más grande.

• Tener un alto poder estadístico.

Estos factores preparan los experimentos de neurociencia para que sean dignos de informes de investigación publicados, de modo que otros laboratorios puedan intentar replicar los hallazgos. Sin embargo, lamentablemente, esto rara vez ocurre por varias razones.

Esta crisis de reproducibilidad amenaza el futuro de la ciencia porque desperdicia tiempo, esfuerzo, recursos y experiencia en estudios que no se replicarán. Sin replicación, los estudios "hito" se desvanecen en la leyenda y rara vez afectan al mundo de las formas prometidas. Un informe analítico realizado por el vicepresidente de Investigación de Hematología y Oncología estimó que la falta de reproducibilidad cuesta hasta 28 mil millones de dólares cada año solo en los Estados Unidos. En última instancia, estos fondos se desperdician en trabajos preclínicos que no cumplen con el estándar de reproducibilidad confiable.

Para enmendar este patrón, primero debemos entenderlo. Podemos comenzar reconociendo las prácticas y la cultura actuales de la neurociencia. Este artículo analizará el diseño experimental y la programación de ensayos para proporcionar varias formas en las que su laboratorio puede mejorar la reproducibilidad experimental, tanto dentro del laboratorio (ensayos experimentales) como fuera de él (intercambio de datos de ciencia abierta). Al final, sabrá cómo algunos recursos pueden reducir los costos y la logística de obtener datos de muestra y sujetos de prueba.

¡Ejecútelo de nuevo!

Es posible lograr confianza en la reproducibilidad de su estudio.

Por lo general, la mayoría de los diseños experimentales comienzan con un estudio piloto o exploratorio con un tamaño de muestra más pequeño, según la naturaleza del experimento. En neurociencia cognitiva, ese tamaño de muestra inicial suele ser n < 20. Su propósito es garantizar que el efecto experimental que se observa sea un efecto potencial real y justificar el uso de los recursos adicionales que requiere un experimento más grande. Estos estudios también son importantes para probar y perfeccionar su protocolo.

Generalmente, los investigadores de neurociencia cognitiva intentan equilibrar el poder estadístico con el tamaño de muestra de menor costo que se pueda lograr razonablemente en la etapa piloto. El objetivo de estos estudios es proporcionar evidencia estadística provisional de la presencia de un efecto. Estos estudios no están destinados a informes de investigación o publicaciones, sino a validar una línea de investigación, corroborar solicitudes de financiación de subvenciones y servir de base para futuros estudios.

Una vez que se completan los estudios piloto o exploratorios en los experimentos de neurociencia cognitiva, el siguiente paso es "¡ejecutarlo de nuevo!". Con varios parámetros en foco, volver a ejecutar la investigación es una forma de superar la crisis de reproducibilidad en los datos experimentales de neurociencia cognitiva. El bajo poder estadístico normalmente se puede superar con un tamaño de muestra más grande. Para determinar un tamaño de muestra adecuado, el Journal of Neuroscience hizo estas recomendaciones en 2020. Al igual que muchos conceptos y principios de la neurociencia cognitiva, depende del contexto de sus experimentos y del objetivo previsto.

Nuevamente, estos estudios iniciales no están destinados a ser informes de investigación publicados. Sin embargo, a veces parece que eso sucede, y eso conduce a una crisis de reproducibilidad.

Conjuntos de muestras más grandes y ciencia abierta

Gane confianza en que el efecto que está viendo es un efecto real con importancia práctica.

Ir más allá del piloto a los ensayos experimentales destinados a la publicación es, por lo general, el siguiente paso en el proceso de investigación de un laboratorio de neurociencia.

Gracias al estudio piloto, los investigadores confían en su metodología y parecen tener un efecto real.

En esta etapa, ellos:

• Diseñan el experimento con un conjunto de muestras más grande.

• Necesitan recopilar más datos.

• Vuelven a ejecutar el ensayo experimental.

Si las pruebas estadísticas son significativas y no presentan conflictos, los neurocientíficos deben reunir aún más evidencia para estar seguros de que están viendo un efecto real.

Ciencia abierta

En las publicaciones de investigación, existe un movimiento creciente denominado "ciencia abierta", donde los datos y los scripts de análisis se publican junto con la narrativa de la investigación. En neurociencia cognitiva, uno de los mejores recursos para la investigación de neurociencia abierta es el Neuroscience Information Framework (NIF; neuinfo.org).

La teoría de la ciencia abierta abarca todas las etapas del ciclo de investigación, en las que habría una mayor transparencia en la recopilación, el procesamiento, el almacenamiento y la revisión de datos experimentales. La filosofía de transparencia en la ciencia abierta también incluye los diseños experimentales: compartir los detalles con la comunidad científica para mejorar la replicación y la reproducibilidad de los experimentos centrales de neurociencia. Dichos métodos alientan a los científicos a continuar produciendo investigaciones de alto calibre y combatir la creciente crisis de replicación en la neurociencia cognitiva.

Grupos como EmotivLABs están cultivando comunidades de investigación en neurociencia cognitiva que les permiten compartir diseños experimentales con otros investigadores.

A medida que la crisis de reproducibilidad continúa afectando a la comunidad científica, la necesidad de estudios de investigación reproducibles y de alta calidad nunca ha sido tan alta. Existen varias opciones de diseño que permiten a otros científicos reproducir experimentos. Estas opciones brindan a los investigadores de neurociencia la oportunidad de:

• Determinar su tamaño de muestra adecuado.

• Utilizar herramientas innovadoras, validadas y confiables para el análisis de datos.

• Consultar con colegas y líderes científicos.

• Utilizar rápidamente los principios rectores de la ciencia abierta.

Comunidades diversas de voluntarios remotos

Un tamaño de muestra pequeño afecta negativamente la validez y la reproducibilidad de la investigación porque los resultados generados a partir de unos pocos participantes no se pueden generalizar al resto de la población. Estos resultados no abarcan la neurodiversidad de la sociedad. Como tal, las herramientas de recopilación de datos remotos son el futuro de la neurociencia inclusiva.

EmotivLABs: Cultivando una comunidad de neurociencia cognitiva

Conozca a Emotiv

Fundada en 2011, Emotiv es una empresa de bioinformática con sede en San Francisco cuya misión es avanzar en nuestra comprensión del cerebro humano utilizando hardware, análisis y visualización de electroencefalografía (EEG) personalizados.

En el centro de la ciencia abierta está la colaboración. La plataforma y el personal de Emotiv tienen como objetivo promover la integridad científica y el rigor experimental. Nuestra plataforma de investigación escalable, EmotivLABs, conecta a los neurocientíficos cognitivos de todo el mundo con una población global de participantes e investigadores de investigación. Al reconocer la linealidad aditiva de la investigación en neurociencia, ayudamos a los investigadores proporcionándoles conjuntos de datos ricos, multidimensionales y extensos, lo que les permite extraer conclusiones significativas de una amplia muestra.

Aumente el tamaño de la muestra de su investigación

EmotivLABs combate la crisis de reproducibilidad al conectar a los investigadores con participantes de investigación calificados y verificados, aliviando la carga logística de la contratación y garantizando al mismo tiempo suficiente poder estadístico.

Asegúrese de que su trabajo se almacene de forma segura, sea transformable y recuperable

Otra amenaza para la reproducibilidad es la replicación analítica, que requiere el conjunto de datos original para validar los resultados. Encontrar y financiar un lugar de almacenamiento seguro es tedioso. Actuando como un repositorio de datos, EmotivLABs almacena sus datos de manera segura después de que los participantes cargan sus grabaciones. Esos datos se cargan automáticamente y se cifran rigurosamente en todas las etapas de tránsito y almacenamiento.

Optimización de procesos

Para ayudar a los investigadores a diseñar experimentos de neurociencia cognitiva y publicar estudios de investigación que contribuyan a la comunidad científica en general, desarrollamos un conjunto de herramientas sólido y optimizado, EmotivPRO, para generar experimentos innovadores y reproducibles.

Nuestras instrucciones explícitas y métodos transparentes actúan como una guía que permite a los investigadores verificar los hallazgos originales. El Diseñador de Experimentos, intuitivo y fácil de usar, permitirá a otros investigadores que deseen reproducir su estudio utilizar una plantilla preestablecida dentro de la plataforma. Alternativamente, estos investigadores de neurociencia cognitiva pueden crear un experimento único, lo que les permite adaptar cada detalle desde cero.

Tecnología Emotiv

Emotiv ha diseñado un conjunto de herramientas para respaldar cada paso de la investigación en neurociencia a lo largo del camino.

El software EmotivPRO permite a los usuarios procesar, analizar y visualizar los resultados de los ensayos. Los investigadores también pueden diseñar experimentos a nivel profesional en los que cualquier participante con auriculares Emotiv pueda participar si cumple con el diseño experimental.

También está disponible un Kit de desarrollo de software (SDK) para Emotiv para que las aplicaciones personalizadas, las interacciones o los diseños experimentales se puedan realizar sobre la marcha utilizando únicamente los auriculares y un teléfono inteligente.

A medida que aumenta el número de disciplinas y mercados comerciales que adoptan herramientas y metodologías de neurociencia, los sistemas de EEG de bajo costo y fáciles de usar de Emotiv se están utilizando en:

• Investigación en neurociencia

• Iniciativas de marketing de salud y bienestar

• Industrias automotrices

• Neuromarketing

• Investigación del consumidor

• Educación

• Entornos de entretenimiento

Además, gracias a la calidad, el costo y la capacidad de enviar auriculares Emotiv a todo el mundo, los investigadores pueden reclutar e inscribir a personas que califiquen. Debido a las métricas de control de calidad que evalúa el software de procesamiento, los investigadores también pueden confiar en el proceso de recopilación de datos.

¿Desea obtener más información sobre lo que la plataforma EmotivLABs podría hacer por su investigación?

EmotivLABs le permite construir su experimento, implementarlo de manera segura, reclutar entre un panel global de participantes verificados y recopilar datos de EEG de alta calidad, todo desde una sola plataforma. Haga clic aquí para obtener más información o solicitar una demostración.