3 enfoques para solucionar la crisis de reproducibilidad en neurociencia:

1. Realizar estudios piloto con la intención de volver a ejecutar el experimento.

2. Garantizar conjuntos de muestras más grandes.

3. Diversificar su muestra utilizando comunidades de voluntarios en línea.

Existe una crisis de reproducibilidad bien descrita en la investigación científica moderna, especialmente en la neurociencia cognitiva. Esto se debe a que, por los costos y la logística que implica obtener sujetos de muestra o utilizar equipos de alta tecnología como la resonancia magnética funcional (fMRI, por sus siglas en inglés), los laboratorios de neurociencia cognitiva rara vez reproducen los resultados de los ensayos experimentales.

La reproducibilidad, en este artículo, se define como un proceso de laboratorio interno en el cual el diseño experimental pasa de ser piloto/exploratorio a ensayos experimentales más grandes y controlados que se ejecutarán varias veces. En experimentos diseñados correctamente, los datos recopilados y los resultados de cada ensayo deberían poder:

• Fusionarse en un conjunto de datos más grande.

• Tener un tamaño de muestra mayor.

• Tener un alto poder estadístico.

Estos factores preparan los experimentos de neurociencia para ser dignos de reportes de investigación publicados, de modo que otros laboratorios puedan intentar replicar los hallazgos. Sin embargo, desafortunadamente, esto rara vez sucede por varias razones.

Esta crisis de reproducibilidad amenaza el futuro de la ciencia porque desperdicia tiempo, esfuerzo, recursos y experiencia en estudios que no se replicarán. Sin réplica, los estudios "principales" se desvanecen en la leyenda y raras veces afectan al mundo de la manera prometida. Un reporte analítico realizado por el vicepresidente de Investigación de Hematología y Oncología estimó que la falta de reproducibilidad cuesta hasta 28 mil millones de dólares cada año solo en los Estados Unidos. En última instancia, estos fondos se desperdician en trabajos preclínicos que no cumplen con el estándar de reproducibilidad confiable.

Para corregir este patrón, primero debemos entenderlo. Podemos comenzar reconociendo las prácticas y la cultura actual de la neurociencia. Este artículo analizará el diseño experimental y la programación de ensayos para proporcionar diversas formas en que su laboratorio puede mejorar la reproducibilidad experimental, tanto dentro del laboratorio (ensayos experimentales) como fuera del laboratorio (intercambio de datos científicos abiertos). Al final, sabrá cómo algunos recursos pueden reducir los costos y la logística de obtener datos de muestra y sujetos de prueba.

¡Muéstrelo otra vez!

Es posible lograr confianza en la reproducibilidad de su estudio.

Por lo general, la mayoría de los diseños experimentales comienzan con un estudio piloto o exploratorio con un tamaño de muestra más pequeño, según la naturaleza del experimento. En neurociencia cognitiva, ese tamaño de muestra inicial suele ser n < 20. Su propósito es garantizar que el efecto experimental que se observa sea un verdadero efecto potencial y justificar el uso de recursos adicionales que requiere un experimento más grande. Estos estudios también son importantes para probar y perfeccionar su protocolo.

En general, los investigadores de neurociencia cognitiva intentan equilibrar el poder estadístico con el tamaño de muestra de menor costo que se pueda lograr de manera razonable en la etapa piloto. El objetivo de estos estudios es proporcionar evidencia estadística provisional de la presencia de un efecto. Estos estudios no están destinados a reportes de investigación o publicaciones, sino más bien a validar una línea de investigación, sustentar solicitudes de financiamiento de subvenciones y servir como sustento para futuros estudios.

Después de que se completen los estudios piloto o exploratorios en los experimentos de neurociencia cognitiva, el siguiente paso es "¡ejecutarlo de nuevo!". Con varios parámetros enfocados, volver a ejecutar la investigación es una forma de superar la crisis de reproducibilidad en los datos experimentales de neurociencia cognitiva. Por lo general, el bajo poder estadístico se puede superar con un tamaño de muestra más grande. Para determinar un tamaño de muestra adecuado, el Journal of Neuroscience realizó estas recomendaciones en 2020. Al igual que muchos conceptos y principios de la neurociencia cognitiva, depende del contexto de sus experimentos y del objetivo previsto.

Nuevamente, estos estudios iniciales no están destinados a publicarse como reportes de investigación. Sin embargo, a veces parece que esto sucede, y eso lleva a una crisis de reproducibilidad.

Conjuntos de muestras más grandes y ciencia abierta

Gane confianza en que el efecto que está viendo sea un efecto real con importancia práctica.

Ir más allá de los ensayos piloto hacia ensayos experimentales destinados a la publicación es, por lo general, el siguiente paso en el proceso de investigación de un laboratorio de neurociencia.

Gracias al estudio piloto, los investigadores confían en su metodología y parecen tener un efecto real.

En esta etapa, ellos:

• Diseñan el experimento con un conjunto de muestras más grande.

• Necesitan recopilar más datos.

• Vuelven a realizar el ensayo experimental.

Si las pruebas estadísticas son significativas y no presentan conflictos, los neurocientíficos deben reunir aún más evidencia para estar seguros de que están viendo un efecto real.

Ciencia abierta

En las publicaciones de investigación, hay un movimiento creciente denominado "ciencia abierta", donde los datos y los scripts de análisis se publican junto con la narrativa de la investigación. En neurociencia cognitiva, uno de los mejores recursos para la investigación abierta en neurociencia es el Marco de Información de Neurociencia (NIF; neuinfo.org).

La teoría de la ciencia abierta abarca todas las etapas del ciclo de investigación, en la cual habría una mayor transparencia en la recopilación, procesamiento, almacenamiento y revisión de datos experimentales. La filosofía de transparencia en la ciencia abierta también incluye los diseños experimentales: compartir los detalles con la comunidad científica para mejorar la replicación y reproducibilidad de los experimentos de neurociencia centrales. Tales métodos alientan a los científicos a continuar produciendo investigaciones de alto calibre y combatir la creciente crisis de replicación en la neurociencia cognitiva.

Grupos como EmotivLABs están cultivando comunidades de investigación en neurociencia cognitiva que les permiten compartir diseños experimentales con otros investigadores.

A medida que la crisis de reproducibilidad continúa afectando a la comunidad científica, la necesidad de estudios de investigación reproducibles y de alta calidad nunca ha sido tan grande. Existen varias opciones de diseño para permitir que otros científicos reproduzcan los experimentos. Estas opciones brindan a los investigadores en neurociencia la oportunidad de:

• Determinar su tamaño de muestra adecuado.

• Utilizar herramientas innovadoras, validadas y confiables para el análisis de datos.

• Consultar con colegas y líderes científicos.

• Utilizar rápidamente los principios rectores de la ciencia abierta.

Comunidades diversas de voluntarios remotos

Un tamaño de muestra pequeño afecta negativamente la validez y reproducibilidad de la investigación porque los resultados generados por unos pocos participantes no se pueden generalizar al resto de la población. Estos resultados no abarcan la neurodiversidad de la sociedad. Como tal, las herramientas de recopilación de datos remotas son el futuro de la neurociencia inclusiva.

EmotivLABs: Cultivar una comunidad de neurociencia cognitiva

Conozca Emotiv

Fundada en 2011, Emotiv es una empresa de bioinformática con sede en San Francisco cuya misión es avanzar en nuestra comprensión del cerebro humano utilizando hardware de electroencefalografía (EEG) personalizado, análisis y visualización.

El centro de la ciencia abierta es la colaboración. La plataforma y el personal de Emotiv tienen como objetivo promover la integridad científica y el rigor experimental. Nuestra plataforma de investigación escalable, EmotivLABs, conecta a los neurocientíficos cognitivos de todo el mundo con una población mundial de participantes de investigación e investigadores. Al reconocer la linealidad aditiva de la investigación en neurociencia, ayudamos a los investigadores al proporcionar conjuntos de datos extensos, multidimensionales y ricos, lo que le permite extraer conclusiones significativas de una amplia muestra.

Aumente el tamaño de la muestra de su investigación

EmotivLABs combate la crisis de reproducibilidad al conectar a los investigadores con participantes de investigación calificados y aprobados, y al mismo tiempo mitiga la carga logística del reclutamiento a la vez que garantiza un poder estadístico suficiente.

Asegúrese de que su trabajo se almacene de forma segura, sea transformable y recuperable

Otra amenaza para la reproducibilidad es la replicación analítica, que requiere el conjunto de datos original para validar los resultados. Buscar y financiar un lugar de almacenamiento seguro es un proceso tedioso. Al actuar como un repositorio de datos, EmotivLABs almacena sus datos de manera segura después de que los participantes carguen sus grabaciones. Esos datos se cargan automáticamente y se cifran rigurosamente en todas las etapas de tránsito y almacenamiento.

Optimización de procesos

Para ayudar a los investigadores a diseñar experimentos de neurociencia cognitiva y publicar estudios de investigación que contribuyan a la comunidad científica en general, desarrollamos un conjunto de herramientas robusto y optimizado, EmotivPRO, para generar experimentos innovadores y reproducibles.

Nuestras instrucciones explícitas y métodos transparentes actúan como una guía que permite a los investigadores verificar los hallazgos originales. El Experiment Builder intuitivo y fácil de usar permitirá a otros investigadores que deseen reproducir su estudio mediante la provisión de una plantilla prediseñada dentro de la plataforma. De manera alternativa, estos investigadores de neurociencia cognitiva pueden crear un experimento único, lo que les permite adaptar cada detalle desde cero.

Tecnología Emotiv

Emotiv ha diseñado un conjunto de herramientas para respaldar cada paso de la investigación en neurociencia a lo largo del camino.

El software EmotivPRO permite a los usuarios procesar, analizar y visualizar los resultados de las pruebas. Los investigadores también pueden diseñar experimentos a nivel profesional en los que cualquier participante que cuente con auriculares Emotiv pueda participar si cumple con el diseño experimental.

También está disponible un kit de desarrollo de software (SDK) para Emotiv, de modo que se puedan realizar aplicaciones personalizadas, interacciones o diseños experimentales sobre la marcha utilizando únicamente los auriculares y el smartphone.

A medida que aumenta el número de disciplinas y mercados comerciales que adoptan herramientas y metodologías de neurociencia, los sistemas EEG de Emotiv, de bajo costo y fáciles de usar, se utilizan en:

• Investigación en neurociencia

• Iniciativas de marketing de salud y bienestar

• Industria automotriz

• Neuromarketing

• Investigación de consumidores

• Educación

• Entornos de entretenimiento

Además, gracias a la calidad, el costo y la capacidad de enviar auriculares Emotiv a todo el mundo, los investigadores pueden reclutar e inscribir a las personas que califiquen. Debido a las métricas de control de calidad que evalúa el software de procesamiento, los investigadores también pueden confiar en el proceso de recopilación de datos.

¿Desea obtener más información sobre lo que la plataforma EmotivLABs podría hacer por su investigación?

EmotivLABs le permite crear su experimento, implementar su experimento de manera segura, reclutar participantes de un panel global de participantes verificados y recopilar datos de EEG de alta calidad, todo desde una sola plataforma. Haga clic aquí para obtener más información o solicitar una demostración.