Significancia estadística: tamaño(s) de la muestra y potencia estadística - Para comprender el mundo que nos rodea, los investigadores utilizan formalmente el método científico como una forma de separar las verdades sospechadas de las falsedades. La neurociencia cognitiva tiene como objetivo comprender cómo los sistemas genéticos, neurológicos y conductuales sustentan la capacidad de un organismo para sentir, interactuar, navegar y pensar en el mundo que lo rodea.

Esto significa que la neurociencia cognitiva diseña experimentos y recopila datos en todos los niveles de análisis. Los programas de investigación de todo el mundo que buscan ampliar nuestra comprensión del mundo natural evalúan periódicamente supuestos, o hipótesis, en una serie bien planificada de experimentos más pequeños. Estos experimentos tienden a examinar factores específicos que pueden o no influir en un resultado, al tiempo que minimizan la influencia de factores extraños como el entorno, la orientación sexual, la raza o el nivel socioeconómico.

Escenario uno: un estudio sobre la liberación de dopamina

In la neurociencia cognitiva, la dopamina se considera generalmente un compuesto que hace "sentirse bien". Su liberación en el núcleo accumbens (NuAc) se activa por comportamientos o cosas que nos motivan a comportarnos. Estos pueden incluir:

• Comer una buena comida

• Pasar tiempo con los seres queridos

• Sexo

• Azúcar

Supongamos que nos gustaría averiguar si los niveles máximos de dopamina en el NuAc ocurren antes, durante o después de la exposición a un estímulo visual deseado o familiar. Podemos utilizar el diseño experimental de EEG adoptado del estudio de Amatya Johanna Mackintosh. Podemos plantear la hipótesis de que la liberación de dopamina ocurre durante la exposición a los estímulos visuales familiares o deseados y alcanza su punto máximo un poco después.

Ahora, lo más crítico es, ¿de dónde sacamos a los sujetos de prueba?

En situaciones experimentales, la "población" se refiere al grupo colectivo total más grande que se está estudiando. Es poco práctico e improbable que su laboratorio pueda idear una técnica para reclutar y recopilar datos sobre la liberación de dopamina en cientos de miles o millones de personas.

Por lo tanto, intentaremos recopilar datos de un grupo o muestra más pequeño y representativo para comprender a la población. Para hacer eso, necesitaremos responder dos preguntas principales.

1. ¿Cuántas personas deben incluirse en nuestra muestra?

2. ¿Cómo se relaciona esto con la significancia práctica y la potencia estadística?

Desglosémoslo a continuación.

Potencia estadística y efecto real

La potencia estadística se define como la probabilidad de que una prueba detecte una diferencia estadísticamente significativa cuando esa diferencia realmente existe. También se conoce como efecto real o verdadero.

El efecto real es la piedra angular del diseño experimental. El informe de Cohen de 1988, prolífico por sus contribuciones al método científico, razonó que un estudio debería diseñarse para tener una probabilidad del 80% de detectar un efecto real. Este 80% representa un diseño de prueba de alta potencia (HP), mientras que cualquier valor cercano al 20% es un diseño de prueba de baja potencia (LP).

Cohen sugirió que los estudios siempre deberían tener menos del 20% de probabilidad de cometer un error de tipo II, conocido como falso negativo. También utiliza estas mismas pautas para los descubrimientos perdidos, que ocurren cuando un investigador informa incorrectamente que no hay un efecto significativo cuando en realidad existe una diferencia.

¿Por qué importa la potencia estadística?

Piense en este escenario. Si existe un efecto real en 100 estudios diferentes con un 80% de potencia, las pruebas estadísticas detectarán un efecto real en 80 de los 100. Sin embargo, cuando un estudio tiene una potencia de investigación del 20%, si hay 100 efectos genuinos no nulos en los resultados, se espera que estos estudios descubran solo 20 de ellos.

Deficiencias de la potencia estadística en la investigación de la neurociencia

Como es de esperar, debido a la naturaleza intensiva en recursos de la investigación en neurociencia, este campo tiene una potencia estadística mediana de aproximadamente el 21% y tiene un promedio en un amplio rango de 8% a 31%. La baja potencia estadística en la investigación neurocientífica:

• Pone en duda la replicabilidad de los hallazgos.

• Conduce a un tamaño del efecto exagerado.

• Reduce la probabilidad de obtener resultados estadísticamente significativos que representen con precisión el efecto real.

Como tal, el estado actual de la investigación en neurociencia está atrapado por el problema de la potencia estadística porque estos valores están muy por debajo del umbral teórico de Cohen.

Establecer un grupo o grupos de muestras representativos

Objetivo del escenario uno: evitar errores de muestreo y errores de tipo I y II en nuestra prueba con un muestreo inclusivo y grande.

¿Cuántos escaneos de cerebros humanos deben incluirse en nuestro conjunto de muestras si queremos que el experimento sea prácticamente significativo? La significancia práctica se refiere a si los resultados de un experimento se aplican o no al mundo real.

La capacidad del experimento de un neurocientífico para determinar los efectos (potencia estadística) está relacionada con el tamaño de la muestra. Siguiendo con los parámetros del escenario 1, el objetivo sigue siendo recopilar suficientes datos para poder evaluar estadísticamente si existe un efecto real en el tiempo de liberación de dopamina después de mostrar estímulos visuales con carga emocional. También debemos establecer criterios de inclusión en la muestra que minimicen la posibilidad de un error de muestreo.

Cómo evitar errores de muestreo

Es importante entender dos términos antes de avanzar.

1. Error de muestreo: al realizar un muestreo, siempre existe la posibilidad de que los datos recopilados de las personas seleccionadas no representen a la población.

2. Significancia estadística: la significancia estadística significa que nuestros datos y los efectos observados son probablemente efectos reales. En la mayoría de las ciencias biomédicas, la significancia estadística se establece con un nivel de significancia o valor p de .05. Básicamente, esto significa que los científicos tienen un 95% de confianza en el efecto observado en sus experimentos.

Considere si los datos muestran una relación (es decir, liberación de dopamina). Existe un 5% de probabilidad de que el efecto se deba al azar y no esté relacionado con la variable (estímulos visuales). Esto sería un error de Tipo I. Alternativamente, existe un 5% de probabilidad de que nuestros datos recopilados no muestren ninguna relación entre la liberación de dopamina y los estímulos visuales cuando, de hecho, existe un efecto real: un falso negativo o error de Tipo II.

Establecer cuidadosamente los criterios de inclusión tiene un mayor impacto porque hay un punto de rendimientos decrecientes después de cierto tamaño de muestra.

Esperamos recopilar datos que representen a todos los seres humanos, y queremos que nuestras conclusiones sean tanto prácticamente significativas como estadísticamente significativas. Para diseñar nuestro conjunto de muestras con éxito, se debe tener en cuenta y evitar un error de muestreo, un error de tipo I (falso positivo) o un error de tipo II (falso negativo).

Nuestro experimento está probando la siguiente hipótesis:

• Hipótesis nula - No hay relación ni efecto entre el momento de la liberación de dopamina en el NAc y el estímulo visual de valencia emocional.

• Hipótesis - SÍ existe una relación entre el momento de la liberación de dopamina en el NAc y el estímulo visual de valencia emocional, y el pico de liberación de dopamina ocurre después de ver los estímulos visuales.

Existe una relación entre el momento de la liberación de dopamina en el NAc y los estímulos visuales de valencia emocional. Cuando los datos no son estadísticamente significativos:

• Nuestra hipótesis es rechazada.

• No se encuentra ningún efecto o diferencia real.

• Nuestros efectos observados tienen la misma probabilidad de ser el resultado del azar.

¿Entender a la población?

Limitaciones prácticas en el diseño experimental.

En la investigación de neurociencia, un criterio de inclusión formal generalmente intenta aleatorizar y/o igualar la probabilidad de inclusión en toda la población para evitar errores de muestreo. Debemos evitar seleccionar individuos solo porque son los más cercanos o los más accesibles para recopilar datos, ya que esa es la receta para un error de muestreo.

El mejor enfoque para la generación de conjuntos de muestras es utilizar criterios de inclusión que igualen aleatoriamente la probabilidad de selección en toda la población. Por ejemplo, utilizando datos del censo, podríamos obtener información de contacto de 50 personas seleccionadas al azar en cada condado de Ohio. Esto minimizaría el sesgo de selección porque los nombres se elegirían al azar por igual en todas las áreas geográficas.

Establecer el diseño experimental, aumentar el tamaño de la muestra y lograr plenamente criterios de inclusión imparciales, aleatorizados y aplicados por igual puede toparse rápidamente con limitaciones prácticas. Este es un problema para la investigación científica a todos los niveles, desde ejercicios académicos hasta universidades de investigación de pleno derecho. Por lo general, las limitaciones presupuestarias y de tiempo son las primeras en obligar a un compromiso. Colectivamente, estos problemas en torno a la significancia estadística son áreas activas de investigación.

¿Cuál es el tamaño del efecto real?

Debido a la baja potencia estadística de la investigación en neurociencia, tendemos a sobrestimar el tamaño del efecto real, lo que lleva a la baja reproducibilidad de muchos estudios. Además, la complejidad inherente de la investigación en neurociencia hace que la potencia estadística sea crítica.

Un método que el campo puede adoptar es aumentar la potencia de un estudio aumentando el tamaño de la muestra. Esto aumenta la probabilidad de detectar un efecto real. Elegir un tamaño de muestra adecuado es vital para diseñar una investigación que:

• Realice descubrimientos prácticos.

• Avance en nuestra comprensión de los innumerables procesos del cerebro.

• Desarrolle terapias eficaces.

Superando desafíos en la investigación contemporánea de la neurociencia: la plataforma EmotivLAB

Los diseños experimentales de la investigación en neurociencia deberían esforzarse por establecer tamaños de grupos de muestra más grandes y mejores criterios de inclusión para lograr una significancia estadística confiable. Con el acceso a una plataforma habilitada para el crowdsourcing como EmotivLAB, los investigadores tienen acceso a sujetos potencialmente mucho más diversos y representativos, lo que mejora el tamaño de la muestra y la inclusión de todos los datos demográficos con un esfuerzo logístico adicional mínimo para los grupos de investigación.

La investigación moderna en neurociencia puede ser vulnerable a errores de muestreo debido a los recursos limitados disponibles para reclutar a un grupo diverso para el conjunto de muestras experimentales. El concepto del "grupo WEIRD" resume el problema. La mayor parte de la investigación universitaria se realiza con un presupuesto muy ajustado en sujetos experimentales que son, en términos generales, occidentales, educados y de países industrializados, ricos y democráticos. Sin embargo, los equipos de recopilación de datos remotos, como la plataforma de EEG de EmotivLAB, permiten a los investigadores llegar más allá del campus universitario para reclutar grupos de muestra que reflejen mejor a la población.

La plataforma EmotivLAB libera a los investigadores de las limitaciones actuales y, en su lugar, les permite concentrar su energía en diseñar experimentos y analizar los resultados.

La plataforma de EmotivLAB y el equipo de EEG remoto no solo están ayudando a los investigadores a ampliar la diversidad de personas incluidas en los grupos de muestras experimentales. También media en los problemas relacionados con el tamaño general de la muestra y el alcance geográfico de las poblaciones objetivo.

La plataforma EmotivLAB libera a los investigadores de las limitaciones actuales y, en su lugar, les permite concentrar su energía en diseñar experimentos y analizar los resultados. Nuestra plataforma empareja el experimento con los individuos más adecuados en el grupo de sujetos. No hay necesidad de dedicar tiempo a reclutar participantes, coordinarlos y programarlos, ni realizar la recopilación de datos en el laboratorio. Todo lo que se requiere es que se especifique el perfil demográfico deseado en la plataforma en línea, y EmotivLAB pondrá el experimento a disposición de los colaboradores que mejor se ajusten a los parámetros deseados. Los participantes pueden realizar los experimentos en sus propios hogares, utilizando sus propios equipos. Su familiaridad con el casco elimina la necesidad de que los investigadores proporcionen instrucciones sobre su uso.

Más allá de eso, la plataforma EmotivLAB proporciona control de calidad y evaluación automatizados de los datos de registro de EEG. Grandes cantidades de datos de baja calidad no ayudan a superar los errores de muestreo o estadísticos en los diseños experimentales. Sin embargo, tener acceso a más datos de alta calidad proporciona una solución para ayudar a evitar errores en:

• Muestreo

• Población

• Significancia estadística

¿Quiere saber más sobre lo que la plataforma EmotivLAB podría hacer por su investigación?

EmotivLAB le permite construir su experimento, implementarlo de manera segura, reclutar de un panel global de participantes verificados y recopilar datos de EEG de alta calidad, todo desde una sola plataforma. Haga clic aquí para obtener más información o solicitar una demostración.