Signification statistique : Taille(s) de l'échantillon & puissance statistique - Pour comprendre le monde qui nous entoure, les chercheurs utilisent formellement la méthode scientifique comme un moyen de séparer les vérités suspectées des faussetés. Les neurosciences cognitives visent à comprendre comment les systèmes génétiques, neurologiques et comportementaux soutiennent la capacité d'un organisme à ressentir, interagir, naviguer et penser le monde qui l'entoure.

Cela signifie que les neurosciences cognitives conçoivent des expériences et collectent des données à tous les niveaux d'analyse. Les programmes de recherche du monde entier qui cherchent à approfondir notre compréhension du monde naturel testent régulièrement des hypothèses dans le cadre d'une série bien planifiée d'expériences plus petites. Ces expériences ont tendance à sonder des facteurs spécifiques qui peuvent ou non influencer un résultat tout en minimisant l'influence de facteurs extrêmes tels que l'environnement, l'orientation sexuelle, la race ou le statut socio-économique.

Scénario Un : Une étude sur la libération de dopamine

En neurosciences cognitives, la dopamine est généralement considérée comme un composé du « bien-être ». Sa libération dans le noyau accumbens (NuAc) est déclenchée par des comportements ou des choses qui nous motivent à agir. Ceux-ci peuvent inclure :

• Prendre un bon repas

• Passer du temps avec ses proches

• Le sexe

• Le sucre

Supposons que nous souhaitions savoir si les pics de niveaux de dopamine dans le NuAc se produisent avant, pendant ou après l'exposition à un stimulus visuel souhaité ou familier. Nous pouvons utiliser le protocole expérimental EEG adapté de l'étude de Amatya Johanna Mackintosh. Nous pouvons émettre l'hypothèse que la libération de dopamine se produit pendant et culmine légèrement après l'exposition aux stimuli visuels familiers ou souhaités.

Maintenant, et c'est le plus critique, où trouvons-nous les sujets d'essai ?

Dans les situations expérimentales, la « population » fait référence au groupe collectif plus large et total étudié. Il est peu pratique et improbable que votre laboratoire puisse concevoir une technique pour recruter et collecter des données sur la libération de dopamine auprès de centaines de milliers ou de millions de personnes.

Par conséquent, nous tenterons de recueillir des données auprès d'un groupe ou échantillon représentatif plus restreint pour comprendre la population. Pour ce faire, nous devrons répondre à deux questions principales.

1. Combien d'individus doivent être inclus dans notre échantillon ?

2. Comment cela se rapporte-t-il à la signification pratique et à la puissance statistique ?

Développons cela ci-dessous.

Puissance statistique et effet réel

La puissance statistique se définit comme la probabilité qu'un test détecte une différence statistiquement significative lorsqu'une telle différence existe réellement. C'est ce qu'on appelle également un effet réel.

L'effet réel est la pierre angulaire de la conception expérimentale. Le rapport de Cohen de 1988, prolifique pour ses contributions à la méthode scientifique, a soutenu qu'une étude devrait être conçue pour avoir une probabilité de 80 % de détecter un effet réel. Ces 80 % représentent une conception de test à haute puissance (HP), tandis que toute valeur proche de 20 % est une conception de test à faible puissance (LP).

Cohen a suggéré que les études devraient toujours avoir une probabilité inférieure à 20 % de commettre une erreur de type II, connue sous le nom de faux négatif. Il utilise également ces mêmes plages directrices pour les découvertes manquées, qui se produisent lorsqu'un chercheur signale de manière inexacte l'absence d'effet significatif alors qu'une différence existe réellement.

Pourquoi la puissance statistique est-elle importante ?

Pensez à ce scénario. Si un effet réel existe dans 100 études différentes dotées d'une puissance de 80 %, les tests statistiques détecteront un effet réel dans 80 d'entre elles. Cependant, lorsqu'une étude a une puissance de recherche de 20 %, s'il y a 100 véritables effets non nuls dans les résultats, ces études ne devraient en découvrir que 20 d'entre eux.

Lacunes de la puissance statistique dans la recherche en neurosciences

Sans surprise, en raison de la nature gourmande en ressources de la recherche en neurosciences, ce domaine présente une puissance statistique médiane d'environ 21 % et se situe en moyenne dans une large fourchette de 8%-31%. Une faible puissance statistique dans la recherche en neurosciences :

• Jette le doute sur la réplicabilité des résultats.

• Conduit à une taille d'effet exagérée.

• Réduit la probabilité d'obtenir des résultats statistiquement significatifs qui représentent fidèlement l'effet réel.

En tant que tel, l'état actuel de la recherche en neurosciences est piégé par le problème de la puissance statistique car ces valeurs sont bien inférieures au seuil théorique de Cohen.

Établir un ou des groupes d'échantillons représentatifs

Objectif du scénario un : éviter les erreurs d'échantillonnage et les erreurs de type I et II dans notre test grâce à un échantillonnage inclusif et large.

Combien de scans cérébraux humains doivent être inclus dans notre ensemble d'échantillons si nous voulons que l'expérience ait une importance pratique ? La signification pratique fait référence au fait que les résultats d'une expérience s'appliquent ou non au monde réel.

La capacité de l'expérience d'un neuroscientifique à déterminer des effets (puissance statistique) est liée à la taille de l'échantillon. En poursuivant sur les paramètres du scénario 1, l'objectif est toujours de collecter suffisamment de données pour que nous puissions évaluer statistiquement s'il existe un effet réel dans le moment de la libération de dopamine après la présentation de stimuli visuels chargés d'émotions. Nous devons également établir des critères d'inclusion dans l'échantillon qui minimisent le risque d'erreur d'échantillonnage.

Comment éviter les erreurs d'échantillonnage

Il est important de comprendre deux termes avant d'aller plus loin.

1. Erreur d'échantillonnage : Lors de l'échantillonnage, il existe toujours un risque que les données collectées sur les individus sélectionnés ne représentent pas la population.

2. Signification statistique : La signification statistique signifie que nos données et nos effets observés ont de fortes chances d'être des effets réels. Dans la plupart des sciences biomédicales, la signification statistique est établie avec un niveau de signification ou une valeur p de .05. Essentiellement, cela signifie que les scientifiques sont confiants à 95 % dans l'effet observé dans leurs expériences.

Considérez si les données montrent une relation (c.-à-d. la libération de dopamine). Il existe une probabilité de 5 % que l'effet soit dû au hasard et ne soit pas lié à la variable (stimuli visuels). Il s'agirait d'une erreur de type I. Alternativement, il existe une probabilité de 5 % que les données collectées ne montrent aucune relation entre la libération de dopamine et les stimuli visuels alors qu'en réalité, il existe un effet réel — un faux négatif ou une erreur de type II.

Établir soigneusement les critères d'inclusion a plus d'impact car il existe un point de rendement décroissant au-delà d'une certaine taille d'échantillon.

Nous espérons collecter des données représentant l'ensemble des êtres humains, et nous voulons que nos conclusions soient à la fois d'une importance pratique et statistiquement significatives. Pour concevoir avec succès notre ensemble d'échantillons, une erreur d'échantillonnage, une erreur de type I (faux positif) ou une erreur de type II (faux négatif) doit être prise en compte et évitée.

Notre expérience teste l'hypothèse suivante :

• Hypothèse nulle - Aucune relation ou effet entre le timing de la libération de dopamine dans le NAc et le stimulus visuel à valence émotionnelle.

• Hypothèse - Il y a UNE relation entre le timing de la libération de dopamine dans le NAc et le stimulus visuel à valence émotionnelle, et le pic de libération de dopamine se produit après avoir vu les stimuli visuels.

Il existe une relation entre le timing de la libération de dopamine dans le NAc et les stimuli visuels à valence émotionnelle. Lorsque les données ne sont pas statistiquement significatives :

• Notre hypothèse est rejetée.

• Aucun effet réel ni aucune différence n'est détecté.

• Nos effets observés ont tout autant de chances de résulter du hasard.

Comprendre la population ?

Limites pratiques de la conception expérimentale.

Dans la recherche en neurosciences, un critère d'inclusion formel tente généralement de randomiser et/ou d'égaliser la probabilité d'inclusion dans l'ensemble de la population afin de s'affranchir des erreurs d'échantillonnage. Nous devons éviter de sélectionner des individus simplement parce qu'ils sont les plus proches ou les plus accessibles pour collecter des données, car c’est la recette idéale pour commettre une erreur d'échantillonnage.

La meilleure approche pour générer un ensemble d'échantillons consiste à utiliser des critères d'inclusion qui égalisent de manière aléatoire la probabilité de sélection parmi l'ensemble de la population. Par exemple, en utilisant des données de recensement, nous pourrions obtenir les coordonnées de 50 personnes sélectionnées au hasard dans chaque comté de l'Ohio. Cela minimiserait le biais de sélection car les noms seraient choisis au hasard de manière égale dans toutes les zones géographiques.

Établir le protocole expérimental, augmenter la taille de l'échantillon et réaliser pleinement un critère d'inclusion impartial, randomisé et appliqué de manière égale peut rapidement se heurter à des limites pratiques. C'est un problème pour la recherche scientifique à tous les niveaux, des exercices académiques aux universités de recherche de plein exercice. Habituellement, les contraintes budgétaires et de calendrier sont les premières à forcer le compromis. Globalement, ces questions autour de la signification statistique sont des domaines de recherche actifs.

Quel est l'effet de taille réel ?

En raison de la faible puissance statistique de la recherche en neurosciences, nous avons tendance à surestimer la taille de l'effet réel, ce qui conduit à la faible reproductibilité de nombreuses études. De plus, la complexité inhérente à la recherche en neurosciences rend la puissance statistique essentielle.

L'une des méthodes que le domaine peut adopter consiste à augmenter la puissance d'une étude en augmentant la taille de l'échantillon. Cela augmente la probabilité de détecter un effet réel. Choisir une taille d'échantillon appropriée est vital pour concevoir une recherche qui :

• Permet de faire des découvertes pratiques.

• Fait progresser notre compréhension des innombrables processus du cerveau.

• Développe des thérapies efficaces.

Surmonter les défis de la recherche contemporaine en neurosciences : La plateforme EmotivLAB

Les protocoles expérimentaux de la recherche en neurosciences devraient s'efforcer de mettre en place des groupes d'échantillons plus grands et de meilleurs critères d'inclusion afin d'obtenir une signification statistique fiable. Grâce à l'accès à une plateforme participative (crowdsourcing) comme EmotivLAB, les chercheurs ont accès à des sujets d'essai potentiellement beaucoup plus diversifiés et représentatifs, ce qui améliore la taille de l'échantillon et l'inclusivité de toutes les données démographiques avec un effort logistique supplémentaire minimal pour les groupes de recherche.

La recherche moderne en neurosciences peut être vulnérable aux erreurs d'échantillonnage en raison des ressources limitées disponibles pour recruter un groupe diversifié pour l'ensemble d'échantillons expérimentaux. Le concept de « groupe WEIRD » résume bien le problème. La plupart des recherches universitaires sont menées avec un budget très limité sur des sujets expérimentaux qui sont globalement occidentaux, éduqués et issus de pays industrialisés, riches et démocratiques. Cependant, le matériel de collecte de données à distance, comme la plateforme EEG d'EmotivLAB, permet aux chercheurs d'aller au-delà du campus universitaire pour recruter des groupes d'échantillons qui reflètent mieux la population.

La plateforme EmotivLAB et l'équipement EEG à distance n'aident pas seulement les chercheurs à élargir la diversité des individus inclus dans les groupes d'échantillons expérimentaux. Ils permettent également de résoudre les problèmes liés à la taille globale de l'échantillon et à la portée géographique au sein des populations cibles.

La plateforme EmotivLAB libère les chercheurs des contraintes actuelles et leur permet plutôt de concentrer leur énergie sur la conception d'expériences et l'analyse des résultats. Notre plateforme fait correspondre l'expérience avec les personnes les plus appropriées dans le bassin de sujets. Il n'est pas nécessaire de passer du temps à recruter des participants, à coordonner et à planifier leur passage, ni à effectuer la collecte de données en laboratoire. Tout ce qui est requis est de spécifier la démographie souhaitée dans la plateforme en ligne, et EmotivLAB rendra l'expérience disponible aux contributeurs qui correspondent le mieux aux paramètres souhaités. Les participants peuvent réaliser les expériences chez eux, en utilisant leur propre équipement. Leur familiarité avec le casque évite aux chercheurs d'avoir à leur fournir des instructions sur son utilisation.

Au-delà de cela, la plateforme EmotivLAB fournit un contrôle qualité et une évaluation automatisés des données d'enregistrement EEG. De grandes quantités de données de mauvaise qualité n'aident pas à surmonter les erreurs d'échantillonnage ou statistiques dans les protocoles expérimentaux. En revanche, le fait de disposer d'un plus grand nombre de données de haute qualité offre une solution pour aider à éviter les erreurs de :

• Échantillonnage

• Population

• Signification statistique

Vous voulez en savoir plus sur ce que la plateforme EmotivLAB pourrait apporter à votre recherche ?

EmotivLABS vous permet de construire votre expérience, de la déployer en toute sécurité, de recruter des participants parmi un panel mondial de volontaires vérifiés et de collecter des données EEG de haute qualité, le tout à partir d'une seule plateforme. Cliquez ici pour en savoir plus ou pour demander une démonstration.