
解决神经科学可重复性危机的3种方法
赖国明
更新于

解决神经科学可重复性危机的3种方法
赖国明
更新于

解决神经科学可重复性危机的3种方法
赖国明
更新于
解决神经科学可重复性危机的 3 种方法:
以重新进行实验为目的开展试点研究。
确保更大的样本集。
通过使用在线志愿者社区来使您的样本多样化。
现代科学研究中存在一个广为人知的可重复性危机,尤其是在认知神经科学领域。也就是说,由于获取样本受试者或使用像功能磁共振成像(fMRI)这样的高科技设备的成本和后勤限制,认知神经科学实验室很少能够重现实验研究的结果。
在本文中,可重复性被定义为实验室的内部流程,在此流程中,实验设计从试点/探索性实验研究转变为规模更大、控制更严且会运行多次的实验研究。在设计合理的实验中,每个研究收集的数据和结果应该能够:
合并到更大的数据集中。
拥有更大的样本量。
具有高统计效能。
这些因素使神经科学实验有价值发表研究报告,以便其他实验室可以尝试复制研究结果。然而,遗憾的是,由于种种原因,这种情况极少发生。
这种可重复性危机威胁着科学的未来,因为它在无法被复制的研究上浪费了时间、精力、资源和专业知识。如果没有复制,“里程碑式”的研究就会变成传说,很少能以承诺的方式影响世界。血液学与肿瘤学研究副总裁的一份分析报告估计,仅在美国,缺乏可重复性每年就会造成高达 280 亿美元的损失。这些资金最终被浪费在了无法达到可靠可重复性标准的临床前工作上。
要纠正这种模式,我们必须首先了解它。我们可以从认识神经科学目前的实践和文化开始。本文将讨论实验设计和研究调度,以提供几种您的实验室可以提高实验可重复性的方法,包括实验室内部(实验研究)和实验室外部(开放科学数据共享)。最后,您将了解某些资源如何能够减少获取样本数据和测试受试者的成本和后勤工作。
再运行一次!
实现对您研究可重复性的信心是可能的。
通常,大多数实验设计都始于样本量较小的试点或探索性研究,这取决于实验的性质。在认知神经科学中,最初的样本量通常为 n < 20。它们的目的在于确保您所看到的实验效应是真正具有潜力的效应,并为进行更大规模实验所需的额外资源提供合理依据。这些研究对于测试和完善其实验方案也非常重要。
通常,认知神经科学研究人员试图在统计效能与在试点阶段能合理实现的最低成本样本量之间取得平衡。这些研究的目的是为效应的存在提供临时统计证据。这些研究不用于撰写研究报告或发表论文,而是为了验证探究方向、证实拨款申请并作为未来研究的基石。
在认知神经科学实验中完成试点或探索性研究后,下一步就是“再运行一次!”以各种参数为重点,重新进行调查是克服认知神经科学实验数据中可重复性危机的一种方法。低统计效能通常可以通过更大的样本量来克服。为了确定合适的样本量,《Journal of Neuroscience》在 2020 年提出了这些建议。就像认知神经科学中的许多概念和原理一样,这取决于您实验的背景和预期目标。
同样,这些最初的研究并不打算发表研究报告。然而,有时这种情况确实会发生,并导致了可重复性危机。
更大的样本集与开放科学
让自己确信所看到的效应是具有实际意义的真实效应。
从试点研究走向用于发表的实验研究,通常是神经科学实验室研究流程的下一步。
得益于试点研究,研究人员对自己的方法论充满信心,并且似乎获得了真正的效应。
在这个阶段,他们:
使用更大的样本集设计实验。
需要收集更多的数据。
再次运行实验研究。
如果统计检验显著且不冲突,神经科学家需要收集更多的证据,以确信他们看到了真正的效应。
开放科学
在研究发表物中,有一个被称为“开放科学”的运动正在兴起,即数据和分析脚本与研究叙述一起发表。在认知神经科学中,开放神经科学研究的最佳资源之一是神经科学信息框架(NIF;neuinfo.org)。
开放科学理论涵盖了研究周期的所有阶段,在这些阶段中,将提高实验数据收集、处理、存储和审查的透明度。开放科学的透明度哲学还包括实验设计——与科学界共享细节,以提高核心神经科学实验的复制和可重复性。此类方法鼓励科学家继续产出高水平的研究,并应对认知神经科学中日益增长的复制危机。
像 EmotivLABs 这样的团体正在培养认知神经科学研究社区,使他们能够与其他研究人员共享实验设计。
随着可重复性危机继续影响科学界,对高质量、可重复性研究的需求从未如此之高。存在多种设计选项供其他科学家重现实验。这些选项为神经科学研究人员提供了以下机会:
确定他们合适的样本量。
使用创新的、经过验证的、可靠的数据分析工具。
向同行和科学领导者咨询。
迅速运用开放科学的指导原则。
多样化的远程志愿者社区
较小的样本量会对研究的有效性和可重复性产生负面影响,因为从少数参与者那里产生的结果不能推广到其余人群。这些结果并未包含社会的神经多样性。因此,远程数据收集工具是包容性神经科学的未来。
EmotivLABs:培养认知神经科学社区
认识 Emotiv
Emotiv 创立于 2011 年,是一家总部位于旧金山的生物信息学公司,其使命是使用定制的脑电图(EEG)硬件、分析和可视化技术来推进我们对人类大脑的理解。
开放科学的核心是合作。Emotiv 的平台和员工旨在促进科学的诚信和实验的严谨性。我们的可扩展研究平台 EmotivLABs 将全球的认知神经科学家与全球的研究参与者及调查人员联系在一起。认识到神经科学研究的累加线性,我们通过提供广泛、多维度、丰富的数据集来协助研究人员,使您能够从广泛的样本中得出有意义的结论。
扩大您研究的样本量
EmotivLABs 通过将调查人员与经过审查、合格的研究参与者联系起来,减轻招募的后勤负担,同时确保足够的统计效能,从而应对可重复性危机。
确保您的工作安全存储、可转换且可恢复
对可重复性的另一个威胁是分析复制,这需要原始数据集来验证结果。寻找安全存储位置并为其提供资金是一项繁琐的工作。作为数据存储库,EmotivLABs 在参与者上传录音后安全地存储您的数据。这些数据在传输和存储的所有阶段都会自动上传并进行严格加密。
简化流程
为了帮助调查人员设计认知神经科学实验并发表有助于更广泛现代科学界的研究,我们开发了一套强大、精简的工具包 EmotivPRO,以生成创新的、可重复的实验。
我们明确的指示和透明的方法可作为指导,使调查人员能够验证原始发现。直观且易于使用的 Experiment Builder 提供平台内的预制模板,方便其他希望重现您研究的研究人员。或者,这些认知神经科学研究人员也可以创建一个独特的实验,从而自始至终定制每个细节。
Emotiv 技术
Emotiv 设计了一套工具来支持神经科学研究过程中的每一步。
EmotivPRO 软件使用户能够处理、分析和可视化研究结果。研究人员还可以进行专业级别的实验设计,只要符合实验设计,任何佩戴 Emotiv 头戴式设备的人都可以参与。
还提供适用于 Emotiv 的软件开发工具包(SDK),以便仅使用头戴式设备和智能手机即可随时随地运行定制应用程序、交互或实验设计。
随着拥抱神经科学工具和方法的学科和商业市场数量的增加,Emotiv 的低成本、易于使用的 EEG 系统被应用于:
神经科学研究
健康与保健营销计划
汽车工业
神经营销
消费者研究
教育
娱乐场景
此外,凭借 Emotiv 头戴式设备的质量、成本以及全球发货能力,研究人员可以招募并注册符合条件的个人。由于处理软件会评估质量控制指标,研究人员也可以信任数据收集过程。
想了解更多关于 EmotivLABs 平台能为您的研究做些什么吗?
通过 EmotivLABs,您可以在一个平台上完成构建实验、安全稳妥地部署实验、从全球经认证的参与者小组中进行招募以及收集高质量 EEG 数据的所有操作。点击这里了解更多信息或申请演示。
解决神经科学可重复性危机的 3 种方法:
以重新进行实验为目的开展试点研究。
确保更大的样本集。
通过使用在线志愿者社区来使您的样本多样化。
现代科学研究中存在一个广为人知的可重复性危机,尤其是在认知神经科学领域。也就是说,由于获取样本受试者或使用像功能磁共振成像(fMRI)这样的高科技设备的成本和后勤限制,认知神经科学实验室很少能够重现实验研究的结果。
在本文中,可重复性被定义为实验室的内部流程,在此流程中,实验设计从试点/探索性实验研究转变为规模更大、控制更严且会运行多次的实验研究。在设计合理的实验中,每个研究收集的数据和结果应该能够:
合并到更大的数据集中。
拥有更大的样本量。
具有高统计效能。
这些因素使神经科学实验有价值发表研究报告,以便其他实验室可以尝试复制研究结果。然而,遗憾的是,由于种种原因,这种情况极少发生。
这种可重复性危机威胁着科学的未来,因为它在无法被复制的研究上浪费了时间、精力、资源和专业知识。如果没有复制,“里程碑式”的研究就会变成传说,很少能以承诺的方式影响世界。血液学与肿瘤学研究副总裁的一份分析报告估计,仅在美国,缺乏可重复性每年就会造成高达 280 亿美元的损失。这些资金最终被浪费在了无法达到可靠可重复性标准的临床前工作上。
要纠正这种模式,我们必须首先了解它。我们可以从认识神经科学目前的实践和文化开始。本文将讨论实验设计和研究调度,以提供几种您的实验室可以提高实验可重复性的方法,包括实验室内部(实验研究)和实验室外部(开放科学数据共享)。最后,您将了解某些资源如何能够减少获取样本数据和测试受试者的成本和后勤工作。
再运行一次!
实现对您研究可重复性的信心是可能的。
通常,大多数实验设计都始于样本量较小的试点或探索性研究,这取决于实验的性质。在认知神经科学中,最初的样本量通常为 n < 20。它们的目的在于确保您所看到的实验效应是真正具有潜力的效应,并为进行更大规模实验所需的额外资源提供合理依据。这些研究对于测试和完善其实验方案也非常重要。
通常,认知神经科学研究人员试图在统计效能与在试点阶段能合理实现的最低成本样本量之间取得平衡。这些研究的目的是为效应的存在提供临时统计证据。这些研究不用于撰写研究报告或发表论文,而是为了验证探究方向、证实拨款申请并作为未来研究的基石。
在认知神经科学实验中完成试点或探索性研究后,下一步就是“再运行一次!”以各种参数为重点,重新进行调查是克服认知神经科学实验数据中可重复性危机的一种方法。低统计效能通常可以通过更大的样本量来克服。为了确定合适的样本量,《Journal of Neuroscience》在 2020 年提出了这些建议。就像认知神经科学中的许多概念和原理一样,这取决于您实验的背景和预期目标。
同样,这些最初的研究并不打算发表研究报告。然而,有时这种情况确实会发生,并导致了可重复性危机。
更大的样本集与开放科学
让自己确信所看到的效应是具有实际意义的真实效应。
从试点研究走向用于发表的实验研究,通常是神经科学实验室研究流程的下一步。
得益于试点研究,研究人员对自己的方法论充满信心,并且似乎获得了真正的效应。
在这个阶段,他们:
使用更大的样本集设计实验。
需要收集更多的数据。
再次运行实验研究。
如果统计检验显著且不冲突,神经科学家需要收集更多的证据,以确信他们看到了真正的效应。
开放科学
在研究发表物中,有一个被称为“开放科学”的运动正在兴起,即数据和分析脚本与研究叙述一起发表。在认知神经科学中,开放神经科学研究的最佳资源之一是神经科学信息框架(NIF;neuinfo.org)。
开放科学理论涵盖了研究周期的所有阶段,在这些阶段中,将提高实验数据收集、处理、存储和审查的透明度。开放科学的透明度哲学还包括实验设计——与科学界共享细节,以提高核心神经科学实验的复制和可重复性。此类方法鼓励科学家继续产出高水平的研究,并应对认知神经科学中日益增长的复制危机。
像 EmotivLABs 这样的团体正在培养认知神经科学研究社区,使他们能够与其他研究人员共享实验设计。
随着可重复性危机继续影响科学界,对高质量、可重复性研究的需求从未如此之高。存在多种设计选项供其他科学家重现实验。这些选项为神经科学研究人员提供了以下机会:
确定他们合适的样本量。
使用创新的、经过验证的、可靠的数据分析工具。
向同行和科学领导者咨询。
迅速运用开放科学的指导原则。
多样化的远程志愿者社区
较小的样本量会对研究的有效性和可重复性产生负面影响,因为从少数参与者那里产生的结果不能推广到其余人群。这些结果并未包含社会的神经多样性。因此,远程数据收集工具是包容性神经科学的未来。
EmotivLABs:培养认知神经科学社区
认识 Emotiv
Emotiv 创立于 2011 年,是一家总部位于旧金山的生物信息学公司,其使命是使用定制的脑电图(EEG)硬件、分析和可视化技术来推进我们对人类大脑的理解。
开放科学的核心是合作。Emotiv 的平台和员工旨在促进科学的诚信和实验的严谨性。我们的可扩展研究平台 EmotivLABs 将全球的认知神经科学家与全球的研究参与者及调查人员联系在一起。认识到神经科学研究的累加线性,我们通过提供广泛、多维度、丰富的数据集来协助研究人员,使您能够从广泛的样本中得出有意义的结论。
扩大您研究的样本量
EmotivLABs 通过将调查人员与经过审查、合格的研究参与者联系起来,减轻招募的后勤负担,同时确保足够的统计效能,从而应对可重复性危机。
确保您的工作安全存储、可转换且可恢复
对可重复性的另一个威胁是分析复制,这需要原始数据集来验证结果。寻找安全存储位置并为其提供资金是一项繁琐的工作。作为数据存储库,EmotivLABs 在参与者上传录音后安全地存储您的数据。这些数据在传输和存储的所有阶段都会自动上传并进行严格加密。
简化流程
为了帮助调查人员设计认知神经科学实验并发表有助于更广泛现代科学界的研究,我们开发了一套强大、精简的工具包 EmotivPRO,以生成创新的、可重复的实验。
我们明确的指示和透明的方法可作为指导,使调查人员能够验证原始发现。直观且易于使用的 Experiment Builder 提供平台内的预制模板,方便其他希望重现您研究的研究人员。或者,这些认知神经科学研究人员也可以创建一个独特的实验,从而自始至终定制每个细节。
Emotiv 技术
Emotiv 设计了一套工具来支持神经科学研究过程中的每一步。
EmotivPRO 软件使用户能够处理、分析和可视化研究结果。研究人员还可以进行专业级别的实验设计,只要符合实验设计,任何佩戴 Emotiv 头戴式设备的人都可以参与。
还提供适用于 Emotiv 的软件开发工具包(SDK),以便仅使用头戴式设备和智能手机即可随时随地运行定制应用程序、交互或实验设计。
随着拥抱神经科学工具和方法的学科和商业市场数量的增加,Emotiv 的低成本、易于使用的 EEG 系统被应用于:
神经科学研究
健康与保健营销计划
汽车工业
神经营销
消费者研究
教育
娱乐场景
此外,凭借 Emotiv 头戴式设备的质量、成本以及全球发货能力,研究人员可以招募并注册符合条件的个人。由于处理软件会评估质量控制指标,研究人员也可以信任数据收集过程。
想了解更多关于 EmotivLABs 平台能为您的研究做些什么吗?
通过 EmotivLABs,您可以在一个平台上完成构建实验、安全稳妥地部署实验、从全球经认证的参与者小组中进行招募以及收集高质量 EEG 数据的所有操作。点击这里了解更多信息或申请演示。
解决神经科学可重复性危机的 3 种方法:
以重新进行实验为目的开展试点研究。
确保更大的样本集。
通过使用在线志愿者社区来使您的样本多样化。
现代科学研究中存在一个广为人知的可重复性危机,尤其是在认知神经科学领域。也就是说,由于获取样本受试者或使用像功能磁共振成像(fMRI)这样的高科技设备的成本和后勤限制,认知神经科学实验室很少能够重现实验研究的结果。
在本文中,可重复性被定义为实验室的内部流程,在此流程中,实验设计从试点/探索性实验研究转变为规模更大、控制更严且会运行多次的实验研究。在设计合理的实验中,每个研究收集的数据和结果应该能够:
合并到更大的数据集中。
拥有更大的样本量。
具有高统计效能。
这些因素使神经科学实验有价值发表研究报告,以便其他实验室可以尝试复制研究结果。然而,遗憾的是,由于种种原因,这种情况极少发生。
这种可重复性危机威胁着科学的未来,因为它在无法被复制的研究上浪费了时间、精力、资源和专业知识。如果没有复制,“里程碑式”的研究就会变成传说,很少能以承诺的方式影响世界。血液学与肿瘤学研究副总裁的一份分析报告估计,仅在美国,缺乏可重复性每年就会造成高达 280 亿美元的损失。这些资金最终被浪费在了无法达到可靠可重复性标准的临床前工作上。
要纠正这种模式,我们必须首先了解它。我们可以从认识神经科学目前的实践和文化开始。本文将讨论实验设计和研究调度,以提供几种您的实验室可以提高实验可重复性的方法,包括实验室内部(实验研究)和实验室外部(开放科学数据共享)。最后,您将了解某些资源如何能够减少获取样本数据和测试受试者的成本和后勤工作。
再运行一次!
实现对您研究可重复性的信心是可能的。
通常,大多数实验设计都始于样本量较小的试点或探索性研究,这取决于实验的性质。在认知神经科学中,最初的样本量通常为 n < 20。它们的目的在于确保您所看到的实验效应是真正具有潜力的效应,并为进行更大规模实验所需的额外资源提供合理依据。这些研究对于测试和完善其实验方案也非常重要。
通常,认知神经科学研究人员试图在统计效能与在试点阶段能合理实现的最低成本样本量之间取得平衡。这些研究的目的是为效应的存在提供临时统计证据。这些研究不用于撰写研究报告或发表论文,而是为了验证探究方向、证实拨款申请并作为未来研究的基石。
在认知神经科学实验中完成试点或探索性研究后,下一步就是“再运行一次!”以各种参数为重点,重新进行调查是克服认知神经科学实验数据中可重复性危机的一种方法。低统计效能通常可以通过更大的样本量来克服。为了确定合适的样本量,《Journal of Neuroscience》在 2020 年提出了这些建议。就像认知神经科学中的许多概念和原理一样,这取决于您实验的背景和预期目标。
同样,这些最初的研究并不打算发表研究报告。然而,有时这种情况确实会发生,并导致了可重复性危机。
更大的样本集与开放科学
让自己确信所看到的效应是具有实际意义的真实效应。
从试点研究走向用于发表的实验研究,通常是神经科学实验室研究流程的下一步。
得益于试点研究,研究人员对自己的方法论充满信心,并且似乎获得了真正的效应。
在这个阶段,他们:
使用更大的样本集设计实验。
需要收集更多的数据。
再次运行实验研究。
如果统计检验显著且不冲突,神经科学家需要收集更多的证据,以确信他们看到了真正的效应。
开放科学
在研究发表物中,有一个被称为“开放科学”的运动正在兴起,即数据和分析脚本与研究叙述一起发表。在认知神经科学中,开放神经科学研究的最佳资源之一是神经科学信息框架(NIF;neuinfo.org)。
开放科学理论涵盖了研究周期的所有阶段,在这些阶段中,将提高实验数据收集、处理、存储和审查的透明度。开放科学的透明度哲学还包括实验设计——与科学界共享细节,以提高核心神经科学实验的复制和可重复性。此类方法鼓励科学家继续产出高水平的研究,并应对认知神经科学中日益增长的复制危机。
像 EmotivLABs 这样的团体正在培养认知神经科学研究社区,使他们能够与其他研究人员共享实验设计。
随着可重复性危机继续影响科学界,对高质量、可重复性研究的需求从未如此之高。存在多种设计选项供其他科学家重现实验。这些选项为神经科学研究人员提供了以下机会:
确定他们合适的样本量。
使用创新的、经过验证的、可靠的数据分析工具。
向同行和科学领导者咨询。
迅速运用开放科学的指导原则。
多样化的远程志愿者社区
较小的样本量会对研究的有效性和可重复性产生负面影响,因为从少数参与者那里产生的结果不能推广到其余人群。这些结果并未包含社会的神经多样性。因此,远程数据收集工具是包容性神经科学的未来。
EmotivLABs:培养认知神经科学社区
认识 Emotiv
Emotiv 创立于 2011 年,是一家总部位于旧金山的生物信息学公司,其使命是使用定制的脑电图(EEG)硬件、分析和可视化技术来推进我们对人类大脑的理解。
开放科学的核心是合作。Emotiv 的平台和员工旨在促进科学的诚信和实验的严谨性。我们的可扩展研究平台 EmotivLABs 将全球的认知神经科学家与全球的研究参与者及调查人员联系在一起。认识到神经科学研究的累加线性,我们通过提供广泛、多维度、丰富的数据集来协助研究人员,使您能够从广泛的样本中得出有意义的结论。
扩大您研究的样本量
EmotivLABs 通过将调查人员与经过审查、合格的研究参与者联系起来,减轻招募的后勤负担,同时确保足够的统计效能,从而应对可重复性危机。
确保您的工作安全存储、可转换且可恢复
对可重复性的另一个威胁是分析复制,这需要原始数据集来验证结果。寻找安全存储位置并为其提供资金是一项繁琐的工作。作为数据存储库,EmotivLABs 在参与者上传录音后安全地存储您的数据。这些数据在传输和存储的所有阶段都会自动上传并进行严格加密。
简化流程
为了帮助调查人员设计认知神经科学实验并发表有助于更广泛现代科学界的研究,我们开发了一套强大、精简的工具包 EmotivPRO,以生成创新的、可重复的实验。
我们明确的指示和透明的方法可作为指导,使调查人员能够验证原始发现。直观且易于使用的 Experiment Builder 提供平台内的预制模板,方便其他希望重现您研究的研究人员。或者,这些认知神经科学研究人员也可以创建一个独特的实验,从而自始至终定制每个细节。
Emotiv 技术
Emotiv 设计了一套工具来支持神经科学研究过程中的每一步。
EmotivPRO 软件使用户能够处理、分析和可视化研究结果。研究人员还可以进行专业级别的实验设计,只要符合实验设计,任何佩戴 Emotiv 头戴式设备的人都可以参与。
还提供适用于 Emotiv 的软件开发工具包(SDK),以便仅使用头戴式设备和智能手机即可随时随地运行定制应用程序、交互或实验设计。
随着拥抱神经科学工具和方法的学科和商业市场数量的增加,Emotiv 的低成本、易于使用的 EEG 系统被应用于:
神经科学研究
健康与保健营销计划
汽车工业
神经营销
消费者研究
教育
娱乐场景
此外,凭借 Emotiv 头戴式设备的质量、成本以及全球发货能力,研究人员可以招募并注册符合条件的个人。由于处理软件会评估质量控制指标,研究人员也可以信任数据收集过程。
想了解更多关于 EmotivLABs 平台能为您的研究做些什么吗?
通过 EmotivLABs,您可以在一个平台上完成构建实验、安全稳妥地部署实验、从全球经认证的参与者小组中进行招募以及收集高质量 EEG 数据的所有操作。点击这里了解更多信息或申请演示。

继续阅读