基本的傅里叶变换（这一将信号分解为其组成频率的经典数学工具）可以告诉您在整个记录的某个地方存在哪些脑电节律。但它无法告诉您这些节律是何时出现的。当有人闭上眼睛的那一刻，出现的一段短暂的 alpha 活动是一个有意义的、与时间锁定的事件。
如果将其平均到一个跨越十分钟记录的单一频率摘要中，这段短暂的活动就会变成一个统计数据，与背景噪声无异。恢复这些事件发生的时间是任何严肃的脑电图（EEG）研究的起点，而这正是短时傅里叶变换（STFT）旨在解决的确切问题。
标准傅立叶变换的问题
标准傅立叶变换是经典信号处理的支柱，因为它能有效地将复杂信号分解为纯正弦波的总和。通过在无限时间内进行积分，它揭示了记录中存在的总频率内容。
然而，这种方法假设信号是平稳的；如果频率组成随时间发生变化，典型的输出就会掩盖时间顺序。这一局限性使得无法区分短暂的爆发性事件和持续的谐波，而这在神经科学等领域至关重要。
什么是脑电图分析中的短时傅立叶变换
STFT采用了一种颇为直接的策略来解决时间定位问题。它不是一次性对整个脑电图记录运行傅立叶变换，而是将信号切成连续的短片段（通常称为窗口），并分别对每个片段应用傅立叶变换。每个窗口都会产生其自有的微型频率快照，并将这些快照按顺序拼接在一起，从而创建出频率内容随时间变化的移动画面。
这一过程的输出通常显示为时频谱图，这是一个以时间为一轴、频率为另一轴的视觉地图。该图上任何给定点处的颜色或强度代表该频率在那个时刻的功率或强度。这正是STFT分析旨在提供的价值。
正如 Zabidi et al. 所言，STFT分析的作用在于“揭示脑电图信号在每个时间点上的频率内容”。
为什么窗口长度是STFT中最重要的设置
将信号切成窗口听起来很简单，但为每个窗口选择的长度几乎决定了最终时频谱图的质量和真实性的一切。这个决定涉及到一个无法避免、只能权衡的管理问题。
可以这样想：长窗口就像一个精准的频率标尺，但却是一个模糊的秒表。因为包含更多的数据点，长窗口可以非常准确地分辨出间距很近的频率。但是，由于它跨越了更长的时间段，该窗口内发生的任何事件都会被抹平，你将无法精确地找出发生变化的具体时刻。
短窗口则颠倒了这种权衡。它就像一个精准的秒表，但却是一个模糊的频率标尺。它几乎能够确切地告诉你发生了什么，但很难将挨得很近的频率分离开来，因为极短的信号切片根本不包含足够的振荡周期来进行精细的频率测量。
这是支配所有时频分析的测不准原理的一个版本：你无法在同一时刻对时间和频率都达到完美的解析度。提高一个指标总是要以牺牲另一个指标为代价。认识到这种权衡，而不是试图去消除它，是使用STFT的核心技巧。
由于不同的脑电波节奏以非常不同的速度振动，没有哪一个单一的窗口长度适用于所有的节奏。以下实用启发式指南是从这些节奏的常见表现中提炼而出的：
Delta波（大约 0.5 到 4 Hz）： 这些是最慢的脑波节奏，窗口需要足够长（通常在 1 到 2 秒之间），以捕捉所测最慢脑波的至少一个完整周期。而比这更短的窗口将根本无法包含足够的波长来表征它。
Theta和alpha节奏（大约 4 到 13 Hz）： 采用中等窗口（通常在 500 毫秒左右）往往能达到一个可行、折中的平衡。它既足够长，可以捕捉到几个振荡周期，进而有助于清晰界定这些节奏，同时又足够短，能够追踪到有意义的变化，例如闭眼时alpha波爆发的开始。
Beta和gamma节奏（大约 13 Hz 以上）： 这些较快的节奏运动迅速，因此必须使用较短的窗口（通常在 250 毫秒或更短），才能追踪它们瞬息万变的动态。在此付出的代价是辨别高频gamma范围内挨得很近的频率的能力会降低，这正是上述相同权衡所带来的直接后果。
STFT如何揭示真实运动与想象运动之间的差异
STFT在脑机接口 (BCI) 研究中体现了最清晰的实用价值，该研究的目标是将大脑活动直接转化为设备的控制信号。
一个经过深入研究的例子是，将一个人在想象手部动作时的脑电图与想象脚部动作时的脑电图进行对比，或者将想象的动作与该动作的真实物理版本进行对比。
在这些与运动相关的研究范式中，一个常见的分析目标是被称为事件相关去同步化（ERD）的现象，即与运动相关的脑区内，mu和beta节奏范围内的信号功率出现下降。因为ERD是一个特定的、时间锁定的功率骤降，而不是持续性的背景特征，所以它恰恰就是那种会被整个记录的频率汇总所消除，而能被时间分辨的时频谱图所捕获的事件。
Zabidi et al. 研究直接将STFT应用于这一问题，检查了在实际书写和想象书写过程中收集的脑电图。在计算STFT之前，先将信号通过一个带通滤波器，将分析限制在 8 到 30 Hz 的范围内，涵盖了与运动活动最相关的alpha和beta节奏，然后采用了调校好的汉明窗进行计算。
结果是一个直接、明确的发现：“从书写中获得的脑电图信号的频率成分与想象书写过程中获得的信号频率成分相同”。
从实用角度来看，在想象动作期间的大脑电节奏模式与真实物理动作期间的模式极其相似，这种相关性构成了旨在检测预期运动、且无需任何实际物理动作的 BCI 系统背后的核心逻辑。
使用STFT为深度学习模型构建图像
除了视觉检测，由STFT生成的时频谱图作为预处理步骤迎来了第二生命，该步骤可输入到深度学习系统（尤其是卷积神经网络，即CNN，一种最初用于识别图像中模式的模型）。由于时频谱图本质上是一个显示时频功率的彩色图像，研究人员认为它可以直接提交给基于图像的深度学习模型，从而识别出数据中难以手动指定的隐藏结构。
一项2019年的研究将区分右手和右脚动作的运动想象任务脑电图记录，通过STFT和另一种时频方法转换成了图像，然后将两组图像输入到一个预先训练好的CNN架构中。
这两种方法的性能表现都很强劲，整体流水线的分类准确率达到了 99.35%，被描述为现有同类方法中的最高评分。然而，当在这项研究中直接对这两种图像生成方法进行对比时，结果并不对等：“CWT方法相比STFT方法产出了更好的结果”，这指出了将底层脑电图信号真实、有效转换成可用图像时，两种方法的此消彼长。
据报道，这一权衡是推动另一项方法开发的基本问题。研究人员构建了所谓的锚定-STFT（anchored-STFT），该方法被描述为“STFT的升级版本，因为它能最大程度减少STFT所带来的时域和频域分辨率之间的权衡”。
结合对抗数据增强方法，这一采用升级版方法的流水线在多个 BCI 数据集上报告了从大约 69% 到超过 90% 的分类准确率，这进一步证实了虽然普通STFT能充当一个切实有效的特征提取工具，但其已知的分辨率局限也为优化（不论是通过参数调整、该技术本身的增强版本，还是完全不同的时频方法）提供了提升空间。
当STFT显露短板：分辨率固定问题
上文讨论的权衡是任何使用STFT的研究人员在从时频谱图得出结论之前，需要审慎考量的一大核心局限性。
一旦选定了窗口长度（例如 500 毫秒），无论研究人员观察的是慢速的 2 Hz delta活动还是快速的 100 Hz gamma活动，该相同窗口长度都会统一应用在将要分析的整个频谱上。窗口自己不会进行调节。在这项分析中，前述的时频权衡被锁死在单一设定中，而理想情况下，不同的节奏会对不同的设置有需求。
这种固定的特性正是将STFT与小波分析等一系列自适应方法区分开来的关键。自适应方法不为每一个频率设定死一个窗口大小，而是对低频有效地使用长窗口，对高频有效地使用短窗口，在单次分析中根据需要调整分辨率，而不是对整个信号固守于一种折中方法。
例如，由 Wang et al. 领导并开发的一种自适应时频方法，其报告称其方法“与STFT和CWT相比，可以提供更佳的时频分辨率”，明确地将STFT定位为已被超越的基准。
在另一项基于治疗前脑电图数据预测重度抑郁症抗抑郁治疗效果的临床应用中，研究人员直接将基于小波的方法与STFT以及另一种分解方法进行了对比，并报告称在这些对比技术中，“WT分析显示出最高的分类准确率”，达到了 87.5% 的准确度。
生成和评估脑电时频谱图的逐步工作流
鉴于这些优缺点，一套严谨的工作流有助于确保STFT的合理应用，并对其输出进行客观解读。
第 1 步：在接触数据之前明确研究问题。 目标是检测一个快速且短暂的gamma波瞬间爆发，还是为了追踪数分钟内delta功率的缓慢漂移？答案决定了窗口长度权衡中哪一端更重要。
第 2 步：选择切合目标节奏的初始窗口长度。 使用上述的实用准则作为起点——低频delta波选用长窗口、中频theta与alpha波选择中窗口，高频beta与gamma波则选择更短的窗口。同时配合使用有重叠的窗口方案（通常在连续窗口之间选择 50% 到 90% 的重叠度），这将使生成的时频谱图更流畅，从而减少时间片段中出现人工割裂感。
第 3 步：生成时频谱图，并进行严谨检视。 所选的窗口长度是否能够对感兴趣的快速节奏展示清晰而敏锐的变化，还是事件在时间上显得模糊拖沓？时频谱图是否可以清晰地区分出一个alpha峰与相邻的theta峰，还是两种节奏纠缠不清？这些视觉检查是检验所选窗口长度是否适用于该数据的直接、实用的手段。
第 4 步：将结果视为多种可能观察视角之一，而非最终论断。 一个阴性结论（例如两组实验群组之间无明显的gamma差异）可能反映了确实不存在影响，或者有可能这仅仅展现了当前选择的特殊STFT窗口的分辨率极限。对一个模糊不确定但又很关键的发现，一个合情合理的下一步求证措施是，使用自适应方法对同一数据进行重新分析以便交叉核对。
为什么追踪脑电节奏激活时间能带来全新 Insight
大脑活动是一连串按时发生事件的序列，恢复其发生时间，便能将平淡的记录变为大脑在不同精神状态之间切换的实时记录。通过从单一频率汇总过渡到一幅时刻变化的图谱，研究人员可以把特定的思维、念头或感官知觉直接与与之相伴随的脑电节奏关联起来。这一转变正是让脑电图从静态测量工具跃升为能够支持脑机接口、并能为通过学习识别心理模式的深度学习模型提供输入的关键燃料。
该方法的固定分辨率权衡带来了一个更广泛的启示：每一种分析抉择在突出某些事实的同时，也在潜在地模糊着其他事实，因此没有任何一个单一的结果可以诠释全貌。当结论举足轻重时，这表明需要配合使用其他方法进行交叉验证，同时也印证了大脑的电脉冲模式——如同在想象运动和实际运动中观察到的一致性那样——其内部逻辑极其严密和丰富。这种底层相似性支持了这一观点：大脑在使用与执行动作相同的律动标记来彩排这些动作。
参考文献
Zabidi, A., Mansor, W., Lee, Y. K., & Fadzal, C. C. W. (2012, September). Short-time Fourier Transform analysis of EEG signal generated during imagined writing. In 2012 international conference on system engineering and technology (ICSET) (pp. 1-4). IEEE. https://doi.org/10.1109/ICSEngT.2012.6339284
Chaudhary, S., Taran, S., Bajaj, V., & Sengur, A. (2019). Convolutional neural network based approach towards motor imagery tasks EEG signals classification. IEEE Sensors Journal, 19(12), 4494-4500. https://doi.org/10.1109/JSEN.2019.2899645
Ali, O., Saif-ur-Rehman, M., Dyck, S., Glasmachers, T., Iossifidis, I., & Klaes, C. (2022). Enhancing the decoding accuracy of EEG signals by the introduction of anchored-STFT and adversarial data augmentation method. Scientific reports, 12(1), 4245. https://doi.org/10.1038/s41598-022-07992-w
Wang, Y., Veluvolu, K. C., & Lee, M. (2013). Time-frequency analysis of band-limited EEG with BMFLC and Kalman filter for BCI applications. Journal of neuroengineering and rehabilitation, 10, 109. https://doi.org/10.1186/1743-0003-10-109
Mumtaz, W., Xia, L., Yasin, M. A. M., Ali, S. S. A., & Malik, A. S. (2017). A wavelet-based technique to predict treatment outcome for Major Depressive Disorder. PloS one, 12(2), e0171409-e0171409. https://doi.org/10.1371/journal.pone.0171409
常见问题解答
什么是脑电图分析中的短时傅立叶变换？
短时傅立叶变换（STFT）将原始的脑电图信号切成连续的短时间窗口，并计算每一个窗口的频谱。按时间顺序层叠这些快照便创建出了一幅移动的画面（称为时频谱图），能显示出不同脑电波节奏的功率如何时刻发生变化。
为什么我不能直接对脑电图记录使用普通的傅立叶变换？
基础的傅立叶变换能够将整个记录分解为其频率组成，但会消除所有的时间信息，所以尽管你知道总体存在哪些节奏，但无法得知它们是什么时候出现的。而STFT通过分别分析每个短片段，重新找到和恢复了这些时间定位，让你看清alpha信号的爆发或beta功率的骤降究竟发生在什么时刻。
时频谱图展示了什么？
时频谱图是一幅视觉化地图，一轴为时间，另一轴为频率，其中颜色和亮度代表那个瞬间每个频率成分的功率。它将原始平淡的脑电图汇总汇总为了富有生命力的画面，如同大脑电活动谱写出的一部五线谱。
为什么窗口长度如此重要？
更长的窗口提供了精准的频率信息，却会模糊事件发生的确切时间；而越短的窗口越能精准定位时间，却无法区分挨得很紧的频率成分。这种无法规避的权衡，意味着窗口长度的选择直接定义和决定了该时频谱图将揭示什么，又将遮蔽什么。
对于不同的脑电节奏，哪些窗口长度是很好的起点？
对于极其缓慢的delta节奏，常常需要大约一到两秒的长窗口以捕获其完整的周期。中频的theta与alpha节奏，选用半秒左右的窗口通常即可很好地权衡解决，而更快的beta和gamma节奏，则需要大约四分之一秒或更短的窗口来追踪其极快的变化。
STFT如何能揭示真实与想象动作之间的相似性？
STFT能够捕捉到在mu波和beta波段被称为事件相关去同步化（ERD）的时间锁定功率下降，该现象既会在人开始动作时产生，又会在人思维开始想象相同动作时发生。真实和想象动作任务的时频谱图可以显示出几乎一致的频率模式，从而印证和支持了脑机接口的逻辑开发。
STFT可否用于深度学习模型？
可以，由STFT生成的时频谱图可以直接输送到专为图像识别开发的卷积神经网络（CNN）中。这些模型可以从时频特征中学会分辨大脑的状态，在类似动作想象检测等任务中，它们常实现极高的分类准确度。
相比其他时频方法，STFT最主要的局限性是什么？
STFT将所有的频率都等同锁死在单一窗口大小下，这意味着它无法同时拥有能区分快速爆发事件的高精度时间分辨率，以及能区分低频慢波时的高精度频率分辨率。诸如小波分析等自适应方法会根据频率调整有效的窗口长度，通过直接对比这往往能带来更好的分类分辨率以及分类精度。
在脑电数据上使用STFT的一个合理、循序渐进的方案是什么？
首先依据想要关注的脑电波选择匹配的初始窗口长度，通过使用重叠窗口的形式来平滑时频谱图，继而客观检视图谱，去判断感兴趣的事件在时间上看起来更具突发性、还是更显模糊。如果发现极其关键，请尝试使用自适应方法去相互验证核实，由于单一的选择对于STFT往往很难两端兼顾，每次很可能仅能权衡保留一种分辨率形式。
Emotiv 是一家神经技术领域的领导者，致力于通过易于获取的 EEG 和脑数据工具推动神经科学研究发展。
Christian Burgos
