基本的傅立葉轉換是將訊號分解為其組成頻率的經典數學工具,它可以告訴你整個記錄的某處存在哪些腦律動。但它無法告訴你這些律動是在何時發生的。在某人閉上眼睛的瞬間所出現的短暫 alpha 活動爆發,是一個有意義且具時間鎖定性的事件。
如果將其平均到一個跨越十分鐘記錄的單一頻率摘要中,該次爆發就會變成一個統計數據,與背景雜訊無異。恢復這些事件的時間點是進行任何嚴謹腦電圖(EEG)研究的起點,而這正是短時傅立葉轉換(STFT)旨在解決的確切問題。
標準傅立葉轉換的問題
標準傅立葉轉換是古典訊號處理的基石,因為它能有效地將複雜訊號分解為純弦波的總和。透過在無限時間上進行積分,它揭示了記錄中存在的總頻率成分。
然而,這種方法假設訊號是平穩的;如果頻率組成隨時間改變,典型的輸出就會模糊時間序列。這種限制使得它無法區分短暫的突發事件與持續的諧波,而這在神經科學等領域至關重要。
EEG 分析中的短時距傅立葉轉換是什麼
STFT 採用相當直接的策略來解決時間問題。它不是一次對整個 EEG 記錄運行傅立葉轉換,而是將訊號切成短暫、連續的片段(通常稱為窗),並對每個片段分別應用傅立葉轉換。每個窗都會產生自己的微型頻率快照,按順序將這些快照拼接在一起,就能建立頻率成分隨時間變化的動態圖像。
此過程的輸出通常顯示為時頻譜(spectrogram),這是一種以一個軸表示時間、另一個軸表示頻率的視覺地圖。地圖上任何給定點的顏色或強度代表該頻率在該時刻的功率或強度。這正是 STFT 分析旨在提供的價值。
正如 Zabidi 等人所述,STFT 分析的作用是「揭示 EEG 訊號在每個時間點的頻率成分」。
為什麼窗長度是 STFT 中最重要的設定
將訊號切成窗聽起來很簡單,但為每個窗選擇的長度幾乎決定了最終時頻譜品質和真實性的一切。這個決定涉及一個無法避免、只能加以權衡取捨的折衷。
可以這樣想:長窗就像一把精確的頻率尺,但卻是一個模糊的碼錶。因為它包含更多數據點,長窗可以非常準確地區分緊密間隔的頻率。但因為它延伸跨越較長的時間跨度,該窗內發生的任何事件都會被抹平,使您失去精確定位事件發生改變時刻的能力。
短窗則翻轉了這種權衡。它就像一個精確的碼錶,但卻是一把模糊的頻率尺。它可以幾乎精確地告訴您某件事何時發生,但很難分開緊密相鄰的頻率,因為短暫的訊號切片根本不包含足夠的振盪週期來進行細微的頻率測量。
這是主導所有時頻分析的測不準原理的一種形式:您無法在同一時刻獲得時間和頻率上的完美解析度。提高其中一個總是以犧牲另一個為代價。認識到這種權衡取捨,而不是試圖打破它,是使用 STFT 的核心技能。
由於不同的 EEG 節律以截然不同的速度振盪,沒有單一的窗長度能適用於所有節律。以下指導方針是根據這些節律通常的表現方式所提煉出的實用啟發式建議:
Delta 波(約 0.5 至 4 Hz):這些是最慢的腦波節律,窗需要足夠長(通常在 1 到 2 秒範圍內),以捕獲被測量最慢波形的至少一個完整週期。較短的窗根本無法包含足夠的波形來對其進行特徵分析。
Theta 和 alpha 節律(約 4 至 13 Hz):中等大小的窗(通常約為 500 毫秒)往往能取得可行的平衡。它足夠長以捕獲多個振盪週期,這有助於清楚定義節律,同時又足夠短以追蹤有意義的變化,例如閉眼時 alpha 突發波的出現。
Beta 和 gamma 節律(約 13 Hz 以上):這些較快的節律變化迅速,因此需要短窗(通常為 250 毫秒或更短)來追蹤其快速動態。此處的代價是降低了精確區分高 gamma 範圍內緊密間隔頻率的能力,這正是上述相同權衡取捨的直接結果。
STFT 如何揭示真實與想像動作之間的差異
STFT 的實用價值在腦機介面(BCI)研究中最為明顯,該研究的目標是將大腦活動直接轉化為裝置的控制訊號。
一個經過充分研究的範例涉及將一個人在想像移動手時記錄的 EEG 與想像移動腳時記錄的 EEG 進行比較,或將想像的動作與該動作的真實物理版本進行比較。
在這些運動相關的範式中,分析的常見目標是一種稱為事件相關去同步化(ERD)的現象,即與運動相關的大腦區域中 mu 和 beta 節律範圍內的訊號功率下降。因為 ERD 是特定、鎖定時間的功率下降,而不是持續的背景特徵,所以它正是那種全記錄頻率摘要會消除、而時頻譜可以捕獲的事件。
Zabidi 等人將 STFT 直接應用於此問題的研究,檢驗了在實際書寫期間和想像書寫期間收集的 EEG。訊號首先通過帶通濾波器,將分析限制在 8 到 30 Hz 的範圍內(涵蓋與運動活動最相關的 alpha 和 beta 節律),然後使用調整後的漢明窗(Hamming window)計算 STFT。
結果是一個直接而明確的發現:「從書寫中獲得的 EEG 訊號頻率成分與在想像書寫期間獲得的相同」。
在實際應用中,大腦在想像動作時的電節律模式與真實物理動作時的模式非常相似,這種相關性構成了旨在檢測預期運動而無需任何實際物理動作的 BCI 系統背後的大部分邏輯基礎。
使用 STFT 為深度學習模型構建影像
除了視覺檢查之外,STFT 生成的時頻譜作為輸入深度學習系統的預處理步驟找到了第二生命,特別是卷積神經網路(CNN),這是一種最初為辨識影像中的模式而構建的模型。由於時頻譜本質上是顯示隨時間和頻率變化的功率彩色影像,研究人員認為它可以直接傳遞給基於影像的深度學習模型,然後該模型可以檢測數據中難以手動指定的隱藏結構。
一項 2019 年的研究將來自運動心像任務(區分右手和右腳運動)的 EEG 記錄,使用 STFT 和另一種時頻方法轉換為影像,然後將兩組影像輸入到預先訓練的 CNN 架構中。
這兩種方法的表現都很強勁,整個流程達到了 99.35% 的分類準確率,被描述為現有可比方法中的最高得分。然而,當在同一研究中直接將兩種影像生成方法進行相互比較時,結果並不相同:「CWT 方法產生的結果優於 STFT 方法」,這指出了每種方法在將底層 EEG 訊號忠實轉換為可用影像方面存在著真實且經過測量的權衡取捨。
據報導,這種權衡取捨是另一項方法學發展背後的動機問題。研究人員構建了他們稱之為錨定 STFT(anchored-STFT)的方法,並將其描述為「STFT 的進階版本,因為它最大程度地減少了 STFT 所呈現的時間和頻譜解析度之間的權衡取捨」。
與對抗性數據擴增方法相結合,這個增強型流程在多個 BCI 數據集上報告了約 69% 到超過 90% 的分類準確率,進一步強化了這種模式:純 STFT 可以充當真正有能力的特徵提取工具,但其已知的解析度限制為改進留出了空間,無論是透過參數微調、技術本身的增強版本,還是完全不同的時頻方法。
研究如何將短時距傅立葉轉換應用於運動心像分類
最近的一項研究將短時距傅立葉轉換從視覺化階段推進到可實際運行的分類流程中。與上述早期工作一樣,出發點是一個運動心像任務,受試者在其中想像移動手而不是進行實際移動。
作者描述了一個名為 AMD-KT2D 的架構,該架構建立在他們所謂的最佳化短時距傅立葉轉換之上。這個變體不是採用單一固定的窗設定,而是將加窗函數與時頻解析度一起調校,其明確目標是保留動態時間和空間特徵,而固定配置可能會將這些特徵抹平或遺失。
然後將生成的 2D 時頻影像傳遞給引導學習者架構:在大型數據集上預先訓練的改進版 ResNet50 提取高級時空特徵,而客製化的 2D 卷積神經網路則捕獲多尺度特徵。自適應邊界差異(Adaptive Margin Disparity Discrepancy)損失函數用於減少兩者之間的差異並對齊它們的特徵。
左手與右手運動心像任務的 EEG 記錄是使用 Emotiv Flex 系統收集的。在該數據集上,據報導該混合運動心像分類器在受試者相依(subject-dependent)設定下達到了 96.75% 的準確率,在受試者獨立(subject-independent)設定下達到了 92.17% 的準確率。這兩個數字之間的差距值得注意:在同一個人身上測量到的性能並不會自動套用到模型未經訓練的人身上。
結合本文討論的其他工作,該研究表明由短時距傅立葉轉換生成的時頻譜是針對運動心像解碼的深度學習模型之可行輸入。然而,該體系的研究尚未建立的是泛用性。這是一項單一研究,基於單一數據集,其準確度數據與一項任務和一組參與者相關,而且報告的方法依賴於該轉換的微調版本而非標準形式。
這些結果應被視為在自身設定下前景看好,而不是 EEG 介面更廣泛的定論性能。
當 STFT 遇到瓶頸:固定解析度問題
上面討論的權衡取捨是任何使用 STFT 的研究人員在從時頻譜得出結論之前需要批判性權衡的核心限制。
一旦選擇了窗長度(例如 500 毫秒),無論研究人員是觀察慢速 2 Hz delta 活動還是快速 100 Hz gamma 活動,該相同的窗都會均勻應用於正在分析的整個頻譜。窗不會自我調節。前面描述的時頻權衡取捨在整個分析過程中被鎖定在單一設定中,即使不同的節律理想上會受益於不同的設定。
這種固定性正是將 STFT 與一類自適應技術(例如基於小波的方法)區分開來的原因。自適應方法不是為每個頻率鎖定一個窗大小,而是在較低頻率上有效地使用較長的窗,在較高頻率上使用較短的窗,根據需要在單次分析中調整解析度,而不是為整個訊號承諾單一折衷。
例如,由 Wang 等人領導的一項開發自適應時頻方法的研究報告指出,其方法「與 STFT 和 CWT 相比可以提供最佳的時頻解析度」,明確將 STFT 命名為被超越的基準。
在另一個利用治療前 EEG 數據預測重度憂鬱症抗憂鬱藥物治療效果的臨床應用中,研究人員將基於小波的方法直接與 STFT 和另一種分解方法進行了比較,並報告說「WT 分析顯示出最高的分類準確率」,在各項技術中達到 87.5% 的準確率。
生成和評估 EEG 時頻譜的逐步工作流程
考慮到這些優勢和限制,嚴謹的工作流程有助於確保 STFT 得到適當應用,並對其輸出進行如實解讀。
步驟 1:在接觸數據之前定義問題。目標是檢測快速、短暫的 gamma 突發波,還是追蹤數分鐘內 delta 功率的緩慢漂移?答案決定了窗長度權衡取捨中哪一端最重要。
步驟 2:選擇與目標節律相匹配的初始窗長度。使用上述實用指南作為起點:delta 使用較長的窗,theta 和 alpha 使用中等窗,beta 和 gamma 使用較短的窗。將此與重疊窗方案配合使用(連續窗之間通常有 50% 到 90% 的重疊),這樣可以平滑生成的時頻譜並減少時間切片之間人工間隙的出現。
步驟 3:生成時頻譜並進行審慎檢查。所選的窗長度是否顯示出感興趣的快速節律具有清晰、明確的起始點,還是該事件看起來比應有的時間跨度更加模糊?時頻譜是否能清楚區分 alpha 峰與相鄰的 theta 峰,還是這兩種節律相互混雜?這些視覺檢查是檢驗所選窗長度是否適合該數據的直接、實用的測試。
步驟 4:將結果視為多種可能視角中的一種,而不是最終結論。負面發現(例如兩個實驗組之間沒有可測量的 gamma 差異)可能反映了真實情況下沒有效應,或者它可能只是反映了所選特定 STFT 窗的解析度限制。確認模糊或重要發現的一個合理後續步驟是使用自適應方法重新分析相同的數據作為交叉比對。
為什麼追蹤腦波節律觸發時間能開啟新見解
大腦活動是一連串定時事件,恢復該時間順序可以將扁平的記錄轉變為心理狀態轉變的即時敘述。透過從單一頻率摘要轉變為即時圖譜,研究人員可以將特定的想法、意圖或感覺直接與伴隨它們的腦波節律聯繫起來。這種轉變將 EEG 從靜態測量工具轉變為可以支援腦機介面並輸入深度學習模型(該模型可學習辨識心理模式)的工具。
該方法的固定解析度權衡帶來了更廣泛的啟示:每種分析選擇在突出某些真相的同時,可能會模糊其他真相,因此沒有單一結果能說明整個故事。這要求在發現至關重要時與其他方法進行交叉驗證,並再次強化了大腦的電活動模式(如在想像和實際運動之間看到的緊密匹配)是深層次交疊的。這種底層的相似性支持了這樣一種觀點:大腦在排練動作時使用了執行動作時所使用的許多相同節律特徵。
參考文獻
Zabidi, A., Mansor, W., Lee, Y. K., & Fadzal, C. C. W. (2012, September). Short-time Fourier Transform analysis of EEG signal generated during imagined writing. In 2012 international conference on system engineering and technology (ICSET) (pp. 1-4). IEEE. https://doi.org/10.1109/ICSEngT.2012.6339284
Chaudhary, S., Taran, S., Bajaj, V., & Sengur, A. (2019). Convolutional neural network based approach towards motor imagery tasks EEG signals classification. IEEE Sensors Journal, 19(12), 4494-4500. https://doi.org/10.1109/JSEN.2019.2899645
Ali, O., Saif-ur-Rehman, M., Dyck, S., Glasmachers, T., Iossifidis, I., & Klaes, C. (2022). Enhancing the decoding accuracy of EEG signals by the introduction of anchored-STFT and adversarial data augmentation method. Scientific reports, 12(1), 4245. https://doi.org/10.1038/s41598-022-07992-w
Wang, Y., Veluvolu, K. C., & Lee, M. (2013). Time-frequency analysis of band-limited EEG with BMFLC and Kalman filter for BCI applications. Journal of neuroengineering and rehabilitation, 10, 109. https://doi.org/10.1186/1743-0003-10-109
Mumtaz, W., Xia, L., Yasin, M. A. M., Ali, S. S. A., & Malik, A. S. (2017). A wavelet-based technique to predict treatment outcome for Major Depressive Disorder. PloS one, 12(2), e0171409-e0171409. https://doi.org/10.1371/journal.pone.0171409
常見問題
EEG 分析中的短時距傅立葉轉換是什麼?
短時距傅立葉轉換(STFT)將原始 EEG 訊號切分成簡短、連續的時間窗,並計算每個時間窗的頻譜。按順序堆疊這些快照會建立一個稱為時頻譜(spectrogram)的動態圖像,顯示不同腦波節律的功率如何隨時間變化。
為什麼不能直接對 EEG 記錄使用常規傅立葉轉換?
基本的傅立葉轉換將整個記錄分解為其組成頻率,但會消除所有時間資訊,因此您只知道總體上存在哪些節律,但不知道它們何時出現。STFT 透過分別分析短片段來恢復該時間資訊,讓您能夠看到 alpha 突發波或 beta 功率下降的實際發生時間。
時頻譜顯示了什麼?
時頻譜是一種視覺圖譜,其中一個軸表示時間,另一個軸表示頻率,顏色或亮度代表該瞬間每個頻率的功率。它將 EEG 從平面摘要轉變為類似於大腦電活動樂譜的形式。
為什麼窗長度如此重要?
較長的窗能提供精確的頻率資訊,但會模糊事件的確切時間;而較短的窗能精確定位時間,但會將緊密相鄰的頻率混雜在一起。這種不可避免的權衡意味著窗長度的選擇直接決定了時頻譜能揭示什麼以及會隱藏什麼。
對於不同的腦波節律,什麼樣的窗長度是良好的起點?
對於非常緩慢的 delta 節律,需要約一到兩秒的較長窗來捕獲完整週期。Theta 和 alpha 節律通常適合使用約半秒的窗,而更快的 beta 和 gamma 節律則需要約四分之一秒或更短的較短窗來追蹤其快速變化。
STFT 如何揭示真實與想像動作之間的相似性?
STFT 能夠捕捉 mu 和 beta 頻段中稱為事件相關去同步化(ERD)的鎖定時間功率下降,這種下降在一個人移動和在心中想像相同運動時都會發生。真實和想像運動任務的時頻譜可以顯示幾乎相同的頻率模式,支持了腦機介面的底層邏輯。
STFT 可以與深度學習模型一起使用嗎?
可以,STFT 生成的時頻譜影像可以直接輸入專為影像辨識設計的卷積神經網路中。這些模型可以學習從時頻模式中區分大腦狀態,通常在運動心像檢測等任務中達到非常高的分類準確率。
與其他時頻方法相比,STFT 的主要限制是什麼?
STFT 為所有頻率鎖定單一窗大小,這意味著它無法同時為快速突發波提供精確的時間細節,並為慢波提供精細的頻率細節。諸如小波等自適應技術會隨頻率改變有效窗長度,在直接比較中通常能帶來更好的解析度和更高的分類性能。
在 EEG 數據上使用 STFT 時,良好的逐步方法是什麼?
首先將初始窗長度與您關注的節律相匹配,使用重疊窗來平滑時頻譜,並檢查結果以查看事件是精準定時還是被模糊化。如果該發現至關重要,請考慮使用自適應方法對數據進行交叉驗證,因為單一 STFT 設定可能僅有利於一種類型的解析度。
Emotiv 是一家神經科技領導者,透過可近用的 EEG 和腦部資料工具,協助推動神經科學研究進展。
醫療免責聲明:本網站提供的資訊僅供教育和參考之用,不構成醫療或健康建議。本內容可能含有錯誤,不應作為做出改變生活的健康、醫療或生活方式選擇的依據。若您對醫療狀況或治療有任何疑問,請務必諮詢您的醫生或其他符合資格的健康提供者的建議。
克里斯蒂安·布戈斯




