基本的傅立葉轉換是將訊號分解為其組成頻率的經典數學工具，它可以告訴你整個記錄的某處存在哪些腦律動。但它無法告訴你這些律動是在何時發生的。在某人閉上眼睛的瞬間所出現的短暫 alpha 活動爆發，是一個有意義且具時間鎖定性的事件。
如果將其平均到一個跨越十分鐘記錄的單一頻率摘要中，該次爆發就會變成一個統計數據，與背景雜訊無異。恢復這些事件的時間點是進行任何嚴謹腦電圖（EEG）研究的起點，而這正是短時傅立葉轉換（STFT）旨在解決的確切問題。
標準傅立葉轉換的問題
標準傅立葉轉換是經典訊號處理的支柱，因為它能有效地將複雜訊號分解為純正弦波的總和。藉由在無限時間內進行積分，它揭示了記錄中存在的總頻率內容。
然而，這種方法假設訊號是平穩的；如果頻率組成隨時間變化，典型的輸出就會模糊時間順序。這種局限性使得人們無法區分短暫、爆發性的事件與持續的諧波，而這在神經科學等領域至關重要。
什麼是 EEG 分析中的短時傅立葉轉換
STFT 採用了相當直接的策略來解決時間問題。它不是一次性對整個 EEG 記錄運行傅立葉轉換，而是將訊號切成短而連續的片段（通常稱為窗口），並分別對每個片段應用傅立葉轉換。每個窗口都會產生自己的微型頻率快照，並將這些快照按順序拼接在一起，從而建立頻率內容隨時間變化的動態畫面。
此過程的輸出通常顯示為時頻譜，這是一張以時間為一軸、頻率為另一軸的視覺地圖。地圖上任何給定點的顏色或強度代表該頻率在該時刻的功率或強度。這正是 STFT 分析旨在提供的價值。
正如 Zabidi et al. 所說，STFT 分析的作用是「揭示 EEG 訊號在每個時間點的頻率內容」。
為什麼窗口長度是 STFT 中最重要的設定
將訊號切片成窗口聽起來很簡單，但為每個窗口選擇的長度幾乎決定了所得時頻譜品質和誠實度的所有方面。這個決定涉及一個無法避免、只能管理的折衷權衡。
可以這樣想：長窗口就像一個精準的頻率尺，但卻是一個模糊的碼錶。因為包含更多的數據點，長窗口能以真正的精確度區分緊密相鄰的頻率。但是，因為它延伸跨越了更長的時間跨度，在該窗口內發生的任何事件都會被抹平，您將失去精確定位某事物何時發生變化的能力。
短窗口則翻轉了這種折衷。它就像一個精準的碼錶，但卻是一個模糊的頻率尺。它能幾乎精確地告訴您何時發生了某些事情，但它很難區分彼此靠得很近的頻率，因為一小段訊號根本不包含足夠的振盪週期來精細測量頻率。
這是支配所有時頻分析的不確定性原理的一種版本：您無法在同一時刻在時間和頻率上都達到完美的解析度。提高其中一個總是會對另一個造成一些代價。認識到這種折衷權衡，而不是試圖攻克它，是使用 STFT 的核心技能。
因為不同的 EEG 節律以非常不同的速度振盪，沒有單一的窗口長度適用於所有節律。以下指南是根據這些節律通常的表現形式繪製的實用啟發：
Delta 波（大約 0.5 到 4 Hz）： 這些是最慢的大腦節律，窗口需要足夠長，通常在 1 到 2 秒的範圍內，以捕捉被測量最慢波的至少一個完整週期。較短的窗口根本不會包含足夠的波來進行特徵描述。
Theta 和 alpha 節律（大約 4 到 13 Hz）： 中等長度的窗口（通常在 500 毫秒左右）往往能達到一種切實可行的平衡。它足夠長，可以捕捉多個振盪週期，這有助於清晰定義節律，同時又足夠短，可以追蹤有意義的變化，例如閉眼時 alpha 爆發的開始。
Beta 和 gamma 節律（大約 13 Hz 以上）： 這些較快的節律移動迅速，因此通常需要 250 毫秒或更短的短窗口來追蹤其快速動態。這裡的代價是降低了在較高 gamma 範圍內精確區分緊密相鄰頻率的能力，這是上述相同折衷權衡直接導致的結果。
STFT 如何揭示真實與想像運動之間的差異
STFT 的實用價值在 BCI 研究中變得最為明晰，該研究的目標是將大腦活動直接轉化為設備的控制訊號。
一個經過深入研究的例子包括：將一個人在腦中想像移動一隻手時記錄的 EEG 與想像移動一隻腳時的 EEG 進行比較，或者將想像的動作與該動作的真實物理版本進行比較。
在這些與運動相關的範式中，一個常見的分析目標是稱為事件相關去同步（ERD）的現象，即與運動相關的大腦區域中 mu 和 beta 節律範圍內的訊號功率下降。因為 ERD 是特定、時間鎖定（time-locked）的功率下降，而不是恆定的背景特徵，這正是整段記錄頻率摘要會抹去，而時間解析時頻譜可以捕捉到的事件類型。
Zabidi et al. 直接針對這個問題應用 STFT 的研究，檢視了在實際書寫和想像書寫期間收集的 EEG。在計算具有調諧漢明窗（Hamming window）的 STFT 之前，訊號首先通過一個帶通濾波器，將分析限制在 8 到 30 Hz 的範圍內，涵蓋與運動活動最相關的 alpha 和 beta 節律。
結果是一個直接、具體的發現：「從書寫中獲得的 EEG 訊號頻率成分與在想像書寫期間獲得的頻率成分相同」。
在實際操作中，大腦在想像動作時的電生理節律模式與真實物理動作時的模式高度相似，這種關聯性正是 BCI 系統背後許多邏輯的基礎，旨在檢測意圖運動，而無需任何實際的物理動作。
使用 STFT 為深度學習模型建立影像
除了解釋視覺以外，由 STFT 生成的時頻譜發現了第二個用途：作為輸入到深度學習系統（特別是卷積神經網路（CNN）——一種最初為識別影像中模式而建立的模型）的預處理步驟。由於時頻譜本質上是一幅顯示跨越時間和頻率功率的彩色影像，研究人員認為它可以直接交給基於影像的深度學習模型，然後該模型可以檢測出數據中難以手動指定的隱藏結構。
一項 2019 年的研究將來自運動想像任務（區分右手與右腳運動）的 EEG 記錄，使用 STFT 和另一種替代時頻方法轉換為影像，然後將這兩組影像輸入到預先訓練的 CNN 架構中。
這兩種方法的表現都很強勁，整體管線達到了 99.35% 的分類準確度，被描述為現有同類方法中的最佳得分。然而，當在同一研究中直接將這兩種影像生成方法進行比較時，結果並不相等：「CWT 方法產生的結果優於 STFT 方法」，這指出了每種方法在將底層 EEG 訊號如實轉換為可用影像時存在的真實、經測量的折衷權衡。
據報導，這種折衷權衡是另一項方法學發展背後的驅動問題。研究人員建立了他們稱之為錨定 STFT（anchored-STFT）的方法，將其描述為「STFT 的進階版本，因為它最小化了 STFT 所帶來的時間解析度與空間解析度之間的折衷權衡」。
搭配對抗性數據增強方法，該增強管線在多個 BCI 數據集上的分類準確度範圍從約 69% 到超過 90%，這進一步證實了普通 STFT 可以作為一種真正有能力的特徵提取工具，但其已知的解析度限制也為改進留下了空間，無論是通過參數調優、該技術本身的增階版本，還是完全不同的時頻方法。
當 STFT 力有未逮時：固定解析度的問題
上文討論的折衷權衡是任何使用 STFT 的研究人員在從時頻譜得出結論之前需要批判性衡量的核心局限性。
一旦選擇了窗口長度（例如 500 毫秒），無論研究人員是在觀察慢速 2 Hz delta 活動還是快速 100 Hz gamma 活動，該窗口都會統一應用於所分析的整個頻譜。窗口不會自我調整。前面描述的時頻折衷權衡在整個分析中被鎖定在單一設定上，即使不同的節律理想上會從不同的設定中受益。
這種固定的本質正是將 STFT 與一類自適應技術（例如基於小波的方法）區分開來的地方。自適應方法不是為每個頻率鎖定一個窗口大小，而是有效地對較低頻率使用較長窗口，對較高頻率使用較短窗口，在單次分析中根據需要調整解析度，而不是對整個訊號做出單一妥協。
例如，由 Wang et al. 領導的一項開發自適應時頻方法的研究報告稱，其方法「與 STFT 和 CWT 相比，可以提供最佳的時頻解析度」，明確指出 STFT 為被超越的基準線。
在一項利用治療前 EEG 數據預測重度憂鬱症中抗憂鬱治療結果的獨立臨床應用中，研究人員直接將基於小波的方法與 STFT 的另一種分解方法進行比較，並報告說「小波轉換（WT）分析顯示出最高的分類準確度」，在對比的技術中達到了 87.5% 的準確度。
生成和評估 EEG 時頻譜的逐步工作流程
鑑於這些優勢和局限性，紀律嚴明的工作流程有助於確保妥善應用 STFT 並誠實地解釋其輸出。
步驟 1：在接觸數據之前定義問題。 目標是檢測快速、短暫的 gamma 爆發，還是追蹤幾分鐘內 delta 功率的緩慢漂移？答案決定了窗口長度折衷權衡的哪一端最為重要。
步驟 2：選擇與目標節律匹配的初始窗口長度。 使用上述實用指南作為起點：delta 波使用較長窗口，theta 和 alpha 節律使用中等窗口，beta 和 gamma 節律使用較短窗口。將此與重疊窗口方案（通常在連續窗口之間重疊 50% 到 90% 之間）搭配使用，這可以平滑所得的時頻譜並減少時間片段之間出現人為間隙的情況。
步驟 3：生成時頻譜並對其進行批判性檢查。 選擇的窗口長度是否顯示出所關心的快速節律有清晰、銳利的爆發，或者該事件看起來被抹平在比其應有範圍更寬的時間跨度上？時頻譜能否乾淨地將 alpha 峰值與相鄰的 theta 峰值區分開來，或者這兩種節律是否混雜在一起？這些視覺檢查是對所選窗口長度是否適合數據的直接、實際測試。
步驟 4：將結果視為多個可能觀點中的一個，而不是最終裁決。 陰性結果（例如兩個實驗探索組之間沒有可測量的 gamma 差異）可能反映了真正的無效應，或者它可能僅僅反映了所選特定 STFT 窗口的解析度限制。確認模糊或重要發現的合理下一步是使用自適應方法重新分析相同的數據，以進行交叉驗證。
為什麼追蹤大腦節律何時觸發能解鎖新的 Insight
大腦活動是一系列定時事件，恢復該時間定時可以將扁平的記錄轉化為心理狀態變化的即時記錄。藉由從單一頻率摘要轉移到時刻對時刻的地圖，研究人員可以將特定的思想、意圖或感覺直接與伴隨它們的大腦節律聯繫起來。這種轉變正是將 EEG 從靜態測量轉變為能夠支持 BCI 系統並輸入到學習識別精神模式之深度學習模型的工具。
該方法的固定解析度折衷權衡帶來了更廣泛的啟示：每種分析選擇都會突出某些真相，同時可能會模糊其他真相，因此沒有單一結果能講述完整的故事。這就要求在發現至關重要時與其他方法進行交叉驗證，並加強了大腦的電生理模式（如在想像和實際運動之間看到的緊密匹配）是深具層次的。這種底層的相似性支持了這樣一種觀點，即大腦使用許多用於執行動作的相同節律特徵來排練動作。
參考文獻
Zabidi, A., Mansor, W., Lee, Y. K., & Fadzal, C. C. W. (2012, September). Short-time Fourier Transform analysis of EEG signal generated during imagined writing. In 2012 international conference on system engineering and technology (ICSET) (pp. 1-4). IEEE. https://doi.org/10.1109/ICSEngT.2012.6339284
Chaudhary, S., Taran, S., Bajaj, V., & Sengur, A. (2019). Convolutional neural network based approach towards motor imagery tasks EEG signals classification. IEEE Sensors Journal, 19(12), 4494-4500. https://doi.org/10.1109/JSEN.2019.2899645
Ali, O., Saif-ur-Rehman, M., Dyck, S., Glasmachers, T., Iossifidis, I., & Klaes, C. (2022). Enhancing the decoding accuracy of EEG signals by the introduction of anchored-STFT and adversarial data augmentation method. Scientific reports, 12(1), 4245. https://doi.org/10.1038/s41598-022-07992-w
Wang, Y., Veluvolu, K. C., & Lee, M. (2013). Time-frequency analysis of band-limited EEG with BMFLC and Kalman filter for BCI applications. Journal of neuroengineering and rehabilitation, 10, 109. https://doi.org/10.1186/1743-0003-10-109
Mumtaz, W., Xia, L., Yasin, M. A. M., Ali, S. S. A., & Malik, A. S. (2017). A wavelet-based technique to predict treatment outcome for Major Depressive Disorder. PloS one, 12(2), e0171409-e0171409. https://doi.org/10.1371/journal.pone.0171409
常見問題
什麼是 EEG 分析中的短時傅立葉轉換？
短時傅立葉轉換（STFT）將原始 EEG 訊號切片為短而連續的時間窗口，並為每個窗口計算頻譜。按順序堆疊這些快照會建立一個被稱為時頻譜的動態畫面，顯示不同大腦節律的功率如何時時刻刻發生變化。
為什麼我不能直接在 EEG 記錄上使用常規的傅立葉轉換？
基本的傅立葉轉換會將整段記錄分解為其組成頻率，但會抹去所有的時間定時資訊，因此您只知道總體上存在哪些節律，但不知道它們何時出現。STFT 經由分別分析短片段來恢復該定時資訊，讓您能夠看到 alpha 的爆發或 beta 功率的下降實際發生在什麼時間。
時頻譜顯示了什麼？
時頻譜是一種視覺地圖，一軸為時間，另一軸為頻率，顏色或亮度代表該瞬間每個頻率的功率。它將 EEG 從扁平的摘要轉變為大腦電活動樂譜之類的東西。
為什麼窗口長度如此重要？
較長的窗口提供精確的頻率資訊，但會模糊事件的精確定時，而較短的窗口能很好地定位時間，但會將緊密相鄰的頻率混雜在一起。這種不可避免的折衷權衡意味著窗口長度的選擇直接塑形了時頻譜可以揭示什麼以及將會隱藏什麼。
對於不同的大腦節律，什麼窗口長度是一個好的起點？
對於非常慢的 delta 節律，需要大約 1 到 2 秒的較長窗口來捕捉完整週期。Theta 和 alpha 節律通常在半秒左右的窗口下能很好地運作，而更快的 beta 和 gamma 節律則需要約四分之一秒或更短的短窗口來追蹤其快速變化。
STFT 如何揭示真實與想像運動之間的相似性？
STFT 捕捉了 mu 和 beta 頻帶中被稱為事件相關去同步的時間鎖定功率下降，這在一個人運動以及他們在腦中想像相同的運動時都會發生。真實和想像運動任務的時頻譜可以顯示幾乎相同的頻率模式，支持了 BCI 的邏輯。
STFT 可以與深度學習模型一起使用嗎？
可以，由 STFT 生成的時頻譜影像可以直接輸入至專為影像識別設計的卷積神經網路中。這些模型可以學習從時頻模式中區分大腦狀態，通常在像運動想像檢測這樣的任務中達到非常高的分類準確度。
與其他時頻方法相比，STFT 的主要局限性是什麼？
STFT 為所有頻率鎖定單一窗口大小，這意味著它不能同時為快速爆發提供銳利的時間細節，並為慢速波提供精細的頻率細節。諸如小波等自適應技術依頻率改變有效窗口長度，這通常會在直接比較中帶來更好的解析度和更高的分類表現。
在 EEG 數據上使用 STFT 時，什麼是好的逐步方法？
首先將初始窗口長度與您關心的節律進行匹配，使用重疊窗口來平滑時頻譜，並檢查結果以查看事件是顯得時間銳利還是被抹平。如果發現至關重要，考慮使用自適應方法對數據進行交叉驗證，因為單一 STFT 設定可能僅有利於一種解析度。
Emotiv 是一家神經科技領導者，透過可近用的 EEG 和腦部資料工具，協助推動神經科學研究進展。
克里斯蒂安·布戈斯
