信号を構成要素である周波数に分解するための古典的な数学的ツールである基本的なフーリエ変換は、記録全体の中のどこかでどの脳波リズムが存在していたかを教えてくれます。しかし、それらがいつ発生したかを教えてくれるわけではありません。人が目を閉じた瞬間に現れるアルファ活動の短いバーストは、意味のあるタイムロックされたイベントです。
10分間の記録全体にわたる単一の周波数サマリーに平均化されると、そのバーストは統計データとなり、背景ノイズと区別がつかなくなります。これらのイベントのタイミングを復元することは、本格的なEEG(脳波)研究の出発点であり、それこそが短時間フーリエ変換(STFT)が解決するために構築されたまさにその問題なのです。
標準フーリエ変換の問題点
標準的なフーリエ変換は、複雑な信号を純粋な正弦波の総和へと効果的に分解するため、古典的な信号処理の柱となっています。無限の時間にわたって積分することにより、記録内に存在する全周波数成分を明らかにします。
しかし、この手法は信号が定常的であることを前提としています。周波数構成が時間とともに変化する場合、一般的な出力では時間的な順序が覆い隠されてしまいます。この限界により、短時間の突発的なイベントと持続的な高調波を区別することが不可能となり、これは神経科学のような分野において極めて重要な問題となります。
EEG解析における短時間フーリエ変換とは
STFTは、極めて直接的な戦略でこのタイミングの問題に取り組みます。一連のEEG記録全体に対して一度にフーリエ変換を実行するのではなく、信号を「ウィンドウ(窓)」と呼ばれる連続した短いセグメントに分割し、それぞれに個別にフーリエ変換を適用します。各ウィンドウが独自の小さな周波数のスナップショットを生成し、これらのスナップショットを時系列順につなぎ合わせることで、周波数成分が時間とともにどのように変化するかを示す動的な画像を作り出します。
このプロセスの出力は通常、スペクトログラムとして表示されます。これは、一方の軸に時間、もう一方の軸に周波数を配した視覚的なマップです。このマップ上の任意の点における色や強度は、その瞬間におけるその周波数のパワー(強度)を表します。これこそがまさに、STFT解析が提供するように設計されている価値です。
Zabidiらが述べているように、STFT解析は「各時点におけるEEG信号の周波数成分を明らかにする」ために機能します。
ウィンドウ長がSTFTにおいて最も重要な設定である理由
信号をウィンドウに分割することは単純に思えますが、各ウィンドウに選択された長さが、得られるスペクトログラムの品質と正確さのほぼすべてを左右します。この決定には、回避することはできず、うまく付き合うことしかできないトレードオフが伴います。
このように考えてみてください。長いウィンドウは精密な周波数の定規として機能しますが、ストップウォッチとしては不鮮明です。より多くのデータポイントが含まれるため、長いウィンドウは近接した周波数を高い精度で区別できます。しかし、より長い時間にわたって広がるため、そのウィンドウ内で発生するイベントは曖昧に引き伸ばされ、何かがいつ変化したのかを正確に特定する能力が失われます。
短いウィンドウはこのトレードオフを逆転させます。精密なストップウォッチとして機能しますが、周波数の定規としては不鮮明になります。何かがいつ発生したかをほぼ正確に捉えることができますが、近接している周波数を分離するのには苦労します。短い信号の断片には、周波数を細かく測定するのに十分な振動サイクルが含まれていないためです。
これは、あらゆる時間周波数解析を支配する不確定性原理の一種です。時間と周波数の両方で同時に完全な解像度を達成することはできません。一方を向上させると、必ず他方を犠牲にすることになります。このトレードオフを打破しようとするのではなく、認識することこそが、STFTを扱う上での中核的なスキルです。
異なるEEGリズムはまったく異なる速度で振動するため、すべてに対して適切に機能する単一のウィンドウ長は存在しません。以下のガイドラインは、これらのリズムが通常どのように振る舞うかに基づいた実践的なヒューリスティクスの出発点です。
デルタ波(約0.5〜4 Hz):これらは最も遅い脳のリズムであり、測定対象となる最も遅い波の少なくとも1サイクル全体を捉えるために、多くの場合1〜2秒程度の十分に長いウィンドウが必要です。それより短いウィンドウでは、波を特徴付けるのに十分な情報が含まれません。
シータリズムおよびアルファリズム(約4〜13 Hz):多くの場合500ミリ秒程度の中間のウィンドウが、実用的なバランスを取りやすい傾向があります。これは複数の振動サイクルを捉えるのに十分な長さであるためリズムを明確に定義するのに役立ち、同時に目を閉じたときのアルファ波バーストの発生など、有意な変化を追跡するのにも十分に短い長さです。
ベータリズムおよびガンマリズム(約13 Hz以上):これらのより速いリズムは素早く動くため、その急速なダイナミクスを追跡するには、多くの場合250ミリ秒以下の短いウィンドウが必要になります。ここでの代償は、より高いガンマ帯域内で近接した周波数を正確に区別する能力が低下することであり、これは前述のトレードオフの直接的な結果です。
STFTが実際の運動と想起された運動の違いを明らかにする仕組み
STFTの実用的な価値が最も明確になるのは、脳活動をデバイスの制御信号に直接変換することを目標とするブレイン・コンピュータ・インタフェース(BCI)研究です。
よく研究されている例としては、手を動かすことを想像している間に記録されたEEGと足を動かすことを想像している間に記録されたEEGの比較や、想像上の動作と実際の物理的な動作の比較などが挙げられます。
これらの運動関連のパラダイムにおいて、一般的な解析対象となるのは事象関連脱同期(ERD)と呼ばれる現象です。これは運動に関連する脳領域における、ミューリズムおよびベータリズムの帯域内での信号パワーの低下です。ERDは一定の背景特徴ではなく、時間的に固定された特定のパワー低下であるため、記録全体の周波数サマリーでは消し去られてしまい、時間分解されたスペクトログラムであれば捉えることができる、まさにその典型的なイベントです。
Zabidiらの研究では、この問題にSTFTを直接適用し、実際の手書き中と想起された手書き中に収集されたEEGを調査しました。信号はまず、運動活動に最も関連するアルファおよびベータリズムをカバーする8〜30 Hzの範囲に解析を制限するバンドパスフィルターを通過し、その後、調整されたハミング窓を用いてSTFTが計算されました。
その結果、「書くことから得られたEEG信号の周波数成分は、想起された筆記中に得られたものと同じである」という直接的で明確な知見が得られました。
実用的な観点から言えば、想像上の動作中の脳の電気的リズムパターンは実際の身体動作中のパターンと酷似しており、この相関関係は、実際の身体運動を一切必要とせずに意図された運動を検出することを目指すBCIシステムのロジックの多くの根底にあります。
STFTを使用したディープラーニングモデル向け画像の構築
視覚的な確認にとどまらず、STFTによって生成されたスペクトログラムは、ディープラーニングシステム、特に画像内のパターン認識用に元々構築されたモデルの一種である畳み込みニューラルネットワーク(CNN)に入力する前処理ステップとして新たな役割を見出しています。スペクトログラムは本質的に時間と周波数にわたるパワーを示すカラー画像であるため、画像ベースのディープラーニングモデルに直接渡すことができ、手作業で特定することが困難なデータ内の隠れた構造をモデルが検出できると研究者は考えています。
ある2019年の研究では、右手と右足の運動を区別する運動想起タスクのEEG記録を、STFTと別の時間周波数アプローチの両方を使用して画像に変換し、両方の画像セットを事前学習済みのCNNアーキテクチャに入力しました。
両方のアプローチにわたる性能は強力であり、パイプライン全体で99.35%の分類精度に達し、既存の同等の手法の中で最高のスコアであると説明されました。しかし、その同じ研究内で2つの画像生成手法を直接比較したところ、結果は同等ではありませんでした。「CWTアプローチはSTFTアプローチよりも優れた結果をもたらす」とされ、各手法が基礎となるEEG信号を使用可能な画像にどれだけ忠実に変換したかにおいて、実測された明確なトレードオフがあることが示されました。
このトレードオフは、別の方法論の開発の動機となった問題であると報告されています。研究者たちは、アンカードSTFT(anchored-STFT)と呼ばれるものを構築しました。これは「STFTが提示する時間分解能と周波数分解能のトレードオフを最小限に抑えるため、STFTの高度なバージョン」と説明されています。
敵対的データ拡張手法と組み合わせることで、この強化されたパイプラインは複数のBCIデータセットにわたって約69%から90%以上の分類精度を報告し、プレーンなSTFTが真に有能な特徴抽出ツールとして機能する一方で、その既知の解像度の限界により、パラメータの調整や手法自体の強化バージョン、あるいはまったく異なる時間周波数アプローチのいずれを通じても改善の余地があるというパターンを裏付けました。
運動想起分類に短時間フーリエ変換を応用する研究
最近のある研究では、短時間フーリエ変換を可視化の段階にとどまらず、実際に機能する分類パイプラインへと推し進めています。前述の以前の研究と同様に、出発点は人が手を物理的に動かすのではなく動かすことを想像する運動想起タスクです。
著者らは、最適化短時間フーリエ変換(Optimized Short-Time Fourier Transform)と呼ぶものに基づいて構築された、AMD-KT2Dと呼ぶフレームワークについて説明しています。このバリアントは、単一の固定ウィンドウ設定に縛られるのではなく、固定構成ではぼやけたり失われたりする可能性のある動的な時間的および空間的特徴を保持するという明確な目的のもと、窓関数と時間周波数解像度を同時に調整します。
得られた2D時間周波数画像は、ガイド・ラーナー(guide-learner)アーキテクチャに渡されます。大規模データセットで事前学習されたImproved ResNet50が高レベルの時空間特徴を抽出し、カスタマイズされた2D畳み込みニューラルネットワークがマルチスケール特徴を捉えます。両者の間の差異を低減し、特徴を整合させるために、Adaptive Margin Disparity Discrepancy損失関数が使用されます。
左手と右手の運動想起タスクのEEG記録は、Emotiv Flexシステムを使用して収集されました。そのデータセットにおいて、このハイブリッド運動想起分類器は被験者依存(subject-dependent)の設定で96.75%、被験者非依存(subject-independent)の設定で92.17%の精度を達成したと報告されています。これら2つの数値の間のギャップは注目に値します。同一の個人内で測定された性能が、モデルが学習していない人物に自動的にそのまま適用されるわけではありません。
本稿で議論した他の研究と合わせて考えると、この研究は、短時間フーリエ変換によって生成されたスペクトログラムが、運動想起の解読を目的としたディープラーニングモデルにとって実用的な入力であることを示しています。しかし、一連の研究がまだ確立していないのは汎用性です。これは単一のデータセットに対する単一の研究であり、精度数値は1つのタスクと1つの参加者グループに紐づいており、報告された手法は標準形式ではなく調整されたバージョンの変換に依存しています。
これらの結果は、それ自体の設定内では有望であると解釈されるべきであり、EEGベースのインターフェース全般における確定した性能として解釈されるべきではありません。
STFTの限界:固定解像度の問題
前述のトレードオフは、STFTを使用するすべての研究者がスペクトログラムから結論を導き出す前に批判的に評価する必要がある中心的な限界です。
例えば500ミリ秒といったウィンドウ長が一度選択されると、研究者が遅い2 Hzのデルタ活動を観察しているか、速い100 Hzのガンマ活動を観察しているかにかかわらず、解析対象となる全周波数スペクトルにわたって同じウィンドウが一律に適用されます。ウィンドウが自動的に調整されることはありません。異なるリズムには理想的には異なる設定が適しているにもかかわらず、前述の時間周波数のトレードオフは解析全体を通じて単一の設定に固定されてしまいます。
この固定的な性質こそが、ウェーブレットベースの手法などの適応型技術のカテゴリーからSTFTを隔てるものです。適応型手法は、すべての周波数に対して単一のウィンドウサイズを固定するのではなく、実質的に低い周波数にはより長いウィンドウを、高い周波数にはより短いウィンドウを使用し、信号全体に対して単一の妥協点に縛られることなく、単一の解析内で必要に応じて解像度を調整します。
例えば、Wangらが主導した適応型時間周波数手法を開発する研究では、そのアプローチが「STFTおよびCWTと比較して最適な時間周波数解像度を提供できる」と報告されており、凌駕されたベースラインとしてSTFTが明確に名指しされています。
大うつ病性障害における抗うつ薬治療結果を治療前のEEGデータから予測する別の臨床応用において、研究者たちはウェーブレットベースのアプローチをSTFTおよび別の分解法と直接比較し、「WT解析が最も高い分類精度を示した」と報告しました。比較された手法の中で、他の代替手法と比較して87.5%の精度に達しました。
EEGスペクトログラムの生成と評価のためのステップバイステップのワークフロー
これらの長所と限界を考慮すると、規律あるワークフローはSTFTが適切に適用され、その出力が誠実に解釈されることを保証するのに役立ちます。
ステップ1:データに触れる前に問いを定義する。目的は、急激で短いガンマバーストを検出することでしょうか、それとも数分間にわたるデルタパワーの緩やかなドリフトを追跡することでしょうか。その答えによって、ウィンドウ長のトレードオフのどちらの端が最も重要かが決まります。
ステップ2:対象のリズムに合わせた初期ウィンドウ長を選択する。上記の実際的なガイドラインを出発点として使用します。デルタ波には長めのウィンドウ、シータ波とアルファ波には中間のウィンドウ、ベータ波とガンマ波には短めのウィンドウを使用します。これとオーバーラップウィンドウ方式(通常、連続するウィンドウ間で50%〜90%のオーバーラップ)を組み合わせることで、得られるスペクトログラムが滑らかになり、タイムスライス間の不自然なギャップの発生が軽減されます。
ステップ3:スペクトログラムを生成し、批判的に検証する。選択したウィンドウ長は、関心のある高速リズムの明確でシャープな開始を示していますか、それともイベントが必要以上に広い時間範囲にわたってぼやけて見えますか。スペクトログラムは、アルファピークと隣接するシータピークを明確に区別できていますか、それとも2つのリズムが互いに滲み合っていますか。これらの視覚的チェックは、選択したウィンドウ長がデータに対して適切であったかどうかを直接確認する実践的なテストです。
ステップ4:結果を最終的な決定事項ではなく、いくつかあり得る見方の1つとして扱う。2つの実験グループ間で測定可能なガンマの差がないなどの否定的な結果は、効果が実際に存在しないことを反映している可能性もあれば、選択された特定のSTFTウィンドウの解像度の限界を単に反映している可能性もあります。曖昧または重要な知見を確認するための合理的な次のステップは、クロスチェックとして適応型手法を使用して同じデータを再解析することです。
脳のリズムが発生するタイミングの追跡が新たな洞察をもたらす理由
脳の活動は時間的に同期したイベントの連続であり、そのタイミングを復元することで、平坦な記録が変化する精神状態のリアルタイムな記述へと変わります。単一の周波数サマリーから瞬間ごとのマップへと移行することにより、研究者は特定の思考、意図、または感覚を、それらに付随する脳のリズムに直接結びつけることができます。この変化こそが、EEGを静的な測定から、ブレイン・コンピュータ・インタフェースを支え、精神的なパターンを認識することを学習するディープラーニングモデルに供給できるツールへと変貌させるものです。
この手法の固定解像度のトレードオフは、より広範な教訓をもたらします。あらゆる分析上の選択は、一部の真実を強調する一方で他の真実を曖昧にする可能性があるため、単一の結果が全体像を語ることはできません。このことは、重要な知見については他のアプローチとのクロスチェックが必要であることを求めており、また想起された運動と実際の運動の間に見られる密接な一致のように、脳の電気的パターンが幾重にも重なり合っていることを裏付けています。その根本的な類似性は、脳が動作を実行するために使用するのと同じリズミカルな特徴の多くを使用して、動作をリハーサルしているという考えを支持しています。
参考文献
Zabidi, A., Mansor, W., Lee, Y. K., & Fadzal, C. C. W. (2012, September). Short-time Fourier Transform analysis of EEG signal generated during imagined writing. In 2012 international conference on system engineering and technology (ICSET) (pp. 1-4). IEEE. https://doi.org/10.1109/ICSEngT.2012.6339284
Chaudhary, S., Taran, S., Bajaj, V., & Sengur, A. (2019). Convolutional neural network based approach towards motor imagery tasks EEG signals classification. IEEE Sensors Journal, 19(12), 4494-4500. https://doi.org/10.1109/JSEN.2019.2899645
Ali, O., Saif-ur-Rehman, M., Dyck, S., Glasmachers, T., Iossifidis, I., & Klaes, C. (2022). Enhancing the decoding accuracy of EEG signals by the introduction of anchored-STFT and adversarial data augmentation method. Scientific reports, 12(1), 4245. https://doi.org/10.1038/s41598-022-07992-w
Wang, Y., Veluvolu, K. C., & Lee, M. (2013). Time-frequency analysis of band-limited EEG with BMFLC and Kalman filter for BCI applications. Journal of neuroengineering and rehabilitation, 10, 109. https://doi.org/10.1186/1743-0003-10-109
Mumtaz, W., Xia, L., Yasin, M. A. M., Ali, S. S. A., & Malik, A. S. (2017). A wavelet-based technique to predict treatment outcome for Major Depressive Disorder. PloS one, 12(2), e0171409-e0171409. https://doi.org/10.1371/journal.pone.0171409
よくある質問(FAQ)
EEG解析における短時間フーリエ変換とは何ですか?
短時間フーリエ変換(STFT)は、生のEEG信号を連続する短い時間ウィンドウに分割し、それぞれについて周波数スペクトルを計算します。これらのスナップショットを順番に積み重ねることで、スペクトログラムと呼ばれる動的な画像が作成され、さまざまな脳リズムのパワーが瞬間ごとにどのように変化するかを示します。
EEG記録になぜ通常のフーリエ変換をそのまま使えないのですか?
基本的なフーリエ変換は、記録全体を構成周波数に分解しますが、すべてのタイミング情報を消去してしまうため、全体としてどのリズムが存在していたかはわかりますが、それらがいつ現れたかはわかりません。STFTは、短いセグメントを個別に解析することでそのタイミングを復元し、アルファ波のバーストやベータパワーの低下が実際にいつ発生したかを確認できるようにします。
スペクトログラムは何を示していますか?
スペクトログラムは、一方の軸に時間、もう一方の軸に周波数を配し、その瞬間における各周波数のパワーを色や明るさで表した視覚的なマップです。これにより、EEGが平坦なサマリーから、脳の電気的活動の楽譜のようなものへと変化します。
なぜウィンドウ長がそれほど重要なのですか?
長いウィンドウは正確な周波数情報を提供しますが、イベントの正確なタイミングをぼかしてしまいます。一方、短いウィンドウはタイミングを正確に特定しますが、近接した周波数を混同させてしまいます。この避けられないトレードオフは、ウィンドウ長の選択がスペクトログラムが何を明らかにし、何を隠すかを直接左右することを意味します。
異なる脳リズムに対する適切な初期ウィンドウ長はどれくらいですか?
非常に遅いデルタリズムの場合、完全なサイクルを捉えるために1〜2秒程度の長めのウィンドウが必要です。シータリズムとアルファリズムには約0.5秒のウィンドウが適していることが多く、より速いベータリズムとガンマリズムでは、その急速な変化を追跡するために約0.25秒以下の短めのウィンドウが必要になります。
STFTは実際の運動と想起された運動の間の類似性をどのように明らかにできますか?
STFTは、ミュー帯域およびベータ帯域において事象関連脱同期と呼ばれる時間固定のパワー低下を捉えます。これは人が実際に動くときと、同じ動きを心の中で想像するときの両方で発生します。実際の運動タスクと想起された運動タスクのスペクトログラムはほぼ同一の周波数パターンを示すことがあり、これがブレイン・コンピュータ・インタフェースのロジックを支えています。
STFTはディープラーニングモデルと一緒に使用できますか?
はい、STFTによって生成されたスペクトログラム画像は、画像認識用に設計された畳み込みニューラルネットワークに直接入力できます。これらのモデルは時間周波数パターンから脳の状態を区別することを学習でき、運動想起検出などのタスクで非常に高い分類精度を達成することがよくあります。
他の時間周波数手法と比較したSTFTの主な限界は何ですか?
STFTはすべての周波数に対して単一のウィンドウサイズを固定するため、高速なバーストに対する鋭い時間詳細と低速な波に対する微細な周波数詳細を同時に提供することはできません。ウェーブレットなどの適応型技術は周波数に応じて実効ウィンドウ長を変化させるため、直接比較において解像度の向上や分類性能の向上につながることがよくあります。
EEGデータにSTFTを使用する際の適切な段階的アプローチは何ですか?
まず、注目するリズムに初期ウィンドウ長を合わせることから始め、スペクトログラムを滑らかにするためにオーバーラップウィンドウを使用し、イベントのタイミングがシャープに見えるか、それともぼやけて見えるか結果を検査します。重要な知見である場合は、単一のSTFT設定が一方の解像度のみを優先している可能性があるため、適応型手法でデータをクロスチェックすることを検討してください。
Emotivは、アクセスしやすいEEGおよび脳データツールを通じて神経科学研究の進展を支援するニューロテクノロジー分野のリーダーです。
免責事項:当ウェブサイトで提供される情報は教育および情報提供のみを目的としており、医師の診断や健康のアドバイスを意図したものではありません。このコンテンツには誤りが含まれている可能性があり、人生を左右するような健康、医療、またはライフスタイルに関する選択を行う際の根拠とすべきではありません。病状や治療に関する疑問については、常に医師またはその他の資格を有する医療提供者の助言を求めてください。
クリスティアン・ブルゴス




