EEGにおける短時間フーリエ変換（STFT）のガイド

標準フーリエ変換の課題

標準フーリエ変換は、複雑な信号を純粋な正弦波の総和へと効果的に分解するため、古典的な信号処理の柱となっています。無限時間全体を積分することで、記録内に存在する全周波数成分を明らかにします。

しかし、この手法は信号が定常であることを前提としています。もし周波数構成が時間とともに変化する場合、典型的な出力は時間的な順序を曖昧にしてしまいます。この制限により、短時間のバースト的なイベントと持続的な調和波を区別することが不可能になり、これは神経科学のような分野では致命的な問題となります。

EEG解析における短時間フーリエ変換とは何か

STFTは、極めて直接的な戦略でタイミングの問題に取り組みます。EEG記録全体に対して一度にフーリエ変換を実行するのではなく、信号を短い連続するセグメント（一般にウィンドウと呼ばれる）に分割し、それぞれのセグメントに対して個別にフーリエ変換を適用します。各ウィンドウはそれぞれ独自の微細な周波数のスナップショットを生成し、これらのスナップショットを順番に繋ぎ合わせることで、周波数成分が時間とともにどのように変化するかを示す動画像が作成されます。

このプロセスの出力は通常、一方の軸に時間、もう一方の軸に周波数を配した視覚的なマップであるスペクトログラムとして表示されます。このマップ上の任意の点における色や明度は、その瞬間におけるその周波数のパワー、すなわち強度を表します。これこそが、STFT解析が提供するために設計された価値です。

Zabidi et al.が述べているように、STFT解析は「各時点におけるEEG信号の周波数成分を明らかにする」ために機能します。

なぜウィンドウ長がSTFTにおいて最も重要な設定なのか

信号をウィンドウに分割することは単純に聞こえますが、それぞれのウィンドウに選択された長さによって、得られるスペクトログラムの品質と正確性のほぼすべてが決まります。この決定には、避けることはできず、管理することしかできないトレードオフが伴います。

このように考えてみてください。長いウィンドウは、精密な周波数定規のように機能しますが、ぼやけたストップウォッチのようでもあります。より多くのデータポイントが含まれるため、長いウィンドウは近接した周波数を極めて正確に区別できます。しかし、より長い時間をカバーするため、そのウィンドウ内で発生するあらゆるイベントは引き伸ばされてしまい、何かが変化した正確な瞬間をピンポイントで特定する能力が失われます。

短いウィンドウはこのトレードオフを反転させます。精密なストップウォッチのように機能しますが、ぼやけた周波数定規のようになります。何かが起きた瞬間をほぼ正確に捉えることができますが、互いに近接した周波数を分離することには苦労します。なぜなら、短い信号セグメントには周波数を細部まで測定するのに十分な振動サイクルが含まれないためです。

これは、すべての時間周波数解析を支配する不確定性原理の一種です。時間と周波数の両方で同時に完璧な解像度を達成することはできません。一方を向上させると、常に他方にある程度のコストがかかります。このトレードオフを打破しようとするのではなく、認識することこそが、STFTを扱う上での核心的なスキルです。

異なるEEGリズムは非常に異なる速度で振動するため、すべてのリズムに対してうまく機能する単一のウィンドウ長は存在しません。以下のガイドラインは、これらのリズムが通常どのように振る舞うかに基づく、実用的なヒューリスティクスの出発点です。

• デルタ波（概ね0.5～4 Hz）： これらは最も遅い脳のリズムであり、測定対象となる最も遅い波の少なくとも1つの完全なサイクルを捉えるために、ウィンドウは十分な長さ（通常1～2秒の範囲）である必要があります。これより短いウィンドウでは、その波を特徴付けるのに十分な構成要素が含まれません。

• シータおよびアルファリズム（概ね4～13 Hz）： 実用的なバランスが取れるのは、多くの場合500ミリ秒前後の中間的なウィンドウです。いくつかの振動サイクルを捉えるのに十分な長さであるため、リズムを明確に定義するのに役立つ一方で、目を閉じたときにアルファ波のバーストが始まる瞬間など、意味のある変化を追跡するのに十分な短さでもあります。

• ベータおよびガンマリズム（概ね13 Hz以上）： これらのより速いリズムは素早く動くため、その急速なダイナミクスを追跡するには、250ミリ秒以下などの短いウィンドウが必要になります。ここでのコストは、上記のトレードオフの直接的な帰結として、高いガンマ範囲内で近接した周波数を正確に識別する能力が低下することです。

STFTが明らかにする実際の運動とイメージした運動の違い

STFTの実用的な価値が最も明確になるのは、脳活動をデバイスの制御信号に直接変換することを目的とするブレイン・コンピュータ・インタフェース（BCI）研究においてです。

よく研究されている例として、手が動くのをイメージしている間に記録されたEEGと、足の動きをイメージしている間に記録されたEEGの比較、またはイメージされた行動と、その行動の実際の物理的実行度を比較するものがあります。

これらの運動に関連するパラダイムにおいて、一般的な解析対象となるのは、事象関連脱同期（ERD）と呼ばれる現象です。これは、運動に関連する脳領域におけるミューおよびベータリズム範囲内の信号パワーの低下です。ERDは、一定の背景特徴ではなく、特定の時間ロックされたパワーの低下であるため、まさに記録全体の周波数要約では抹消されてしまい、時間分解スペクトログラムであれば捉えることができる種類のイベントです。

Zabidi et al.の研究では、この問いにSTFTを直接適用し、実際の筆記中とイメージされた筆記中に収集されたEEGを調査しました。信号はまず、運動活動に最も関連するアルファおよびベータリズムをカバーする8～30 Hzの範囲に解析を制限するバンドパスフィルターに通され、その後、調整されたハミング窓を用いてSTFTが計算されました。

その結果、直接的かつ具体的な知見が得られました。「書くことで得られたEEG信号の周波数成分は、イメージされた筆記の際に得られたものと同じである」というものです。

実用的な観点から言えば、イメージされた行動中の脳の電気的リズムのパターンは、実際の物理的な行動中のパターンと酷似しており、この相関関係は、実際の物理的な動きを必要とせずに意図された運動を検出することを目指すBCIシステムの背後にある論理の多くを支えています。

深層学習モデルのための画像構築にSTFTを活用する

視覚的な検査にとどまらず、STFTによって生成されたスペクトログラムは、深層学習システム、特に画像内のパターン認識のために構築されたモデルである畳み込みニューラルネットワーク（CNN）に入力する前処理ステップとして、第二の人生を見出しています。スペクトログラムは本質的に時間と周波数におけるパワーを示すカラー画像であるため、画像ベースの深層学習モデルに直接渡すことができ、それによって手動で指定することが困難なデータ内の隠れた構造を検出できると研究者は考えています。

ある2019年の研究では、右手と右足の動きを区別する運動イメージタスクからのEEG記録を、STFTと代替的な時間周波数アプローチの双方を用いて画像に変換し、双方の画像セットを事前学習済みのCNNアーキテクチャに入力しました。

両方のアプローチにおけるパフォーマンスは強力であり、パイプライン全体での分類精度は99.35%に達し、これは既存の既存手法の中で最良のスコアとして評されました。しかし、同じ研究内でこれら2つの画像生成方法を直接比較した場合、結果は同等ではありませんでした。「*CWTアプローチはSTFTアプローチよりも優れた結果をもたらす*」とし、それぞれの方法が基礎となるEEG信号をどれほど忠実に実用的な画像に変換できたかという点で、実際に測定されたトレードオフが存在することを指摘しました。

このトレードオフは、別の方法論的開発を動機付ける課題であったと報告されています。研究者たちは、アンカー付きSTFT（anchored-STFT）と呼ばれるものを構築し、それを「STFTが提示する時間分解能とスペクトル分解能の間のトレードオフを最小限に抑える、STFTの高度なバージョン」と説明しました。

敵対的データ拡張手法と組み合わせることで、この強化されたパイプラインは、複数のBCIデータセットにおいて約69%から90%以上の分類精度を報告しました。これは、フラットなSTFTが十分に実用的な特徴抽出ツールとして機能する一方で、その既知の解像度の限界が、パラメータ調整、手法自体の強化バージョン、あるいは全く異なる時間周波数アプローチなどを通じた改善の余地を生み出しているというパターンを裏付けています。

STFTが及ばないとき：固定解像度問題

上で説明したトレードオフは、STFTを使用する研究者が、スペクトログラムから結論を導き出す前に批判的に検討する必要がある中心的な制限です。

ひとたびウィンドウ長（例：500ミリ秒）が選択されると、研究者が非常に遅い2 Hzのデルタ活動を見ていようと、高速な100 Hzのガンマ活動を見ていようと、解析対象の全周波数スペクトル全体に同じウィンドウが一律に適用されます。ウィンドウが自動的に調整されることはありません。前述の時間周波数のトレードオフは、解析全体で単一の設定に固定されてしまいます。理想的には異なるリズムごとに異なる設定にするのが適しているにもかかわらずです。

この固定された性質こそが、STFTをウェーブレットベースの手法などの適応型技術のカテゴリから区別するものです。すべての周波数に対して1つのウィンドウサイズを固定するのではなく、適応型手法は本質的に、低い周波数には長いウィンドウを、高い周波数には短いウィンドウを使用し、単一の解析内で解像度を自動で調整します。信号全体に対して1つの妥協案にコミットすることはありません。

例えば、Wang et al.が主導した適応型時間周波数手法を開発した研究では、そのアプローチが「STFTやCWTと比較して最適な時間周波数解像度を提供できる」と報告し、性能を上回るベンチマークとしてSTFTを明示的に挙げています。

治療前のEEGデータから大うつ病性障害における抗うつ薬の治療転帰を予測する別の臨床応用において、研究者たちはウェーブレットベースのアプローチをSTFTおよび別の分解手法と直接比較し、「WT分析が最も高い分類精度を示した」と報告し、代替手法と比較して87.5%の精度を達成しました。

EEGスペクトログラムの生成と評価のためのステップ・バイ・ステップ・ワークフロー

これらの長所と限界を考慮すると、規律あるワークフローは、STFTが適切に適用され、その出力が誠実に解釈されることを確実にするのに役立ちます。

ステップ1：データに触れる前に問いを定義する。 目的は、急速で短いガンマバーストを検出することでしょうか、それとも、数分間にわたるデルタパワーの緩やかなドリフトを追跡することでしょうか。その回答によって、ウィンドウ長のトレードオフのどちらが最も重要かが決まります。

ステップ2：対象となるリズムに合わせた初期ウィンドウ長を選択する。 上記の実用的なガイドラインを出発点として使用します。デルタには長いウィンドウ、シータおよびアルファには中間的なウィンドウ、ベータおよびガンマには短いウィンドウを使用します。これに、連続するウィンドウ間で一般的に50%から90%のオーバーラップを設けるオーバーラップウィンドウ・スキームを組み合わせます。これにより得られるスペクトログラムが滑らかになり、時間スライス間の人工的な隙間が目立たなくなります。

ステップ3：スペクトログラムを生成し、批判的に検査する。 選択したウィンドウ長は、関心のある高頻度のリズムに対して明確でシャープな開始を示しているでしょうか。あるいは、イベントが本来よりも時間的に引き伸ばされて見えているでしょうか。スペクトログラムは、アルファピークを隣接するシータピークから綺麗に区別できているでしょうか。あるいは、2つのリズムが徐々に混ざり合ってしまっているでしょうか。これらの視覚的チェックは、選択したウィンドウ長がそのデータに対して適切であったかどうかを実証する、直接的かつ実用的なテストになります。

ステップ4：結果を最終的な決定打ではなく、複数ある視点の中の1つとして扱う。 例えば「2つの実験グループ間に測定可能なガンマ波の差がない」という否定的結果は、効果の真の不在を反映している可能性もあれば、選択した特定のSTFTウィンドウの解像度の限界を単に反映しているだけかもしれません。曖昧または重要な発見を確認するための合理的な次のステップは、クロスチェックとして適応型手法を用いて同じデータを再分析することです。

脳リズムがいつ活動するかの追跡がインサイトを解き放つ理由

脳活動は時間調節された一連のイベントであり、そのタイミングを復元することで、フラットな記録が、変化する精神状態のリアルタイムの記録へと変わります。単一の周波数要約から、瞬間ごとのマップへと移行することで、研究者は特定の思考、意図、感覚を、それらに随伴する脳のリズムに直接結びつけることができます。この移行こそが、EEGを静的な測定から、ブレイン・コンピュータ・インタフェースをサポートし、精神的パターンの認識を学習する深層学習モデルに入力できるツールへと変貌させるものです。

この手法に備わっている固定解像度のトレードオフは、より広い教訓をもたらします。どのような分析上の選択であっても、何らかの真実を浮き彫りにする一方で、他の側面を曖昧にする可能性があるため、単一の結果がストーリーの全容を語ることはありません。このことは、発見が重要である場合に他のアプローチとのクロスチェックを必要とし、イメージされた運動と実際の運動の間に見られる密接な一致のように、脳の電気的パターンが極めて多層的であることを裏付けます。その根本的な類似性は、脳が行動を実行するために使用するのと同じ律動的な特徴の多くを使用して、行動をリハーサルしているという考えを支持しています。

参考文献

1. Zabidi, A., Mansor, W., Lee, Y. K., & Fadzal, C. C. W. (2012, September). Short-time Fourier Transform analysis of EEG signal generated during imagined writing. In 2012 international conference on system engineering and technology (ICSET) (pp. 1-4). IEEE. https://doi.org/10.1109/ICSEngT.2012.6339284

2. Chaudhary, S., Taran, S., Bajaj, V., & Sengur, A. (2019). Convolutional neural network based approach towards motor imagery tasks EEG signals classification. IEEE Sensors Journal, 19(12), 4494-4500. https://doi.org/10.1109/JSEN.2019.2899645

3. Ali, O., Saif-ur-Rehman, M., Dyck, S., Glasmachers, T., Iossifidis, I., & Klaes, C. (2022). Enhancing the decoding accuracy of EEG signals by the introduction of anchored-STFT and adversarial data augmentation method. Scientific reports, 12(1), 4245. https://doi.org/10.1038/s41598-022-07992-w

4. Wang, Y., Veluvolu, K. C., & Lee, M. (2013). Time-frequency analysis of band-limited EEG with BMFLC and Kalman filter for BCI applications. Journal of neuroengineering and rehabilitation, 10, 109. https://doi.org/10.1186/1743-0003-10-109

5. Mumtaz, W., Xia, L., Yasin, M. A. M., Ali, S. S. A., & Malik, A. S. (2017). A wavelet-based technique to predict treatment outcome for Major Devressive Disorder. PloS one, 12(2), e0171409-e0171409. https://doi.org/10.1371/journal.pone.0171409

よくある質問

EEG分析における短時間フーリエ変換とは何ですか？

短時間フーリエ変換（STFT）は、生のEEG信号を短い連続する時間ウィンドウに分割し、それぞれのウィンドウに対して周波数スペクトルを計算します。これらのスナップショットを順番に積み重ねることで、さまざまな脳リズムのパワーが瞬間ごとにどのように変化するかを示す「スペクトログラム」と呼ばれる動画像が作成されます。

EEG記録で通常のフーリエ変換をそのまま使えないのはなぜですか？

基本的なフーリエ変換は、記録全体を構成周波数に分解しますが、すべてのタイミング情報を消去してしまうため、どのリズムが全体として存在していたかはわかりますが、それらがいつ現れたかはわかりません。STFTは、短いセグメントを個別に分析することによってそのタイミングを復元し、アルファ波のバーストやベータ波のパワー低下が実際にいつ発生したかを確認できるようにします。

スペクトログラムは何を示していますか？

スペクトログラムは、一軸に時間、もう一軸に周波数、そして色や輝度でその瞬間における各周波数の出力を表した視覚的マップです。これにより、EEGはフラットなサマリーから、脳の電気活動の楽譜のようなものへと変わります。

なぜウィンドウ長がそれほど重要なのですか？

ウィンドウが長くなると正確な周波数情報が得られますが、イベントの正確なタイミングが曖昧になります。一方、ウィンドウが短くなるとタイミングを正確に特定できますが、近接した周波数同士が混ざり合ってしまいます。この避けられないトレードオフにより、ウィンドウ長の選択がスペクトログラムが何を明らかにし、何を隠すかを直接的に左右します。

異なる脳リズムに適した開始点となるウィンドウ長はどれくらいですか？

非常に遅いデルタリズムの場合、完全なサイクルを捉えるために1〜2秒程度の長めのウィンドウが必要です。シータ波およびアルファリズムは、多くの場合、約0.5秒のウィンドウが適しており、より速いベータ波およびガンマ波リズムの急速な変化を追跡するには、約0.25秒以下の短いウィンドウが必要です。

STFTは、実際の運動とイメージした運動の間の類似性をどのように明らかにできますか？

STFTは、人が動くときと、心の中で同じ動きをイメージするときの両方で、運動を司る脳領域（muおよびbeta帯域）で発生する、事象関連脱同期と呼ばれるパワーの時間ロックされた低下を捉えます。実際の運動タスクとイメージされた運動タスクのスペクトログラムは、ほぼ同一の周波数パターンを示すことがあり、これがブレイン・コンピュータ・インタフェースの論理を支えています。

STFTは深層学習モデルと併用できますか？

はい、STFTによって生成されたスペクトログラム画像は、画像認識用に設計された畳み込みニューラルネットワークに直接入力できます。これらのモデルは、時間周波数のパターンから脳の状態を判別することを学習し、運動イメージ検出などのタスクで非常に高い分類精度を達成することがよくあります。

他の時間周波数手法と比較した、STFTの主な制限は何ですか？

STFTはすべての周波数に対して単一のウィンドウサイズで固定されるため、高速なバーストに対する鋭い時間的詳細と、遅い波に対する細かい周波数の詳細の両方を同時に提供することはできません。ウェーブレットなどの適応型技術は、周波数に応じて実質的なウィンドウ長を変化させるため、直接的な比較において、より優れた解像度と高い分類性能をもたらすことが多くあります。

EEGデータでSTFTを使用する場合の、お勧めできる段階的なアプローチは何ですか？

まず、関心のあるリズムに初期ウィンドウ長を合わせ、オーバーラップするウィンドウを使用してスペクトログラムを滑らかにし、イベントがシャープにタイミングよく捉えられているか、あるいは引き伸ばされて見えているかを検査します。もしその知見が極めて重要である場合は、データに適応型手法を用いたクロスチェックを検討してください。なぜなら、単一のSTFT設定は、片方の解像度のみに有利に働いている可能性があるからです。