EEG를 위한 단시간 푸리에 변환(STFT) 안내서

기존 푸리에 변환의 문제점

기존 푸리에 변환은 복잡한 신호를 순수 사인파의 합으로 효과적으로 분해하기 때문에 고전적인 신호 처리(signal processing)의 기둥 역할을 해왔습니다. 무한한 시간에 걸쳐 적분함으로써 녹음된 신호에 존재하는 전체 주파수 함량을 밝혀냅니다.

하지만 이 방법은 신호가 정상 상태(stationary)라고 가정하므로, 주파수 구성이 시간에 따라 변하는 경우 일반적인 출력 결과에서는 시간적 순서가 모호해집니다. 이러한 한계로 인해 짧고 폭발적인 이벤트와 지속되는 고조파를 구분하는 것이 불가능해지며, 이는 신경과학(neuroscience)과 같은 분야에서 매우 중요합니다.

EEG 분석에서 단시간 푸리에 변환(STFT)이란 무엇인가

STFT는 상당히 직접적인 전략으로 시간 문제를 해결합니다. 전체 EEG 기록에 대해 단번에 푸리에 변환을 실행하는 대신, 신호를 윈도우(window)라고 불리는 짧고 연속적인 세그먼트로 분할하고 각 세그먼트에 푸리에 변환을 개별적으로 적용합니다. 각 윈도우는 자체적인 미세 주파수 스냅샷을 생성하며, 이러한 스냅샷들을 순서대로 연결하면 주파수 콘텐츠가 시간에 따라 어떻게 변화하는지 보여주는 동영상이 만들어집니다.

이 프로세스의 출력은 일반적으로 스펙트로그램(spectrogram)으로 표시되는데, 이는 한쪽 축에는 시간이, 다른 쪽 축에는 주파수가 흐르는 시각적 지도입니다. 이 지도의 특정 지점에서의 색상이나 강도는 그 순간 해당 주파수의 전력(power) 또는 세기를 나타냅니다. 이것이 바로 STFT 분석이 제공하도록 설계된 핵심 가치입니다.

Zabidi 등이 언급했듯이, STFT 분석은 “각 시간 단계에서 EEG 신호의 주파수 콘텐츠를 밝혀내는” 방식으로 작동합니다.

윈도우 길이가 STFT에서 가장 중요한 설정인 이유

신호를 윈도우로 분할하는 것은 간단해 보이지만, 각 윈도우에 선택된 길이는 결과로 나오는 스펙트로그램의 품질과 신뢰성에 대한 거의 모든 것을 결정합니다. 이 결정에는 피할 수 없고 오직 관리만 가능한 트레이드오프(trade-off)가 수반됩니다.

이렇게 생각해보십시오. 긴 윈도우는 정밀한 주파수 자 역할을 하지만 흐릿한 스톱워치 역할을 합니다. 더 많은 데이터 포인트를 포함하기 때문에, 긴 윈도우는 매우 근접한 주파수들을 준수한 정확도로 구분할 수 있습니다. 하지만 더 긴 시간 범위에 걸쳐 있기 때문에, 해당 윈도우 내부에서 발생하는 모든 이벤트가 뭉개져서(smeared) 어떤 일이 정확히 언제 변했는지 짚어내는 능력을 잃게 됩니다.

짧은 윈도우는 이 트레이드오프를 뒤집습니다. 이는 정밀한 스톱워치 역할을 하지만 흐릿한 주파수 자 역할을 합니다. 어떤 일이 일어난 시점은 거의 정확하게 알려줄 수 있지만, 서로 가까이 있는 주파수를 분리하는 데는 어려움을 겪습니다. 짧은 신호 조각에는 주파수를 미세하게 측정할 만큼 충분한 진동 주기가 포함되어 있지 않기 때문입니다.

이것은 모든 시간-주파수 분석(time-frequency analysis)을 지배하는 불확정성 원리의 한 버전입니다. 동일한 순간에 시간과 주파수 모두에서 완벽한 해상도를 달성할 수는 없습니다. 하나를 개선하면 항상 다른 하나에 어느 정도 희생이 따릅니다. 이 트레이드오프를 극복하려고 하기보다는 인정하는 것이 STFT를 다루는 핵심 기술입니다.

서로 다른 EEG 리듬은 매우 다른 속도로 진동하기 때문에, 단일 윈도우 길이가 모든 리듬에 잘 들어맞지는 않습니다. 다음 가이드라인은 이러한 리듬이 일반적으로 어떻게 작동하는지에 기반한 실용적인 경험 법칙입니다.

• 델타파(약 0.5~4Hz): 가장 느린 뇌 리듬이며, 측정하려는 가장 느린 파형의 완전한 주기를 최소한 하나 이상 포착하기 위해 윈도우가 충분히 길어야 하며 흔히 1~2초 범위가 됩니다. 이보다 짧은 윈도우는 파형의 특징을 규명할 만큼 충분한 파형을 담을 수 없습니다.

• 세타 및 알파 리듬(약 4~13Hz): 보통 500밀리초 정도의 중간 크기 윈도우가 실용적인 균형을 이루는 경향이 있습니다. 여러 진동 주기를 포착할 만큼 충분히 길어 리듬을 명확하게 정의하는 데 도움이 되는 동시에, 눈을 감았을 때 알파 버스트가 시작되는 것과 같은 의미 있는 변화를 추적할 수 있을 만큼 충분히 짧습니다.

• 베타 및 감마 리듬(약 13Hz 이상): 이러한 빠른 리듬은 신속하게 움직이므로, 급격한 역학을 추적하기 위해 보통 250밀리초 이하의 짧은 윈도우가 필요해집니다. 여기서 발생하는 대가는 위에서 설명한 트레이드오프의 직접적인 결과로, 더 높은 감마 영역 내에서 가깝게 붙어 있는 주파수들을 정밀하게 구별하는 능력이 감소한다는 점입니다.

STFT가 실제 운동과 상상된 운동의 차이를 밝혀내는 방법

STFT의 실용적인 가치는 뇌 활동을 장치 제어 신호로 직접 변환하는 것을 목표로 하는 뇌-컴퓨터 인터페이스(BCI) 연구에서 가장 분명해집니다.

잘 연구된 예로, 사람이 손을 움직이는 상상을 하는 동안 기록된 EEG와 발 움직임을 상상하는 동안 기록된 EEG를 비교하거나, 상상된 행동과 해당 행동의 실제 물리적 버전을 비교하는 작업이 있습니다.

이러한 운동 관련 패러다임에서 흔히 분석 대상이 되는 것은 운동과 관련된 뇌 영역에서 뮤(mu) 및 베타 리듬 범위 내의 신호 전력이 낮아지는 현상인 사건 관련 동기화 해제(ERD)입니다. ERD는 지속적인 배경 특징이 아니라 특정 시간에 국한되어 발생하는 전력 강하이기 때문에, 전체 기록 주파수 요약에서는 지워지고 시간 분해 스펙트로그램을 통해서만 포착할 수 있는 바로 그러한 종류의 이벤트입니다.

Zabidi 등의 연구에서는 이 질문에 STFT를 직접 적용하여, 실제 글씨를 쓸 때와 글씨를 쓰는 상상을 할 때 수집된 EEG를 조사했습니다. 먼저 신호를 대역 통과 필터에 통과시켜 운동 활동과 가장 관련성이 높은 알파 및 베타 리듬을 포함하는 8~30Hz 범위로 분석을 제한한 후, 조정된 해밍 윈도우(Hamming window)를 사용하여 STFT를 계산했습니다.

그 결과는 직접적이고 구체적이었습니다. “글씨를 쓸 때 얻은 EEG 신호의 주파수 성분은 글씨를 쓰는 상상을 하는 동안 얻은 주파수 성분과 동일하다”는 것이었습니다.

실질적인 의미에서, 상상된 행동을 하는 동안의 뇌 전기 리듬 패턴은 실제 물리적 행동을 하는 동안의 패턴과 매우 유사했으며, 이러한 상관관계는 실제 물리적 움직임 없이도 의도된 움직임을 감지하고자 하는 BCI 시스템의 논리적 기반이 됩니다.

딥러닝 모델용 이미지 구축을 위해 STFT 사용하기

시각적 검사 외에도, STFT에 의해 생성된 스펙트로그램은 딥러닝 시스템, 구체적으로는 원래 이미지의 패턴 인식을 위해 축조된 합성곱 신경망(CNN)으로 입력되는 전처리 단계로서 두 번째 삶을 찾았습니다. 스펙트로그램은 본질적으로 시간에 따른 전력과 주파수를 보여주는 컬러 이미지이기 때문에, 연구자들은 이를 이미지 기반 딥러닝 모델에 직접 전달할 수 있으며, 모델이 수작업으로 지정하기 어려운 데이터의 숨겨진 구조를 탐지할 수 있다고 믿습니다.

한 2019년 연구에서는 오른손 움직임과 오른발 움직임을 구분하는 운동 상상 작업에서의 EEG 기록을 STFT와 대체 시간-주파수 접근 방식 둘 다를 사용하여 이미지로 변환한 다음, 두 이미지 세트를 사전 학습된 CNN 아키텍처에 공동으로 입력했습니다.

두 접근 방식 모두에서 성능이 강력하여 전체 파이프라인이 99.35%의 분류 정확도에 도달했으며, 이는 기존의 비교 가능한 방법들 중 가장 우수한 점수로 설명되었습니다. 그러나 해당 연구 내에서 두 이미지 생성 방법을 서로 직접 비교했을 때 결과가 동일하지 않았습니다. “CWT 접근 방식이 STFT 접근 방식보다 더 나은 결과를 낳는다”고 나타나, 각 방법이 근본적인 EEG 신호를 사용 가능한 이미지로 얼마나 충실하게 변환하는지에 있어 실질적이고 측정 가능한 트레이드오프가 있음을 시사했습니다.

이러한 트레이드오프는 별도의 방법론적 개발을 이끈 동기 부여 문제가 되었던 것으로 보고되었습니다. 연구자들은 앵커드 STFT(anchored-STFT)라고 부르는 기법을 구축했으며, 이는 “STFT가 제시하는 시간 및 스펙트럼 해상도 간의 트레이드오프를 최소화하므로 STFT의 고급 버전”으로 설명됩니다.

적대적 데이터 증강 방법과 결합된 이 향상된 파이프라인은 여러 BCI 데이터 세트에서 약 69%에서 90% 이상에 이르는 분류 정확도를 보고하여, 평이한 STFT가 진정으로 유능한 특징 추출 도구 역할을 할 수 있지만, 알려진 해상도 한계로 인해 파라미터 튜닝이나 기술 자체의 향상된 버전, 또는 완전히 다른 시간-주파수 접근 방식을 통한 개선의 여지가 존재한다는 패턴을 뒷받침했습니다.

STFT가 부족할 때: 고정 해상도 문제

위에서 논의한 트레이드오프는 STFT를 사용하는 모든 연구자가 스펙트로그램으로부터 결론을 도출하기 전에 비판적으로 따져보아야 할 중심 한계입니다.

단 한 번 윈도우 길이(예: 500밀리초)가 선택되면, 연구자가 느린 2Hz 델타 활동을 보든 빠른 100Hz 감마 활동을 보든 상관없이 분석 대상인 전체 주파수 스펙트럼에 걸쳐 동일한 윈도우가 균일하게 적용됩니다. 윈도우는 스스로를 조정하지 않습니다. 앞서 설명한 시간-주파수 트레이드오프는 서로 다른 리듬이 서로 다른 설정으로부터 이상적인 혜택을 받을 수 있음에도 불구하고 전체 분석에 대해 단일 설정으로 고정됩니다.

이러한 고정된 특성이 바로 STFT와 웨이블릿(wavelet) 기반 방법과 같은 적응형 기법 범주를 구분 짓는 요소입니다. 모든 주파수에 대해 하나의 윈도우 크기를 고정하는 대신, 적응형 방법은 낮은 주파수에는 더 긴 윈도우를 사용하고 높은 주파수에는 더 짧은 윈도우를 효과적으로 사용하여, 전체 신호에 대해 하나의 타협안만 고수하는 대신 단일 분석 내에서 필요에 따라 해상도를 조정합니다.

예를 들어, Wang 등이 이끈 연구에서는 적응형 시간-주파수 방법을 개발하면서 해당 접근 방식이 “STFT 및 CWT와 비교하여 최적의 시간-주파수 해상도를 제공할 수 있다”고 보고하며 성능이 더 우수한 기준선으로 STFT를 명시적으로 지목했습니다.

치료 전 EEG 데이터로부터 주요 우울 장애의 항우울제 치료 결과를 예측하는 별도의 임상 응용 연구에서, 연구자들은 웨이블릿 기반 접근 방식을 STFT 및 다른 분해 방법과 직접 비교했으며, “WT 분석이 비교 대상 기법들 중 가장 높은 분류 정확도를 보여주었다”고 보고하며 대안들에 비해 87.5%의 정확도에 도달했습니다.

EEG 스펙트로그램 생성 및 평가를 위한 단계별 워크플로

이러한 장점과 한계를 고려할 때, 훈육된 워크플로는 STFT가 적절하게 적용되고 그 출력이 정직하게 해석되도록 보장하는 데 도움이 됩니다.

1단계: 데이터를 만지기 전에 질문을 정의합니다. 목적이 빠르고 짧은 감마 버스트를 탐지하는 것입니까, 아니면 몇 분 동안의 델타 전력의 완만한 드리프트를 추적하는 것입니까? 이 답은 윈도우 길이 트레이드오프의 어느 쪽 끝이 가장 중요한지 결정합니다.

2단계: 대상 리듬에 맞춘 초기 윈도우 길이를 선택합니다. 위의 실용적인 가이드라인을 출발점으로 사용하십시오. 델타에는 더 긴 윈도우를, 세타 및 알파에는 중간 윈도우를, 베타 및 감마에는 더 짧은 윈도우를 사용합니다. 이를 후속 윈도우 간에 보통 50%에서 90% 사이의 겹침을 두는 오버랩(overlapping) 윈도우 기법과 결합하면, 결과물인 스펙트로그램이 매끄러워지고 시간 슬라이스 사이의 인위적인 틈새 발생이 줄어듭니다.

3단계: 스펙트로그램을 생성하고 비판적으로 검사합니다. 선택한 윈도우 길이가 관심 있는 빠른 리듬의 명확하고 날카로운 온셋(onset)을 보여줍니까, 아니면 이벤트가 마땅히 보여야 할 범위보다 더 넓은 시간 영역에 걸쳐 뭉개져 보입니까? 스펙트로그램이 알파 피크와 이웃한 세타 피크를 깔끔하게 구별할 수 있습니까, 아니면 두 리듬이 서로 번져 보입니까? 이러한 시각적 검사는 선택한 윈도우 길이가 데이터에 적절했는지 여부를 직접적이고 실용적으로 테스트하는 방법입니다.

4단계: 결과를 최종 판결이 아닌 여러 가능한 관점 중 하나로 취급합니다. 두 실험 그룹 간에 측정 가능한 감마 차이가 없다는 것과 같은 부정적인 결과는 실제 효과가 없음을 반영할 수도 있지만, 단순히 선택한 특정 STFT 윈도우의 해상도 한계를 반영하는 것일 수도 있습니다. 모호하거나 중요한 결과를 확인하기 위한 합리적인 다음 단계는 교차 검증으로서 적응형 방법을 사용하여 동일한 데이터를 재분석해보는 것입니다.

뇌 리듬이 활성화되는 시점을 추적하는 것이 새로운 洞察(Insight)을 여는 이유

뇌 활동은 타이밍이 맞춰진 이벤트들의 시퀀스이며, 그 타이밍을 복원하는 것은 평면적인 기록을 변화하는 정신 상태의 실시간 서사로 바꾸어 놓습니다. 단일 주파수 요약에서 순간순간의 지도로 이동함으로써, 연구자들은 특정 생각, 의도, 또는 감각을 이와 수반되는 뇌 리듬과 직접 연결할 수 있습니다. 이 변화는 EEG를 정적인 측정에서 뇌-컴퓨터 인터페이스를 지원하고 정신적 패턴을 인식하도록 학습하는 딥러닝 모델에 피드를 제공할 수 있는 도구로 바꿉니다.

이 방법의 고정 해상도 트레이드오프는 더 넓은 교훈을 줍니다. 모든 분석적 선택은 일부 진실을 강조하는 동시에 다른 진실을 흐리게 만들 수 있으므로, 단일 결과만으로는 전체 스토리를 말해 주지 못합니다. 이는 발견된 사실이 중요할 때 다른 접근 방식으로 교차 검증할 것을 요구하며, 상상된 운동과 실제 운동 간에 나타나는 긴밀한 일치처럼 뇌의 전기적 패턴이 매우 다층적이라는 점을 강화합니다. 그 근본적인 유사성은 뇌가 행동이 수행될 때 사용하는 것과 동일한 많은 리듬 서명을 사용하여 행동을 예행 연습한다는 아이디어를 뒷받침합니다.

참고 문헌

1. Zabidi, A., Mansor, W., Lee, Y. K., & Fadzal, C. C. W. (2012, September). Short-time Fourier Transform analysis of EEG signal generated during imagined writing. In 2012 international conference on system engineering and technology (ICSET) (pp. 1-4). IEEE. https://doi.org/10.1109/ICSEngT.2012.6339284

2. Chaudhary, S., Taran, S., Bajaj, V., & Sengur, A. (2019). Convolutional neural network based approach towards motor imagery tasks EEG signals classification. IEEE Sensors Journal, 19(12), 4494-4500. https://doi.org/10.1109/JSEN.2019.2899645

3. Ali, O., Saif-ur-Rehman, M., Dyck, S., Glasmachers, T., Iossifidis, I., & Klaes, C. (2022). Enhancing the decoding accuracy of EEG signals by the introduction of anchored-STFT and adversarial data augmentation method. Scientific reports, 12(1), 4245. https://doi.org/10.1038/s41598-022-07992-w

4. Wang, Y., Veluvolu, K. C., & Lee, M. (2013). Time-frequency analysis of band-limited EEG with BMFLC and Kalman filter for BCI applications. Journal of neuroengineering and rehabilitation, 10, 109. https://doi.org/10.1186/1743-0003-10-109

5. Mumtaz, W., Xia, L., Yasin, M. A. M., Ali, S. S. A., & Malik, A. S. (2017). A wavelet-based technique to predict treatment outcome for Major Depressive Disorder. PloS one, 12(2), e0171409-e0171409. https://doi.org/10.1371/journal.pone.0171409

자주 묻는 질문

EEG 분석에서 단시간 푸리에 변환이란 무엇인가요?

단시간 푸리에 변환(STFT)은 원시 EEG 신호를 짧고 연속적인 시간 윈도우로 분할하고 각각에 대해 주파수 스펙트럼을 계산합니다. 이러한 스냅샷을 순서대로 쌓으면 서로 다른 뇌 리듬의 세기가 매 순간 어떻게 변하는지 보여주는 스펙트로그램이라는 동영상이 만들어집니다.

EEG 기록에 그냥 일반 푸리에 변환을 사용하면 안 되나요?

기본 푸리에 변환은 전체 기록을 구성 주파수 성분들로 분해하지만 모든 타이밍 정보를 지워버리기 때문에, 어떤 리듬이 전반적으로 존재했는지는 알 수 있지만 그것들이 언제 나타났는지는 알 수 없습니다. STFT는 짧은 세그먼트들을 개별적으로 분석함으로써 그 타이밍을 복원하므로, 알파의 폭발이나 베타 전력의 하강이 실제로 언제 발생했는지 확인할 수 있게 해줍니다.

스펙트로그램은 무엇을 보여주나요?

스펙트로그램은 한쪽 축에 시간, 다른 쪽 축에 주파수를 배치하고, 색상이나 밝기로 그 순간의 각 주파수 전력을 표현하는 시각적인 지도입니다. 이는 EEG를 평면적인 요약에서 뇌의 전기적 활동을 나타내는 음악 악보와 같은 형태로 변환합니다.

윈도우 길이가 왜 그렇게 중요한가요?

윈도우가 길어지면 주파수 정보는 정밀해 지는 대신 이벤트의 정확한 타이밍이 흐려지며, 윈도우가 짧아지면 타이밍은 잘 짚어내지만 가까이 밀집된 주파수들이 함께 뭉개집니다. 이 피할 수 없는 트레이드오프는 윈도우 길이의 선택이 스펙트로그램이 무엇을 드러내고 무엇을 숨길지를 직접적으로 결정한다는 것을 의미합니다.

서로 다른 뇌 리듬에 대해 좋은 시작점이 되는 윈도우 길이는 무엇인가요?

매우 느린 델타 리듬의 경우 전체 주기를 포착하기 위해 약 1~2초의 더 긴 윈도우가 필요합니다. 세타 및 알파 리듬은 약 0.5초의 윈도우가 적절한 역할을 하는 경우가 많으며, 더 빠른 베타 및 감마 리듬은 그들의 급격한 변화를 추적하기 위해 약 0.25초 이하의 더 짧은 윈도우를 요구합니다.

STFT가 실제 운동과 상상된 운동의 유사성을 어떻게 밝혀낼 수 있나요?

STFT는 사람이 움직일 때와 머릿속으로 동일한 움직임을 상상할 때 모두 뮤(mu) 및 베타 대역에서 발생하는 사건 관련 동기화 해제(ERD)라고 불리는 시간 고정형 전력 감소를 포착합니다. 실제 및 상상된 운동 작업의 스펙트로그램은 거의 동일한 주파수 패턴을 보여줄 수 있어, 뇌-컴퓨터 인터페이스의 논리를 뒷받침합니다.

STFT를 딥러닝 모델과 함께 사용할 수 있나요?

예, STFT에서 생성된 스펙트로그램 이미지는 이미지 인식을 위해 설계된 합성곱 신경망에 직접 입력될 수 있습니다. 이러한 모델은 시간-주파수 패턴으로부터 뇌 상태를 구별하는 법을 학습할 수 있으며, 흔히 운동 상상 감지와 같은 작업에서 매우 높은 분류 정확도를 달성합니다.

다른 시간-주파수 방법들과 비교했을 때 STFT의 주요 한계는 무엇인가요?

STFT는 모든 주파수에 대해 단일 윈도우 크기를 고정하므로, 빠른 버스트에 대한 날카로운 시간적 디테일과 느린 파형에 대한 미세한 주파수 디테일을 동시에 제공할 수 없습니다. 웨이블릿과 같은 적응형 기법은 주파수에 따라 유효 윈도우 길이를 변경하므로, 직접적인 비교에서 흔히 더 나은 해상도와 더 높은 분류 성능으로 이어집니다.

EEG 데이터에 STFT를 사용할 때 권장되는 단계별 접근 방식은 무엇인가요?

먼저 관심 있는 리듬에 매칭되는 초기 윈도우 길이를 선택하고, 오버랩 윈도우를 사용하여 스펙트로그램을 매끄럽게 하며, 결과물을 검사하여 이벤트들이 시간적으로 날카롭게 포착되었는지 아니면 선명하지 못하고 뭉개졌는지 확인합니다. 만약 발견한 사실이 매우 중요하다면, 단일 STFT 설정은 오직 한 종류의 해상도에만 유리할 수 있기 때문에 적응형 방법을 사용하여 데이터를 교차 검증해보는 것을 고려하십시오.