Przewodnik po krótkookresowej transformacie Fouriera dla EEG

Problem ze standardową transformacją Fouriera

Standardowa transformacja Fouriera jest filarem klasycznego przetwarzania sygnałów, ponieważ skutecznie rozkłada złożone sygnały na sumę czystych sinusoid. Poprzez całkowanie w nieskończonym czasie ujawnia całkowitą zawartość częstotliwościową obecną w nagraniu.

Jednak ta metoda zakłada, że sygnał jest stacjonarny; jeśli skład częstotliwościowy zmienia się w czasie, typowy wynik zaciera sekwencję czasową. Ograniczenie to uniemożliwia odróżnienie krótkiego, nagłego zdarzenia od trwałej harmonicznej, co ma kluczowe znaczenie w dziedzinach takich jak neuronauka.

Czym jest krótkoczasowa transformacja Fouriera w analizie EEG

STFT podchodzi do problemu czasowego za pomocą dość prostej strategii. Zamiast przeprowadzać transformację Fouriera na całym nagraniu EEG naraz, dzieli sygnał na krótkie, kolejne segmenty, często nazywane oknami, i stosuje transformację Fouriera oddzielnie do każdego z nich. Każde okno tworzy swój własny miniaturowy obraz częstotliwości, a połączenie tych obrazów w kolejności tworzy ruchomy obraz tego, jak zawartość częstotliwościowa zmienia się w czasie.

Wynik tego procesu jest zwykle wyświetlany w postaci spektrogramu, wizualnej mapy z czasem biegnącym wzdłuż jednej osi i częstotliwością wzdłuż drugiej. Kolor lub intensywność w dowolnym punkcie tej mapy reprezentuje moc lub siłę danej częstotliwości w tym momencie. To jest dokładnie ta wartość, do dostarczenia której została zaprojektowana analiza STFT.

Jak ujęli to Zabidi i in., analiza STFT działa tak, aby „ujawnić zawartość częstotliwościową sygnałów EEG w każdym punkcie czasowym”.

Dlaczego długość okna jest najważniejszym ustawieniem w STFT

Dzielenie sygnału na okna brzmi prosto, ale długość wybrana dla każdego okna decyduje niemal o wszystkim, co dotyczy jakości i rzetelności wynikowego spektrogramu. Decyzja ta wiąże się z kompromisem, którego nie da się uniknąć, a jedynie kontrolować.

Pomyśl o tym w ten sposób: długie okno działa jak precyzyjna linijka częstotliwości, ale rozmazany stoper. Ponieważ zawiera więcej punktów danych, długie okno może z dużą dokładnością rozróżnić blisko położone częstotliwości. Ponieważ jednak rozciąga się ono na dłuższy odcinek czasu, wszelkie zdarzenia zachodzące wewnątrz tego okna ulegają rozmyciu i tracisz możliwość precyzyjnego określenia, kiedy zaszła zmiana.

Krótkie okno odwraca ten kompromis. Działa jak precyzyjny stoper, ale rozmazana linijka częstotliwości. Może powiedzieć Ci niemal dokładnie, kiedy coś się stało, ale ma trudności z oddzieleniem częstotliwości, które leżą blisko siebie, ponieważ krótki wycinek sygnału po prostu nie zawiera wystarczającej liczby cykli oscylacji, aby zmierzyć częstotliwość ze szczegółami.

Jest to wersja zasady nieoznaczoności, która rządzi całą analizą czasowo-częstotliwościową: nie można osiągnąć idealnej rozdzielczości zarówno w czasie, jak i w częstotliwości w tym samym momencie. Poprawa jednego zawsze odbywa się kosztem drugiego. Zrozumienie tego kompromisu, a nie próba jego pokonania, jest kluczową umiejętnością podczas pracy z STFT.

Ponieważ różne rytmy EEG oscylują z bardzo różnymi prędkościami, żadna pojedyncza długość okna nie sprawdza się dobrze we wszystkich przypadkach. Poniższe wytyczne stanowią praktyczne wskazówki oparte na typowym zachowaniu tych rytmów:

• Fale Delta (około 0,5 do 4 Hz): Są to najwolniejsze rytmy mózgowe, a okno musi być wystarczająco długie, często w zakresie od 1 do 2 sekund, aby uchwycić co najmniej jeden pełny cykl najwolniejszej mierzonej fali. Krótsze okno po prostu nie będzie zawierało wystarczającej części fali, aby ją scharakteryzować.

• Rytmy theta i alpha (około 4 do 13 Hz): Okno pośrednie, często około 500 milisekund, pozwala uzyskać rozsądny kompromis. Jest wystarczająco długie, aby uchwycić kilka cykli oscylacji, co pomaga wyraźnie zdefiniować rytm, a jednocześnie wystarczająco krótkie, aby śledzić istotne zmiany, takie jak pojawienie się fal alfa po zamknięciu oczu.

• Rytmy beta i gamma (powyżej około 13 Hz): Te szybsze rytmy zmieniają się dynamicznie, więc krótkie okno, często 250 milisekund lub mniej, staje się niezbędne do śledzenia ich szybkiej dynamiki. Kosztem jest tutaj zmniejszona zdolność do precyzyjnego rozróżniania blisko położonych częstotliwości w wyższym zakresie gamma, co jest bezpośrednią konsekwencją opisanego wyżej kompromisu.

Jak STFT ujawnia różnice między ruchem rzeczywistym a wyobrażonym

Praktyczna wartość STFT staje się najbardziej widoczna w badaniach nad interfejsami mózg-komputer (BCI), gdzie celem jest bezpośrednie tłumaczenie aktywności mózgu na sygnały sterujące urządzeniem.

Dobrze przeanalizowany przykład obejmuje porównanie EEG zarejestrowanego podczas wyobrażania sobie ruchu ręki z EEG zarejestrowanym podczas wyobrażania sobie ruchu stopy lub porównanie wyobrażonych działań z rzeczywistą fizyczną wersją tego działania.

In tym paradygmatach związanych z motoryką, wspólnym celem analizy jest zjawisko zwane desynchronizacją związaną ze zdarzeniem, czyli ERD – spadek mocy sygnału w zakresach rytmu mi i beta w obszarach mózgu związanych z ruchem. Ponieważ ERD jest specyficznym, powiązanym czasowo spadkiem mocy, a nie stałym tłem, jest to dokładnie taki rodzaj zdarzenia, który podsumowanie częstotliwości z całego nagrania by wymazało, a który może uchwycić spektrogram o wysokiej rozdzielczości czasowej.

Badanie naukowe autorstwa Zabidi i in., w którym zastosowano STFT bezpośrednio do tego zagadnienia, analizowało sygnał EEG zebrany podczas rzeczywistego pisania odręcznego oraz podczas wyobrażania sobie pisania. Sygnał został najpierw przepuszczony przez filtr pasmowo-przepustowy ograniczający analizę do zakresu od 8 do 30 Hz, obejmującego rytmy alfa i beta najbardziej istotne dla aktywności ruchowej, zanim obliczono STFT ze skorygowanym oknem Hamminga.

Rezultatem było bezpośrednie, konkretne odkrycie: „składowe częstotliwościowe sygnałów EEG uzyskanych podczas pisania są takie same, jak te uzyskane podczas wyobrażonego pisania”.

W kategoriach praktycznych, elektryczny wzorzec rytmu mózgu podczas wyobrażonego działania ściśle przypominał wzorzec podczas rzeczywistego fizycznego działania. Ta korelacja leży u podstaw większości założeń systemów BCI, które mają na celu wykrywanie zamierzonego ruchu bez konieczności wykonywania jakichkolwiek rzeczywistych ruchów fizycznych.

Wykorzystanie STFT do tworzenia obrazów dla modeli uczenia głębokiego

Poza wizualną oceną, spektrogramy generowane przez STFT znalazły drugie życie jako krok wstępnego przetwarzania danych wprowadzanych do systemów uczenia głębokiego, a w szczególności do konwolucyjnych sieci neuronowych (CNN) – typu modeli stworzonych pierwotnie do rozpoznawania wzorców na obrazach. Ponieważ spektrogram jest zasadniczo kolorowym obrazem pokazującym moc w czasie i częstotliwości, badacze uważają, że można go przekazać bezpośrednio do modelu uczenia głębokiego opartego na obrazach, który może następnie wykryć ukrytą strukturę w danych, trudną do ręcznego zdefiniowania.

Jedno ze badań z 2019 roku przekształciło nagrania EEG z zadania wyobraźni ruchowej, odróżniającego ruch prawej ręki od ruchu prawej stopy, w obrazy przy użyciu zarówno STFT, jak i alternatywnego podejścia czasowo-częstotliwościowego, a następnie wprowadziło oba zestępy obrazów do wstępnie wytrenowanej architektury CNN.

Wydajność obu podejść była wysoka, a cały proces osiągnął dokładność klasyfikacji na poziomie 99.35%, opisaną jako najlepszy wynik wśród istniejących porównywalnych metod. Jednakże, gdy te dwie metody generowania obrazu porównano bezpośrednio ze sobą w tym samym badaniu, wyniki nie były równe: „podejście CWT daje lepsze wyniki niż podejście STFT”, co wskazuje na rzeczywisty, mierzalny kompromis w tym, jak wiernie każda z metod przełożyła leżący u podstaw sygnał EEG na użyteczny obraz.

Ten kompromis był rzekomo problemem motywującym oddzielne prace metodologiczne. Badacze stworzyli to, co nazwali zakotwiczonym STFT (anchored-STFT), opisanym jako „zaawansowana wersja STFT, ponieważ minimalizuje kompromis między rozdzielczością czasową a widmową prezentowany przez STFT”.

W połączeniu z metodą generatywnej augmentacji danych (adversarial data augmentation), ten ulepszony proces przyniósł dokładności klasyfikacji w zakresie od około 69% do ponad 90% na kilku zbiorach danych BCI, co potwierdza, że zwykły STFT może służyć jako naprawdę przydatne narzędzie do ekstrakcji cech, ale takie, którego znane ograniczenia rozdzielczości pozostawiają miejsce na ulepszenia – czy to poprzez dostrajanie parametrów, ulepszoną wersję samej techniki, czy też zupełnie inne podejście czasowo-częstotliwościowe.

Kiedy STFT zawodzi: Problem stałej rozdzielczości

Omówiony powyżej kompromis jest głównym ograniczeniem, które każdy badacz korzystający z STFT musi krytycznie ocenić przed wyciągnięciem wniosków ze spektrogramu.

Po wybraniu długości okna, powiedzmy 500 milisekund, to samo okno jest stosowane jednolicie w całym analizowanym spektrum częstotliwości, bez względu na to, czy badacz patrzy na powolną aktywność delta 2 Hz, czy szybką aktywność gamma 100 Hz. Okno nie dostosowuje się samo. Opisany wcześniej kompromis czasowo-częstotliwościowy jest zablokowany na jednym ustawieniu dla całej analizy, mimo że różne rytmy idealnie skorzystałyby na różnych ustawieniach.

Ta stała natura jest dokładnie tym, co odróżnia STFT od kategorii technik adaptacyjnych, takich jak metody oparte na falkach. Zamiast blokować jeden rozmiar okna dla każdej częstotliwości, metody adaptacyjne skutecznie stosują dłuższe okna dla niższych częstotliwości i krótsze okna dla wyższych częstotliwości, dostosowując rozdzielczość w miarę potrzeb w ramach jednej analizy, zamiast decydować się na jeden kompromis dla całego sygnału.

Na przykład badanie kierowane przez Wanga i in., w którym opracowano adaptacyjną metodę czasowo-częstotliwościową, wykazało, że jej podejście „może zapewnić optymalną rozdzielczość czasowo-częstotliwościową w porównaniu do STFT i CWT”, jawnie wskazując STFT jako punkt odniesienia, który został przewyższony.

W osobnym zastosowaniu klinicznym mającym na celu przewidywanie wyników leczenia przeciwdepresyjnego w ciężkiej depresji na podstawie danych EEG sprzed leczenia, badacze porównali podejście oparte na falkach bezpośrednio z STFT i inną metodą dekompozycji i donieśli, że „analiza WT wykazała najwyższą dokładność klasyfikacji” wśród porównywanych technik, osiągając dokładność 87.5% w porównaniu z alternatywami.

Krok po kroku: Schemat generowania i oceny spektrogramu EEG

Biorąc pod uwagę te mocne strony i ograniczenia, zdyscyplinowany proces pracy pomaga upewnić się, że STFT jest stosowane właściwie, a jego wyniki interpretowane uczciwie.

Krok 1: Zdefiniuj pytanie przed dotknięciem danych. Czy celem jest wykrycie szybkiego, krótkiego rozbłysku gamma, czy też śledzenie powolnego dryfu mocy delta na przestrzeni minut? Odpowiedź określa, który koniec kompromisu dotyczącego długości okna ma największe znaczenie.

Krok 2: Wybierz początkową długość okna dopasowaną do docelowego rytmu. Użyj powyższych praktycznych wskazówek jako punktu wyjścia: dłuższe okna dla delta, średnie dla theta i alfa, krótsze dla beta i gamma. Połącz to ze schematem nakładających się okien, zazwyczaj od 50% do 90% zakładki między kolejnymi oknami, co wygładza wynikowy spektrogram i zmniejsza widoczność sztucznych przerw między oknami czasowymi.

Krok 3: Wygeneruj spektrogram i krytycznie go oceń. Czy wybrana długość okna pokazuje wyraźny, ostry początek interesującego nas szybkiego rytmu, czy też zdarzenie wygląda na rozmyte w czasie bardziej niż powinno? Czy spektrogram potrafi wyraźnie odróżnić szczyt alfa od sąsiedniego szczytu theta, czy też oba te rytmy zlewają się ze sobą? Te wizualne testy są bezpośrednim, praktycznym sprawdzianem, czy wybrana długość okna była odpowiednia dla danych.

Krok 4: Traktuj wynik jako jedno ze spojrzeń, a nie ostateczny werdykt. Negatywny wynik, taki jak brak mierzalnej różnicy gamma między dwiema grupami doświadczalnymi, może odzwierciedlać rzeczywisty brak efektu lub po prostu ograniczenia rozdzielczości wybranego okna STFT. Rozsądnym kolejnym krokiem w celu potwierdzenia niejednoznacznego lub ważnego odkrycia jest ponowna analiza tych samych danych przy użyciu metody adaptacyjnej jako weryfikacji krzyżowej.

Dlaczego śledzenie momentów aktywności rytmów mózgowych otwiera nowe Insight-y

Aktywność mózgu to sekwencja zdarzeń osadzonych w czasie, a odzyskanie tych informacji czasowych zamienia płaskie nagranie w relację w czasie rzeczywistym z przesunięć stanów mentalnych. Przechodząc od pojedynczego podsumowania częstotliwości do mapy tworzonej z chwili na chwilę, badacze mogą powiązać konkretne myśli, intencje lub odczucia bezpośrednio z towarzyszącymi im rytmami mózgowymi. To właśnie to przejście przekształca EEG ze statycznego pomiaru w narzędzie, które może wspierać interfejsy mózg-komputer i zasilać modele uczenia głębokiego, które uczą się rozpoznawać wzorce mentalne.

Kompromis stałej rozdzielczości tej metody niesie ze sobą szerszą lekcję: każdy wybór analityczny uwypukla pewne prawdy, potencjalnie zamazując inne, więc żaden pojedynczy wynik nie opowiada całej historii. Wymaga to krzyżowej weryfikacji z innymi podejściami, gdy wyniki mają duże znaczenie, i potwierdza, że wzorce elektryczne mózgu – takie jak bliskie podobieństwo obserwowane między ruchem wyobrażonym a rzeczywistym – są głęboko wielowarstwowe. To leżące u podstaw podobieństwo wspiera pogląd, że mózg ćwiczy działania przy użyciu wielu tych samych sygnatur rytmicznych, których używa do ich wykonywania.

Bibliografia

1. Zabidi, A., Mansor, W., Lee, Y. K., & Fadzal, C. C. W. (2012, September). Short-time Fourier Transform analysis of EEG signal generated during imagined writing. In 2012 international conference on system engineering and technology (ICSET) (pp. 1-4). IEEE. https://doi.org/10.1109/ICSEngT.2012.6339284

2. Chaudhary, S., Taran, S., Bajaj, V., & Sengur, A. (2019). Convolutional neural network based approach towards motor imagery tasks EEG signals classification. IEEE Sensors Journal, 19(12), 4494-4500. https://doi.org/10.1109/JSEN.2019.2899645

3. Ali, O., Saif-ur-Rehman, M., Dyck, S., Glasmachers, T., Iossifidis, I., & Klaes, C. (2022). Enhancing the decoding accuracy of EEG signals by the introduction of anchored-STFT and adversarial data augmentation method. Scientific reports, 12(1), 4245. https://doi.org/10.1038/s41598-022-07992-w

4. Wang, Y., Veluvolu, K. C., & Lee, M. (2013). Time-frequency analysis of band-limited EEG with BMFLC and Kalman filter for BCI applications. Journal of neuroengineering and rehabilitation, 10, 109. https://doi.org/10.1186/1743-0003-10-109

5. Mumtaz, W., Xia, L., Yasin, M. A. M., Ali, S. S. A., & Malik, A. S. (2017). A wavelet-based technique to predict treatment outcome for Major Depressive Disorder. PloS one, 12(2), e0171409-e0171409. https://doi.org/10.1371/journal.pone.0171409

Często zadawane pytania

Czym jest krótkoczasowa transformacja Fouriera w analizie EEG?

Krótkoczasowa transformacja Fouriera (STFT) dzieli surowy sygnał EEG na krótkie, kolejne okna czasowe i oblicza widmo częstotliwości dla każdego z nich. Nałożenie tych migawek w odpowiedniej kolejności tworzy ruchomy obraz, zwany spektrogramem, który pokazuje, jak moc poszczególnych rytmów mózgowych zmienia się z chwili na chwilę.

Dlaczego nie mogę po prostu użyć zwykłej transformacji Fouriera w nagraniu EEG?

Zwykła transformacja Fouriera rozbija całe nagranie na poszczególne składowe częstotliwości, ale wymazuje wszelkie informacje o czasie, więc wiesz, jakie rytmy były ogólnie obecne, ale nie wiesz, kiedy się pojawiły. STFT odzyskuje te informacje o czasie, analizując osobno krótkie segmenty, co pozwala zobaczyć, kiedy faktycznie nastąpił wzrost aktywności alfa lub spadek mocy beta.

Co pokazuje spektrogram?

Spektrogram to wizualna mapa z czasem na jednej osi i częstotliwością na drugiej, na której kolor lub jasność reprezentują moc każdej częstotliwości w danym momencie. Przekształca on EEG z płaskiego podsumowania w coś na kształt zapisu nutowego aktywności elektrycznej mózgu.

Dlaczego długość okna ma tak duże znaczenie?

Dłuższe okna dają precyzyjne informacje o częstotliwości, ale zamazują dokładny czas zdarzeń, podczas gdy krótsze okna dokładnie określają czas, ale zamazują blisko położone częstotliwości. Ten nieunikniony kompromis oznacza, że wybór długości okna bezpośrednio kształtuje to, co spektrogram może ujawnić, a co ukryje.

Jakie długości okien są dobrym punktem wyjścia dla różnych rytmów mózgowych?

W przypadku bardzo wolnych rytmów delta potrzebne jest dłuższe okno, wynoszące od jednej do dwóch sekund, aby uchwycić pełne cykle. W przypadku rytmów theta i alfa dobrze sprawdza się okno o długości około pół sekundy, a szybsze rytmy beta i gamma wymagają krótszych okien, wynoszących około jednej czwartej sekundy lub mniej, aby śledzić ich szybkie zmiany.

W jaki sposób STFT może ujawnić podobieństwa między ruchem rzeczywistym a wyobrażonym?

STFT rejestruje powiązane czasowo spadki mocy, zwane desynchronizacją związaną ze zdarzeniem, w pasmach mi i beta, które występują zarówno u osoby wykonującej ruch, jak i wyobrażającej go sobie. Spektrogramy rzeczywistych i wyobrażonych zadań ruchowych mogą pokazywać niemal identyczne wzorce częstotliwości, co wspiera działanie interfejsów mózg-komputer.

Czy STFT może być używane z modelami uczenia głębokiego?

Tak, obrazy spektrogramów generowane przez STFT mogą być wprowadzane bezpośrednio do konwolucyjnych sieci neuronowych zaprojektowanych do rozpoznawania obrazów. Modele te mogą uczyć się odróżniać stany mózgu na podstawie wzorców czasowo-częstotliwościowych, często osiągając bardzo wysoką dokładność klasyfikacji w zadaniach takich jak wykrywanie wyobrażeń ruchowych.

Jakie jest główne ograniczenie STFT w porównaniu z innymi metodami czasowo-częstotliwościowymi?

STFT narzuca jeden rozmiar okna dla wszystkich częstotliwości, co oznacza, że nie może zapewnić jednocześnie szczegółowości czasowej dla szybkich impulsów i szczegółowości częstotliwościowej dla powolnych fal. Techniki adaptacyjne, takie jak falki, zmieniają efektywną długość okna w zależności od częstotliwości, co w bezpośrednich porównaniach często prowadzi do lepszej rozdzielczości i wyższej dokładności klasyfikacji.

Jak krok po kroku podejść do optymalnego zastosowania STFT do danych EEG?

Zacznij od dopasowania początkowej długości okna do interesującego Cię rytmu, użyj nakładających się okien, aby wygładzić spektrogram, i sprawdź wynik, aby ocenić, czy zdarzenia wyglądają na precyzyjnie osadzone w czasie czy rozmyte. Jeśli odkrycie jest kluczowe, rozważ weryfikację krzyżową danych metodą adaptacyjną, ponieważ pojedyncze ustawienie STFT może faworyzować tylko jeden typ rozdzielczości.