התמרת פורייה בסיסית, הכלי המתמטי הקלאסי לפירוק אות לתדרי הרכיבים שלו, יכולה לגלות לכם אילו מקצבי מוח היו נוכחים בנקודה כלשהי לאורך הקלטה שלמה. מה שהיא אינה יכולה לגלות לכם הוא מתי הם התרחשו. התפרצות קצרה של פעילות אלפא המופיעה ברגע שמישהו עוצם את עיניו היא אירוע משמעותי, נעול-זמן.
כאשר היא ממוצעת לתוך סיכום תדרים יחיד המשתרע על פני הקלטה של עשר דקות, התפרצות זו הופכת לנתון סטטיסטי, שאינו ניתן להבחנה מרעש רקע. שחזור התזמון של אירועים אלו הוא נקודת המוצא לכל מחקר EEG רציני, וזוהי בדיוק הבעיה שהתמרת פורייה קצרת-זמן (STFT) נבנתה לפתור.
הבעיה עם התמרת פורייה הסטנדרטית
התמרת פורייה הסטנדרטית היא עמוד תווך של עיבוד אותות קלאסי מכיוון שהיא מפרקת ביעילות אותות מורכבים לסכום של סינוסואידים טהורים. על ידי אינטגרציה לאורך זמן אינסופי, היא חושפת את כלל תכולת התדר הקיימת בהקלטה.
עם זאת, שיטה זו מניחה שהאות הוא סטציונרי; אם הרכב התדר משתנה לאורך זמן, הפלט הטיפוסי מטשטש את הרצף הזמני. מגבלה זו הופכת את זה לבלתי אפשרי להבחין בין אירוע קצר ומתפרץ לבין הרמוניה מתמשכת, דבר שהוא חיוני בתחומים כמו מדעי המוח.
מהי התמרת פורייה קצרת-זמן בניתוח אלקטרואנצפלוגרם (EEG)
ה-STFT ניגש לבעיית התזמון באמצעות אסטרטגיה ישירה למדי. במקום להריץ התמרת פורייה על הקלטה שלמה של EEG בבת אחת, הוא פורס את האות למקטעים קצרים ועוקבים, המכונים לעתים קרובות חלונות, ומחיל את התמרת הפורייה בנפרד על כל אחד מהם. כל חלון מייצר תמונת מצב תדר זעירה משלו, וחיבור תמונות מצב אלו ברצף יוצר תמונה נעה של האופן שבו תכולת התדר משתנה לאורך זמן.
הפלט של תהליך זה מוצג בדרך כלל כספקטרוגרמה, מפה חזותית שבה הזמן נע לאורך ציר אחד והתדר לאורך הציר השני. הצבע או העוצמה בכל נקודה נתונה במפה זו מייצגים את ההספק, או החוזק, של אותו תדר באותו רגע. זהו בדיוק הערך שניתוח STFT נועד לספק.
כפי שמנסחים זאת Zabidi וחבריהם, ניתוח STFT פועל כדי "לחשוף את תכולת התדר של אותות ה-EEG בכל נקודת זמן".
מדוע אורך החלון הוא ההגדרה החשובה ביותר ב-STFT
חיתוך אות לחלונות נשמע פשוט, אך האורך שנבחר עבור כל חלון קובע כמעט הכל לגבי האיכות והאמינות של הספקטרוגרמה המתקבלת. החלטה זו כרוכה בפשרה שאי אפשר להימנע ממנה, אלא רק לנהל אותה.
חשבו על זה כך: חלון ארוך פועל כמו סרגל תדרים מדויק אך כמו שעון עצר מטושטש. מכיוון שהוא מכיל יותר נקודות נתונים, חלון ארוך יכול להבחין בין תדרים קרובים ברמת דיוק אמיתית. אך מכיוון שהוא נמתח על פני טווח זמן ארוך יותר, כל אירוע המתרחש בתוך החלון הזה נמרח, ואתם מאבדים את היכולת להצביע בדיוק מתי משהו השתנה.
חלון קצר הופך את הפשרה הזו. הוא פועל כמו שעון עצר מדויק אך כמו סרגל תדרים מטושטש. הוא יכול להגיד לכם כמעט בדיוק מתי משהו קרה, אך הוא מתקשה להפריד בין תדרים שנמצאים קרוב זה לזה, מכיוון שפלח קצר של אות פשוט אינו מכיל מספיק מחזורי תנודה כדי למדוד תדר בפירוט עדין.
זוהי גרסה של עקרון אי-הוודאות השולט בכל ניתוח זמן-תדר: אינכם יכולים להשיג רזולוציה מושלמת הן בזמן והן בתדר באותו הרגע. שיפור של האחד תמיד בא על חשבון השני. זיהוי הפשרה הזו, במקום ניסיון להביס אותה, הוא המיומנות הבסיסית של עבודה עם STFT.
מכיוון שמקצבי EEG שונים מתנודדים במהירויות שונות מאוד, אין אורך חלון יחיד שמתאים היטב לכולם. ההנחיות הבאות הן יוריסטיקות מעשיות ראשוניות השאובות מהאופן שבו מקצבים אלה מתנהגים בדרך כלל:
גלי דלתא (בערך 0.5 עד 4 הרץ): אלו הם מקצבי המוח האיטיים ביותר, וחלון צריך להיות ארוך מספיק, לרוב בטווח של 1 עד 2 שניות, כדי ללכוד לפחות מחזור שלם אחד של הגל האיטי ביותר שנמדד. חלון קצר יותר פשוט לא יכיל מספיק מהגל כדי לאפיין אותו.
מקצבי תטא ואלפא (בערך 4 עד 13 הרץ): חלון ביניים, לרוב סביב 500 מילי-שניות, נוטה ליצור איזון מעשי. הוא ארוך מספיק כדי ללכוד מספר מחזורי תנודה, מה שעוזר להגדיר את המקצב בבירור, בעודו קצר מספיק כדי לעקוב אחר שינויים משמעותיים, כגון תחילתה של התפרצות אלפא כאשר העיניים נעצמות.
מקצבי בטא וגמא (מעל כ-13 הרץ): מקצבים מהירים אלה נעים במהירות, ולכן חלון קצר, לרוב של 250 מילי-שניות או פחות, הופך לנחוץ כדי לעקוב אחר הדינמיקה המהירה שלהם. המחיר כאן הוא יכולת מופחתת להבחין במדויק בין תדרים קרובים בטווח הגמא הגבוה יותר, תוצאה ישירה של אותה פשרה שתוארה לעיל.
כיצד STFT חושף הבדלים בין תנועה אמיתית למדומינת
הערך המעשי של STFT הופך לברור ביותר במחקרי ממשק מוח-מחשב (BCI), שבהם המטרה היא לתרגם את פעילות המוח ישירות לאותות בקרה עבור מכשיר.
דוגמה שנחקרה היטב כוללת השוואה של EEG שהוקלט בזמן שאדם מדמיין תנועת יד לעומת EEG שהוקלט בזמן שהוא מדמיין תנועת רגל, או השוואה של פעולות מדומיינות מול הגרסה הפיזית האמיתית של אותה פעולה.
בפרדיגמות מוטוריות אלו, יעד נפוץ לניתוח הוא תופעה הנקראת דה-סינכרוניזציה תלוית-אירוע, או ERD, ירידה בעוצמת האות בטווחי מקצב מו וביתא על פני אזורי המוח הקשורים לתנועה. מכיוון ש-ERD היא צניחה ספציפית ותלוית-זמן בעוצמה ולא תכונת רקע קבועה, היא בדיוק מסוג האירועים שסיכום תדרים של הקלטה שלמה היה מוחק ושספקטרוגרמה מוגדרת-זמן יכולה ללכוד.
המחקר של Zabidi וחבריהם, שיישם STFT ישירות על שאלה זו, בחן EEG שנאסף במהלך כתיבה בפועל ובמהלך כתיבה מדומיינת. האות הועבר תחילה דרך מסנן מעביר-פס המגביל את הניתוח לטווח של 8 עד 30 הרץ, המכסה את מקצבי האלפא והבטא הרלוונטיים ביותר לפעילות מוטורית, לפני שחושב ה-STFT עם חלון Hamming מכוונ.
התוצאה הייתה ממצא ישיר וספציפי: "רכיבי התדר של אותות ה-EEG שהתקבלו מכתיבה זהים לאלה שהתקבלו במהלך כתיבה מדומיינת".
במונחים מעשיים, תבנית מקצב החשמל של המוח במהלך פעולה מדומיינת דמתה מאוד לתבנית במהלך הפעולה הפיזית האמיתית, מתאם העומד בבסיס חלק גדול מההיגיון מאחורי מערכות BCI השואפות לזהות תנועה מיועדת ללא צורך בתנועה פיזית בפועל.
שימוש ב-STFT לבניית תמונות עבור מודלים של למידה עמוקה
מעבר לבחינה חזותית, ספקטרוגרמות המופקות על ידי STFT מצאו חיים שניים כשלב עיבוד מקדים המזין מערכות למידה עמוקה, ובמיוחד רשתות עצביות קונבולוציוניות (CNNs), סוג של מודל שנבנה במקור לזיהוי תבניות בתמונות. מכיוון שספקטרוגרמה היא בעצם תמונה צבעונית המציגה עוצמה לאורך זמן ותדר, חוקרים מאמינים כי ניתן להעביר אותה ישירות למודל למידה עמוקה מבוסס תמונה, אשר עשוי לאחר מכן לזהות מבנה נסתר בנתונים שקשה להגדיר ידנית.
מחקר אחד משנת 2019 הפך הקלטות EEG ממשימת דימות מוטורי, המבחינה בין תנועת יד ימין לתנועת רגל ימין, לתמונות באמצעות STFT וכן גישת זמן-תדר חלופית, ולאחר מכן הזין את שתי קבוצות התמונות לארכיטקטורת CNN מאומנת מראש.
הביצועים בשתי הגישות היו חזקים, כאשר הצינור הכולל הגיע לדיוק סיווג של 99.35%, שתואר כציון הטוב ביותר מבין השיטות הקיימות הניתנות להשוואה. עם זאת, כאשר שתי השיטות להפקת תמונות הושוו ישירות זו מול זו באותו מחקר, התוצאות לא היו שוות: "גישת ה-CWT מניבה תוצאות טובות יותר מגישת ה-STFT", מה שמצביע על פשרה אמיתית ונמדדת באופן שבו כל שיטה תרגמה באופן נאמן את אות ה-EEG הבסיסי לתמונה שמישה.
פשרה זו הייתה ככל הנראה הבעיה המניעה מאחורי פיתוח מתודולוגי נפרד. חוקרים בנו את מה שהם מכנים anchored-STFT, המתואר כ"גרסה מתקדמת של STFT, שכן היא ממזערת את הפשרה בין הרזולוציה הזמנית והספקטרלית שמציגה STFT".
בשילוב עם שיטת אוגמנטציית נתונים אדברסרית, צינור משופר זה הציג דיוקי סיווג שנעו בין כ-69% ליותר מ-90% על פני מספר מערכי נתונים של BCI, ובכך חיזק את הדפוס שלפיו STFT רגיל יכול לשמש ככלי חילוץ מאפיינים יעיל באמת, אך כזה שמגבלות הרזולוציה הידועות שלו מותירות מקום לשיפור, בין אם באמצעות כוונון פרמטרים, גרסה משופרת של הטכניקה עצמה, או גישת זמן-תדר שונה לחלוטין.
מתי STFT נכשל: בעיית הרזולוציה הקבועה
הפשרה שנדונה לעיל היא המגבלה המרכזית שכל חוקר המשתמש ב-STFT צריך לשקול באופן ביקורתי לפני הסקת מסקנות מספקטרוגרמה.
ברגע שנבחר אורך חלון, למשל 500 מילי-שניות, אותו חלון מוחל באופן אחיד על פני כל ספקטרום התדרים המנותח, בין אם החוקר מסתכל על פעילות דלתא איטית של 2 הרץ או על פעילות גמא מהירה של 100 הרץ. החלון אינו מתאים את עצמו. פשרת הזמן-תדר שתוארה קודם לכן נעולה בהגדרה יחידה לכל הניתוח, למרות שמקצבים שונים היו מרוויחים באופן אידיאלי מהגדרות שונות.
אופי קבוע זה הוא בדיוק מה שמפריד בין STFT לבין קטגוריה של טכניקות אדפטיביות, כגון שיטות מבוססות ווייבלט (wavelet). במקום לנעול גודל חלון אחד לכל תדר, שיטות אדפטיביות משתמשות בפועל בחלונות ארוכים יותר עבור תדרים נמוכים יותר ובחלונות קצרים יותר עבור תדרים גבוהים יותר, תוך התאמת הרזולוציה לפי הצורך בתוך ניתוח יחיד במקום להתחייב לפשרה אחת עבור האות כולו.
לדוגמה, מחקר בהובלת Wang וחבריהם שפיתח שיטת זמן-תדר אדפטיבית דיווח כי הגישה שלו "יכולה לספק רזולוציית זמן-תדר אופטימלית בהשוואה ל-STFT ו-CWT", תוך ציון מפורש של STFT כנקודת הייחוס שעליה התעלו.
ביישום קליני נפרד לניבוי תוצאות טיפול נוגד דיכאון בהפרעה דיכאונית מג׳ורית מנתוני EEG שלפני הטיפול, חוקרים השוו גישה מבוססת ווייבלט ישירות מול STFT ושיטת פירוק אחרת, ודיווחו כי "ניתוח ה-WT הראה את דיוק הסיווג הגבוה ביותר" מבין הטכניקות שהושוו, והגיע ל-87.5% דיוק בהשוואה לחלופות.
זרימת עבודה שלב אחר שלב להפקה והערכה של ספקטרוגרמת EEG
בהינתן חוזקות ומגבלות אלו, זרימת עבודה ממושמעת עוזרת להבטיח ש-STFT מיושם כראוי והפלט שלו מפורש באופן אמין.
שלב 1: הגדירו את השאלה לפני הנגיעה בנתונים. האם המטרה היא לזהות התפרצות גמא מהירה וקצרה, או לעקוב אחר סחיפה איטית בהספק דלתא לאורך דקות? התשובה קובעת איזה קצה של פשרת אורך החלון הוא החשוב ביותר.
שלב 2: בחרו אורך חלון ראשוני המותאם למקצב היעד. השתמשו בהנחיות המעשיות שלעיל כנקודת התחלה: חלונות ארוכים יותר עבור דלתא, חלונות ביניים עבור תטא ואלפא, חלונות קצרים יותר עבור בטא וגמא. שלבו זאת עם סכמת חלונות חופפים, לרוב איפשהו בין 50% ל-90% חפיפה בין חלונות עוקבים, מה שמחליק את הספקטרוגרמה המתקבלת ומפחית את המראה של מרווחים מלאכותיים בין פלחי זמן.
שלב 3: הפיקו את הספקטרוגרמה ובחנו אותה באופן ביקורתי. האם אורך החלון שנבחר מראה התחלה ברורה וחדה למקצב מהיר בעל עניין, או שהאירוע נראה מרוח על פני טווח זמן רחב יותר ממה שהוא אמור להיות? האם הספקטרוגרמה יכולה להבחין בבירור בין שיא אלפא לבין שיא תטא שכן, או ששני המקצבים זולגים זה לזה? בדיקות חזותיות אלו הן מבחן ישיר ומעשי לשאלה האם אורך החלון שנבחר היה מתאים לנתונים.
שלב 4: התייחסו לתוצאה כאל מבט אחד מתוך מספר מבטים אפשריים, ולא כאל פסק דין סופי. ממצא שלילי, כגון חוסר בהבדל גמא מדיד בין שתי קבוצות ניסוי, עשוי לשקף היעדר אמיתי של השפעה, או שהוא עשוי פשוט לשקף את מגבלות הרזולוציה של חלון ה-STFT הספציפי שנבחר. שלב הבא סביר לאישור ממצא מעורפל או חשוב הוא לנתח מחדש את אותם נתונים באמצעות שיטה אדפטיבית כבדיקה צולבת.
מדוע מעקב אחר תזמון הפעולה של מקצבי המוח פותח תובנות חדשות
פעילות המוח היא רצף של אירועים מתוזמנים, ושחזור התזמון הזה הופך הקלטה שטוחה לתיאור בזמן אמת של מצבים מנטליים משתנים. על ידי מעבר מסיכום תדר יחיד למפה של רגע אחר רגע, חוקרים יכולים לקשר מחשבות, כוונות או תחושות ספציפיות ישירות למקצבי המוח המלווים אותם. מעבר זה הוא מה שהופך את ה-EEG ממדידה סטטית לכלי שיכול לתמוך בממשקי מוח-מחשב ולהזין מודלים של למידה עמוקה הלומדים לזהות תבניות מנטליות.
פשרת הרזולוציה הקבועה של השיטה נושאת בחובה לקח רחב יותר: כל בחירה אנליטית מדגישה אמיתות מסוימות בעודה עשויה לטשטש אחרות, ולכן אף תוצאה יחידה אינה מספרת את הסיפור המלא. הדבר מצריך בדיקה צולבת עם גישות אחרות כאשר לממצאים יש חשיבות, והוא מחזק את העובדה שתבניות החשמל של המוח—כמו ההתאמה הצמודה שנראית בין תנועה מדומיינת לתנועה בפועל—הן בעלות רבדים עמוקים. דמיון בסיסי זה תומך ברעיון שהמוח עושה חזרות על פעולות תוך שימוש ברבים מאותם חתמי מקצב שבהם הוא משתמש כדי לבצע אותן.
מקורות
Zabidi, A., Mansor, W., Lee, Y. K., & Fadzal, C. C. W. (2012, September). Short-time Fourier Transform analysis of EEG signal generated during imagined writing. In 2012 international conference on system engineering and technology (ICSET) (pp. 1-4). IEEE. https://doi.org/10.1109/ICSEngT.2012.6339284
Chaudhary, S., Taran, S., Bajaj, V., & Sengur, A. (2019). Convolutional neural network based approach towards motor imagery tasks EEG signals classification. IEEE Sensors Journal, 19(12), 4494-4500. https://doi.org/10.1109/JSEN.2019.2899645
Ali, O., Saif-ur-Rehman, M., Dyck, S., Glasmachers, T., Iossifidis, I., & Klaes, C. (2022). Enhancing the decoding accuracy of EEG signals by the introduction of anchored-STFT and adversarial data augmentation method. Scientific reports, 12(1), 4245. https://doi.org/10.1038/s41598-022-07992-w
Wang, Y., Veluvolu, K. C., & Lee, M. (2013). Time-frequency analysis of band-limited EEG with BMFLC and Kalman filter for BCI applications. Journal of neuroengineering and rehabilitation, 10, 109. https://doi.org/10.1186/1743-0003-10-109
Mumtaz, W., Xia, L., Yasin, M. A. M., Ali, S. S. A., & Malik, A. S. (2017). A wavelet-based technique to predict treatment outcome for Major Depressive Disorder. PloS one, 12(2), e0171409-e0171409. https://doi.org/10.1371/journal.pone.0171409
שאלות נפוצות
מהי התמרת פורייה קצרת-זמן בניתוח EEG?
התמרת פורייה קצרת-זמן (STFT) פורסת את אות ה-EEG הגולמי לחלונות זמן קצרים ועוקבים ומחשבת ספקטרום תדרים עבור כל אחד מהם. ערמת תמונות מצב אלו לפי הסדר יוצרת תמונה נעה, הנקראת ספקטרוגרמה, שמראה כיצד העוצמה של מקצבי מוח שונים משתנה מרגע לרגע.
מדוע איני יכול פשוט להשתמש בהתמרת פורייה רגילה על הקלטת EEG?
התמרת פורייה בסיסית מפרקת את ההקלטה כולה לתדרי הרכיבים שלה אך מוחקת את כל מידע התזמון, כך שאתם יודעים אילו מקצבים היו קיימים באופן כללי אך לא מתי הם הופיעו. ה-STFT משחזר את התזמון הזה על ידי ניתוח מקטעים קצרים בנפרד, ומאפשר לכם לראות מתי התרחשה בפועל התפרצות של אלפא או צניחה בעוצמת הבטא.
מה מציגה ספקטרוגרמה?
ספקטרוגרמה היא מפה חזותית שבה הזמן נמצא על ציר אחד, התדר על הציר השני, והצבע או הבהירות מייצגים את העוצמה של כל תדר באותו רגע. היא הופכת את ה-EEG מסיכום שטוח למשהו הדומה לתווים מוזיקליים של פעילות החשמל של המוח.
מדוע אורך החלון משנה כל כך?
חלונות ארוכים יותר נותנים מידע תדרים מדויק אך מטשטשים את התזמון המדויק של אירועים, בעוד שחלונות קצרים יותר מצביעים היטב על התזמון אך מטשטשים תדרים קרובים זה לזה. פשרה בלתי נמנעת זו פירושה שבחירת אורך החלון מעצבת ישירות את מה שספקטרוגרמה יכולה לחשוף ואת מה שהיא תסתיר.
אילו אורכי חלון הם נקודת התחלה טובה עבור מקצבי מוח שונים?
עבור מקצבי דלתא איטיים מאוד, נדרש חלון ארוך יותר של כשנייה עד שתיים כדי ללכוד מחזורים מלאים. מקצבי תטא ואלפא זוכים לרוב למענה טוב על ידי חלון של כחצי שנייה, ומקצבי בטא וגמא מהירים יותר דורשים חלונות קצרים יותר של כרבע שנייה או פחות כדי לעקוב אחר השינויים המהירים שלהם.
כיצד STFT יכול לחשוף דמיון בין תנועה אמיתית למדומיינת?
STFT לוכד ירידות בעוצמה תלויות-אירוע הנקראות דה-סינכרוניזציה תלוית-אירוע ברצועות מו ובטא, המתרחשות הן כאשר אדם זז והן כאשר הוא מדמיין מנטלית את אותה תנועה. ספקטרוגרמות של משימות מוטוריות אמיתיות ומדומיינות יכולות להציג תבניות תדר וכמעט זהות, מה שמתקף את ההיגיון של ממשקי מוח-מחשב.
האם ניתן להשתמש ב-STFT עם מודלים של למידה עמוקה?
כן, ניתן להזין את תמונות הספקטרוגרמה המופקות על ידי STFT ישירות לרשתות עצביות קונבולוציוניות המיועדות לזיהוי תמונות. מודלים אלו יכולים ללמוד להבחין בין מצבי מוח מתוך תבניות הזמן-תדר, ולעתים קרובות להשיג דיוק סיווג גבוה מאוד במשימות כמו זיהוי דימות מוטורי.
מהי המגבלה העיקרית של STFT בהשוואה לשיטות זמן-תדר אחרות?
STFT נועל גודל חלון יחיד לכל התדרים, מה שאומר שהוא אינו יכול לתת גם פרטי זמן חדים עבור התפרצויות מהירות וגם פרטי תדר עדינים עבור גלים איטיים באותו הזמן. טכניקות אדפטיביות כגון ווייבלטים משנות את אורך החלון האפקטיבי בהתאם לתדר, מה שמוביל לעתים קרובות לרזולוציה טובה יותר ולביצועי סיווג גבוהים יותר בהשוואות ישירות.
מהי גישה טובה שלב אחר שלב בעת שימוש ב-STFT על נתוני EEG?
התחילו על ידי התאמת אורך חלון ראשוני למקצב שאכפת לכם ממנו, השתמשו בחלונות חופפים כדי להחליק את הספקטרוגרמה, ובחנו את התוצאה כדי לראות אם האירועים נראים מתוזמנים בחדות או מרוחים. אם הממצא הוא קריטי, שקלו לבצע בדיקה צולבת של הנתונים באמצעות שיטה אדפטיבית, מכיוון שהגדרת STFT יחידה עשויה להעדיף רק סוג אחד של רזולוציה.
Emotiv היא מובילה בתחום הנוירוטכנולוגיה המסייעת לקדם מחקר במדעי המוח באמצעות כלי EEG נגישים וכלי נתוני מוח.
כריסטיאן בורגוס
