ספקטרוגרמה
ספקטרוגרמה היא ייצוג חזותי של ספקטרום התדרים של האות והשתנותו עם הזמן. כאשר מדובר באות אודיו, ספקטרוגרמה נקראת לעיתים סונוגרפיה, טביעת-קול (על משקל "טביעת אצבע") או קולגרמה. בייצוג תלת-ממדי אפשר שתיקרא "תרשים מפל מים".
ספקטרוגרמות נמצאות בשימוש נרחב במוזיקה, בבלשנות, בסונאר, במכ"ם, בעיבוד דיבור,[1] בסייסמולוגיה ועוד. אפשר להשתמש בספקטרוגרמות אודיו לזיהוי פונטי של מילים מדוברות, ולניתוח קריאות של בעלי חיים.
את הספקטרוגרמה אפשר ליצור באמצעות ספקטרומטר אופטי, סדרה של מסנני תדרים, התמרת פורייה או התמרת Wavelet (ואז היא ידועה גם כסקאלוגרמה).[2]
ספקטרוגרמה מתוארת לרוב כמפת חום, כלומר כתמונה שבה הגודל מיוצג על ידי שינוי צבע או בהירות.
תבנית
תבנית שכיחה היא גרף שבו שני ממדים גאומטריים מייצגים זמן ותדר והמימד השלישי מציין את המשרעת (Amplitude) של תדר מסוים בזמן מסוים. המשרעת מיוצגת על ידי הבהירות או הצבע של הנקודה.
ישנן לתבנית וריאציות רבות: הציר האנכי והציר האופקי לעיתים מוחלפים, כך שהזמן הוא בציר האנכי. אפשר להשתמש בתרשים מפל מים שבו המשרעת מיוצגת על ידי גובהו של משטח תלת־ממדי ולא צבע או בהירות. צירי התדירות והמשרעת יכולים להיות ליניאריים או לוגריתמיים, לפי הצורך. אודיו יוצג לרוב עם ציר משרעת לוגריתמי (לרוב בדציבלים, או dB), והתדר יהיה ליניארי כדי להדגיש יחסים הרמוניים, או לוגריתמי כדי להדגיש קשרים מוזיקליים וטונליים. ספקטרוגרמה נותנת ביטוי חזותי מובחן לאלמנטים שונים בצליל כגון הרמוניות בכפולות שלמות של תדר יסוד, חזרה על צליל, גובה הצליל או עוצמתו.
יצירת ספקטרוגרמה
אפשר ליצור ספקטרוגרמות אור במישרין על ידי קריאות של ספקטרומטר אופטי, במשך זמן מסוים.
אפשר ליצור ספקטרוגרמות מאותות על ציר זמן באחת משתי דרכים: קירוב על ידי סדרה של מסנני תדרים (זו הייתה הדרך היחידה לפני עידן עיבוד האותות הדיגיטלי המודרני), או חישוב באמצעות התמרת פורייה. שתי השיטות יוצרות ייצוגי זמן-תדר שונים, אך שקולים בתנאים מסוימים.
שיטת מסנני התדרים מתבססת לרוב על עיבוד אנלוגי כדי לחלק את אות הקלט לפסי תדר; גודל ערכי הפלט של כל מסנן שולט במתמר שכותב את הספקטרוגרמה כתמונה על נייר.[3]
יצירת ספקטרוגרמה באמצעות FFT מתבססת על חלוקת ציר הזמן לקטעים, לרוב עם חפיפה ביניהם. על כל קטע אפשר להפעיל פונקציית חלון. עבור כל קטע, המשרעות של התדרים בספקטרום מחושבות על ידי התמרת פורייה ומיוצגות כקו אנכי. הקווים האנכיים, מוצבים זה לצד זה ויוצרים תמונה או משטח תלת־ממדי, על פי תבנית ההצגה שנבחרה.[4]
מגבלות וסינתזה מחדש
הספקטרוגרמה אינה מכילה מידע מלא על הפאזה של האות המיוצג. מסיבה זו, יצירת הספקטרוגרמה אינה הפיכה ולא ניתן לשחזר ממנה את האות המקורי. בספקטרוגרמה קיים מידע פאזה מסוים, אך הוא מופיע בצורת השהיית זמן (או השהיית קבוצה ).[5] במצבים בהם הפאזה המדויקת אינה חשובה, ייתכן וניתן לחשב קירוב שימושי של האות המקורי. ספקטרוגרף הצליל של אנליזה וסינתזה מחדש[6] הוא דוגמה לתוכנית מחשב שמנסה לעשות זאת. ה-Pattern Playback היה סינתיסייזר דיבור מוקדם, שתוכנן במעבדות Haskins בסוף שנות ה-40, שהמיר ספקטרוגרמות בחזרה לצליל.
גודל של קטע, או חלון, יכול להיות בטווח רחב של ערכים. חלון קצר יותר, ייתן תוצאות מדויקות יותר על ציר הזמן, על חשבון הדיוק בתדר, ולהפך. בחירת גודל הקטע, או החלון, מהווה פשרה בין דיוק בזמן לדיוק בתדר.
יישומים
- ספקטרוגרמות אנלוגיות מוקדמות יושמו בתחומים רבים כולל חקר קריאות ציפורים (כגון זו של ירגזי מצוי), והמחקר נמשך כיום עם ציוד דיגיטלי מודרני[7] ועוסק בקולות כל בעלי החיים. במחקר העכשווי הספקטרוגרמה הדיגיטלית שימושית במיוחד לחקר אפנון תדר (FM) בקריאות של בעלי חיים. בפרט, המאפיינים המובחנים של ציוצי FM, קליקים בפס רחב ויצירת הרמוניה חברתית מוצגים חזותית בצורה הנוחה ביותר באמצעות ספקטרוגרמה.
- ספקטרוגרמות שימושיות בסיוע בהתגברות על ליקויים בדיבור ובאימון דיבור לסובלים מחרשות קשה.[8]
- מחקרים של פונטיקה וסינתזת דיבור מתאפשרים באופן תדיר באמצעות ספקטרוגרמות.[9][10]
- בסינתזת דיבור על בסיס למידה עמוקה, ספקטרוגרמה (או ספקטרוגרמה בסולם mel ) נחזית תחילה על ידי מודל seq2seq, ולאחר מכן מוזנת למקודד דיבור עצבי (neural vocoder) כדי להפיק את הגל הגולמי המסונתז.
- על ידי היפוך תהליך יצירת ספקטרוגרמה, ניתן לייצר אות שהספקטרוגרמה שלו היא תמונה שרירותית. טכניקה זו מאפשרת להסתיר תמונה בקטע אודיו ומספר אמני מוזיקה אלקטרונית עשו בה שימוש.[11] ראה גם סטגנוגרפיה.
- מקצת מהמוזיקה המודרנית נוצרת באמצעות ספקטרוגרמות כמדיום ביניים; שינוי עוצמת תדרים שונים לאורך זמן, או אפילו יצירת תדרים חדשים, על ידי ציורם ולאחר מכן היפוך הספקטרוגרמה. ראה Audio timescale-pitch modification ו-Pase vocoder.
- ניתן להשתמש בספקטרוגרמות לניתוח התוצאות של העברת אות בדיקה דרך מעבד אותות, כגון מסנן, כדי לבדוק את ביצועיו.[12]
- ספקטרוגרמות בחדות גבוהה משמשות בפיתוח מערכות RF ומיקרוגל[13]
- כיום נעשה שימוש בספקטרוגרמות להצגת פרמטרי פיזור הנמדדים באמצעות מנתחי רשת וקטוריים[14]
- המכון הגאולוגי של ארצות הברית ותאגיד IRIS מספקים תצוגות ספקטרוגרמה כמעט בזמן אמת לניטור תחנות סייסמיות[15][16]
- ניתן להשתמש בספקטרוגרמות עם רשתות עצביות חוזרות לזיהוי דיבור.[17]
קישורים חיצוניים
- See an online spectrogram of speech or other sounds captured by your computer's microphone.
- Generating a tone sequence whose spectrogram matches an arbitrary text, online
- Further information on creating a signal whose spectrogram is an arbitrary image
- Article describing the development of a software spectrogram
- History of spectrograms & development of instrumentation
- How to identify the words in a spectrogram from a linguistic professor's Monthly Mystery Spectrogram publication.
- Sonogram Visible Speech GPL Licensed freeware for the Spectrogram generation of Signal Files.
הערות שוליים
- ^ JL Flanagan, Speech Analysis, Synthesis and Perception, Springer - Verlag, New York, 1972
- ^ Sejdic, E.; Djurovic, I.; Stankovic, L. (באוגוסט 2008). "Quantitative Performance Analysis of Scalogram as Instantaneous Frequency Estimator". IEEE Transactions on Signal Processing. 56 (8): 3837–3845. Bibcode:2008ITSP...56.3837S. doi:10.1109/TSP.2008.924856. ISSN 1053-587X.
{{cite journal}}: (עזרה) - ^ "Spectrograph". www.sfu.ca. נבדק ב-7 באפריל 2018.
{{cite web}}: (עזרה) - ^ "Spectrograms". ccrma.stanford.edu. נבדק ב-7 באפריל 2018.
{{cite web}}: (עזרה) - ^ Boashash, B. (1992). "Estimating and interpreting the instantaneous frequency of a signal. I. Fundamentals". Proceedings of the IEEE. Institute of Electrical and Electronics Engineers (IEEE). 80 (4): 520–538. doi:10.1109/5.135376. ISSN 0018-9219.
- ^ "The Analysis & Resynthesis Sound Spectrograph". arss.sourceforge.net. נבדק ב-7 באפריל 2018.
{{cite web}}: (עזרה) - ^ "BIRD SONGS AND CALLS WITH SPECTROGRAMS ( SONOGRAMS ) OF SOUTHERN TUSCANY ( Toscana – Italy )". www.birdsongs.it. נבדק ב-7 באפריל 2018.
{{cite web}}: (עזרה) - ^ Saunders, Frank A.; Hill, William A.; Franklin, Barbara (1 בדצמבר 1981). "A wearable tactile sensory aid for profoundly deaf children". Journal of Medical Systems. 5 (4): 265–270. doi:10.1007/BF02222144. PMID 7320662.
{{cite journal}}: (עזרה) - ^ "Spectrogram Reading". ogi.edu. אורכב מ-המקור ב-27 באפריל 1999. נבדק ב-7 באפריל 2018.
{{cite web}}: (עזרה) - ^ "Praat: doing Phonetics by Computer". www.fon.hum.uva.nl. נבדק ב-7 באפריל 2018.
{{cite web}}: (עזרה) - ^ "The Aphex Face – bastwood". www.bastwood.com. נבדק ב-7 באפריל 2018.
{{cite web}}: (עזרה) - ^ "SRC Comparisons". src.infinitewave.ca. נבדק ב-7 באפריל 2018.
{{cite web}}: (עזרה) - ^ "constantwave.com – constantwave Resources and Information". www.constantwave.com. נבדק ב-7 באפריל 2018.
{{cite web}}: (עזרה) - ^ "Spectrograms for vector network analyzers". אורכב מ-המקור ב-2012-08-10.
- ^ "Real-time Spectrogram Displays". earthquake.usgs.gov. נבדק ב-7 באפריל 2018.
{{cite web}}: (עזרה) - ^ "IRIS: MUSTANG: Noise-Spectrogram: Docs: v. 1: Help".
- ^ Geitgey, Adam (2016-12-24). "Machine Learning is Fun Part 6: How to do Speech Recognition with Deep Learning". Medium. נבדק ב-2018-03-21.
