רשת זרימה קדימה
רשת זרימה קדימה (באנגלית: Feedforward neural network) היא רשת עצבית מלאכותית שבה קשרים בין צמתים אינם יוצרים מעגלים.[1]
רשתות זרימה קדימה היו הסוג הראשון והפשוט ביותר של רשתות נוירונים מלאכותיות[2]. ברשת כזו, המידע זורם רק בכיוון אחד, קדימה, מצמתי הקלט, דרך הצמתי החבויים (באם קיימים) אל צמתי הפלט, ללא מעגלים או לולאות עצמיות.
פרספטרון רב-שכבתי
בפרספטרון רב שכבתי כל נוירון בשכבה אחת מקושר לנוירונים בשכבה הבאה. כל נוירון מקבל ערך על ידי סכום כל הקישורים הנכנסים אליו, ובמקרים רבים הוא מפעיל גם פונקציית הפעלה (אקטיבציה) לא-ליניארית כדוגמת סיגמואיד או ReLU.
לפי משפט הקירוב האוניברסלי לכל פונקציה אשר ממפה רצף של מספרים ממשיים לרצף אחר של מספרים ממשיים ניתן למצוא קירוב טוב ככל שנרצה על ידי פרספטרון רב-שכבתי שבו רק שכבה חבויה אחת.
קיימות שיטות רבות לאימון של רשתות רב שכבתיות, הידועה והמוצלחת מביניהן היא מורד הגרדיאנט. בשיטה זו, משווים את ערכי החיזוי של הרשת לתשובות הנכונות ומסיקים את הערך של פונקציית-שגיאה מוגדרת מראש. לאחר מכן, מזרימים את השגיאה לאחור ומעדכנים את המשקלים של הרשת בהתאם כדי להקטין את פונקציית השגיאה המחושבת במידה מסוימת. לאחר ביצוע של תהליך זה למשך מספר רב של פעמים באופן איטרטיבי, לרוב הרשת תתכנס לערך שגיאה נמוך מספיק, ברגע זה ניתן להגדיר שהרשת למדה. כיוון שרשתות נוירונים מקרבות פונקציות לא-ליניאריות, לא ניתן לפתור אותם באופן אנליטי ולכן משתמשים בשיטת האופטימיזציה של מורד הגרדיאנט. לשם כך מחשבים את הגרדיאנט של פונקציית השגיאה כפרמטר של המשקלים על הרשת, על ידי כלל השרשרת, ולאחר מכן כל משקל מוזז מעט לכיוון ההופכי לגרדיאנט, כלומר הקטנה מרבית של פונקציית השגיאה. זו היא גם הסיבה לכך שכל הרכיבים ברשתות עצביות - ובפרט פונקציית האקטיבציה - חייבים להיות גזירים.
ראו גם
הערות שוליים
- ^ Zell, Andreas (1994). Simulation Neuronaler Netze [Simulation of Neural Networks] (בגרמנית) (1st ed.). Addison-Wesley. p. 73. ISBN 3-89319-554-8.
- ^ "Deep learning in neural networks: An overview". Neural Networks (באנגלית). 61: 85–117. 2015-01-01. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. ISSN 0893-6080.
