התפלגות רב-נורמלית

התפלגות רב-נורמלית

פונקציית צפיפות ההסתברות
קובץ:MultivariateNormal.png
מאפיינים
פרמטרים	μ ∈ Rk פרמטר מרכז Σ ∈ Rk × k מטריצת שונות משותפת מטריצה חיובית
תומך	x ∈ Rk
פונקציית צפיפות הסתברות (pdf)	$\frac{1}{\sqrt{(2\pi {)}^n|\mathrm{\Sigma }|}}{e}^{-(\frac{1}{2}(\mathbf{𝐱}-\mathit{\mu }{)}^{\mathrm{T}}{\mathrm{\Sigma }}^{-1}(\mathbf{𝐱}-\mathit{\mu }))}$
תוחלת	$\mathit{\mu }$
ערך שכיח	$\mathit{\mu }$
שונות	$\mathrm{\Sigma }$
אנטרופיה	$\frac{k}{2}\log \left(2\pi \mathrm{e}\right)+\frac{1}{2}\log |\mathrm{\Sigma }|$
פונקציה יוצרת מומנטים (mgf)	$\exp ({\mathit{\mu }}^{\mathrm{T}}\mathbf{𝐭}+\frac{1}{2}{\mathbf{𝐭}}^{\mathrm{T}}\mathrm{\Sigma }\mathbf{𝐭})$
פונקציה אופיינית	$\exp (i{\mathit{\mu }}^{\mathrm{T}}\mathbf{𝐭}-\frac{1}{2}{\mathbf{𝐭}}^{\mathrm{T}}\mathrm{\Sigma }\mathbf{𝐭})$

בתורת ההסתברות, התפלגות רב-נורמלית, או התפלגות גאוסיאנית רב-ממדית (באנגלית: Multivariate normal distribution) היא הכללה של התפלגות נורמלית למשתנים מקריים רב-ממדיים. היא מוגדרת בתור וקטור משתנים מקריים, שכל צירוף ליניארי שלו מתפלג נורמלית. ישנה גם הגדרה (כללית יותר) בשפה של פונקציות אופייניות (הקובעת את המשתנה).

להתפלגות רב-נורמלית מספר שימושים, כגון הוכחת טענות על התפלגות הממוצע וסטיית התקן של משתנים מקריים שווי התפלגות נורמלית; טענות אלו שימושיות במיוחד בסטטיסטיקה. ניתן גם לנסח את משפט הגבול המרכזי בגרסה רב-ממדית בעזרת התפלגות רב-נורמלית.

הגדרה

יהי $X=(X_1,\dots ,X_n)$ וקטור משתנים מקריים ממשיים. נאמר ש-$X$ מתפלג רב-נורמלית (או גאוסיאנית) אם לכל $a_1,\dots ,a_n\in \mathbb{ℝ}$ המשתנה המקרי (החד־ממדי) $⟨\overline{a},\overline{X}⟩=a_1{X}_1+\dots +a_n{X}_n$ מתפלג נורמלית, כלומר קיימים $\mu ,\sigma$ (תלויים ב-$a_i$) כך ש-$⟨\overline{a},\overline{X}⟩\sim N(\mu ,{\sigma }^2)$.

אם $X$ משתנה רב-נורמלי, מסמנים $X\sim N(\overline{\mu },\mathrm{\Sigma })$. $\overline{\mu }$ הוא וקטור התוחלות, כלומר

$\mathit{\mu }=\mathrm{E}[\mathbf{𝐗}]=(\mathrm{E}[X_1],\mathrm{E}[X_2],\dots ,\mathrm{E}[X_k]{)}^{\mathrm{T}}$

ו-$\mathrm{\Sigma }$ היא מטריצת השונות משותפת

${\mathrm{\Sigma }}_{i,j}=\mathrm{E}[(X_i-{\mu }_i)(X_j-{\mu }_j)]=\mathrm{Cov}[X_i,X_j]$

כאשר $1\le i,j\le k$.

תכונות

הפונקציה האופיינית

ניתן לאפיין את המשתנים המקריים הגאוסיאניים בעזרת הפונקציה האופיינית שלהם: וקטור משתנים מקריים הוא גאוסיאני אם ורק אם הוא בעל פונקציה אופיינית:

$${\phi }_{\mathbf{𝐗}}(\mathbf{𝐮})=\exp (i{\mathbf{𝐮}}^{\mathrm{T}}\mathit{\mu }-\frac{1}{2}{\mathbf{𝐮}}^{\mathrm{T}}\mathrm{\Sigma }\mathbf{𝐮}).$$ כאשר מטריצה השונות $\mathrm{\Sigma }$ היא חיובית.

בפרט, נובע שהמשתנים המקריים בלתי מתואמים אם ורק אם הם בלתי תלויים (מה שאינו נכון באופן כללי).

לכסון

לכל משתנה מקרי רב-נורמלי $X$ קיימים משתנה מקרי $Y$ ומטריצה אורתוגונלית $A$ כך ש-$X=\overline{\mu }+YA$, כאשר $Y_i\sim N(0,{\lambda }_i)$ ו-${\lambda }_i$ הם הערכים עצמיים של $\mathrm{\Sigma }$ (מטריצת השונויות המשותפות).

בכיוון ההפוך, לכל משתנה מקרי רב-נורמלי $X$ ולכל מטריצה אורתוגונלית $A$, המשתנה המקרי $AX$ גם הוא רב נורמלי: $Y\sim N(A\mu ,\mathrm{\Sigma })$.

כדי להוכיח משפט זה, יש להפעיל לכסון אורתוגונלי על $\mathrm{\Sigma }$ (בפרט, המטריצה $A$ נבחרת להיות המטריצה המלכסנת).

פונקציית צפיפות

כאשר מטריצת השונות $\mathrm{\Sigma }$ איננה מטריצה סינגולרית - כלומר כל ערכיה העצמיים ${\lambda }_i$ שונים מאפס, למשתנה הרב-נורמלי יש פונקציית צפיפות, הנתונה על ידי הנוסחא:

$f_X(\overline{x})=\frac{1}{\sqrt{(2\pi {)}^n|\mathrm{\Sigma }|}}{e}^{-\frac{1}{2}(\overline{x}-\overline{\mu }{)}^T{\mathrm{\Sigma }}^{-1}(\overline{x}-\overline{\mu })}$

כאשר $|\mathrm{\Sigma }|=\det (\mathrm{\Sigma })$ מסמן את הדטרמיננטה של $\mathrm{\Sigma }$.

התפלגויות שוליות

למציאת ההתפלגות השולית של משתנים מקריים המתפלגים רב-נורמלית, מספיק להשמיט את המשתנים הלא-רלוונטיים (המשתנים שיש לבצע עליהם אינטגרציה) מווקטור התוחלת $\mathit{\mu }$ וממטריצת השונות $\mathrm{\Sigma }$. ההוכחה לכך נובעת מההגדרה של ההתפלגות הרב-נורמלית ומאלגברה ליניארית.

דוגמה

יהי $\mathbf{𝐗}=[X_1,X_2,X_3]$ ווקטור מקרי רב-נורמלי עם ווקטור תוחלת $\mathit{\mu }=[{\mu }_1,{\mu }_2,{\mu }_3]$ ומטריצת שונות $\mathrm{\Sigma }$. ההתפלגות השולית של ${\mathbf{𝐗}}^{\prime }=[X_1,X_3]$ היא התפלגות רב-נורמלית עם וקטור תוחלת ${\mathit{\mu }}^{\prime }=[{\mu }_1,{\mu }_3]$ ומטריצת שונות ${\mathrm{\Sigma }}^{\prime }=\left[\begin{array}{cc}{\mathrm{\Sigma }}_{11}& {\mathrm{\Sigma }}_{13}\\ {\mathrm{\Sigma }}_{31}& {\mathrm{\Sigma }}_{33}\end{array}\right]$.

התפלגות רב-נורמלית סינגולרית

בדרך כלל מניחים כי מטריצת השונויות $\mathrm{\Sigma }$ איננה מטריצה סינגולרית. כאמור, במקרה זה למשתנה הרב-נורמלי יש פונקציית צפיפות.

עם זאת, כאשר מורידים את ההנחה האחרונה (כלומר, יש ערכים עצמיים אפס), מתקבל משתנה מקרי רב-נורמלי סינגולרי. ההגדרה בעזרת הפונקציה האופיינית היא כללית יותר (כלומר, תקפה גם במקרה הסינגולרי). במקרה זה אין פונקציית צפיפות (ביחס למידת לבג) - ערכיה של פונקציית הצפיפות ייקבעו על ידי פחות מ-$n$ משתנים, ואינטגרל של פונקציה כזו הוא אפס ולא 1, כנדרש מפונקציית צפיפות.

בכל זאת, ניתן להגדיר מידות אחרות (על תת-מרחב $\mathrm{rank}(\mathrm{\Sigma })$-ממדי של ${\mathbb{ℝ}}^n$) ואז מוגדרת פונקציית צפיפות עבור משתנה מקרי ביחס למידה החדשה.

יישומים

אם $X_1,X_2,\dots$ משתנים מקריים בלתי תלויים המתפלגים $N(0,1)$, נסמן ${\overline{X}}_n=\frac{X_1+\dots +X_n}{n}$ ו-$S_n=\frac{1}{n-1}\sum _{i=1}^n(X_i-{\overline{X}}_n{)}^2$. אז מתקיים:

${\overline{X}}_n/\sqrt{\frac{S_n}{n}}\sim t_{n-1}$, כלומר מתפלג סטודנט עם $n-1$ דרגות חופש.

קישורים חיצוניים

• התפלגות רב-נורמלית, באתר MathWorld (באנגלית)

הערות שוליים

הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

התפלגות רב-נורמלית39995592Q1149000