סטטיסטי מספיק

מתוך המכלול, האנציקלופדיה היהודית
גרסה מ־22:49, 5 ביולי 2017 מאת Davidnead (שיחה | תרומות) (גרסה אחת של הדף wikipedia:he:סטטיסטי_מספיק יובאה)
(הבדל) → הגרסה הקודמת | הגרסה האחרונה (הבדל) | הגרסה הבאה ← (הבדל)
קפיצה לניווט קפיצה לחיפוש

בסטטיסטיקה, סטטיסטי הוא מספיק ביחס למודל סטטיסטי ולפרמטר הבלתי ידוע, אם אין סטטיסטי אחר שיכול להיות מחושב מאותו מדגם, שיוסיף מידע ביחס לערך הפרמטר.
יתר על כן, סטטיסטי הוא מספיק עבור משפחה של התפלגויות, אם כל המידע לגבי ההתפלגות שממנה נלקח המדגם, נמצאת בערך של הסטטיסטי.

הגדרה מתמטית

סטטיסטי הוא מספיק לפרמטר , אם ההתפלגות המותנית של המדגם בהינתן הערך של אינה תלויה ב-. במלים אחרות, הפונקציה תלויה אולי ב-x ו-t, אבל לא ב-.

משפט הפירוק של Fisher-Neyman

משפט הפירוק מספק אפיון נוח לכך שסטטיסטי הוא מספיק. אם פונקציית הצפיפות היא , אזי הוא מספיק עבור אם ורק אם קיימות פונקציות אי-שליליות g ו-h כך ש:

כלומר, ניתן לפרק את פונקציית הצפיפות למכפלה של שני גורמים, כך שגורם אחד, h, אינו תלוי ב- והגורם השני, g, אשר כן תלוי ב-, תלוי ב-x רק דרך .

קל לראות שאם היא פונקציה חד-חד-ערכית ו- הוא סטטיסטי מספיק, אזי הוא סטטיסטי מספיק גם כן. בפרט, ניתן לכפול סטטיסטי מספיק בקבוע שאינו אפס, ולקבל סטטיסטי מספיק.

משמעות לגבי הסקה סטטיסטית

אחת ההשלכות של משפט הפירוק היא שכשמשתמשים בהסקה סטטיסטית על סמך נראות, שני מאגרי נתונים בגודל זהה אשר להם בדיוק אותו ערך עבור הסטטיסטי המספיק , תמיד יספקו את אותה מסקנה לגבי (למשל: רווח סמך ל-, דחיית/אי-דחיית השערה לגבי ). לפי קריטריון הפירוק התלות של הנראות ב- היא רק ביחד עם . מכיוון שזה נכון לגבי שני מאגרי הנתונים שלהם אותו ערך , התלות של הנראות ב- תהיה זהה גם כן, מה שיוביל להסקה סטטיסטית זהה.

הוכחה

ההוכחה להלן היא ההוכחה שניתנה על ידי רוברט הוג ואלן קרייג.

המשפט (ניסוח מדויק): יהיו תצפיות של מדגם אקראי מהתפלגות עם פונקציית צפיפות: עבור . יהי סטטיסטי שפונקציית הצפיפות שלו היא . אז הוא סטטיסטי מספיק עבור אם-ורק-אם קיימת פונקציה כך ש:

הוכחה:

כיוון ראשון:

נניח ש:

ונוכיח ש- הוא סטטיסטי מספיק.

יהיו , ‏ סטטיסטים כלשהם שפונקציות הצפיפות שלהם הן בהתאמה.

נבצע את הטרנספורמציה: לכל , כשהפונקציות ההפוכות הן: לכל , ויעקוביאן . אז:

הביטוי בצד שמאל של המשוואה הוא הצפיפות המשותפת: של המשתנים (הסטטיסטים): .

בצד ימין של המשוואה, הביטוי הוא פונקציית הצפיפות של , וכך יוצא שהביטוי: שווה ל- חלקי , כלומר, הוא שווה לפונקציית הצפיפות המותנה של בהינתן .

אבל לפי ההנחה, , וממילא גם אינו תלוי ב-. מכיוון ש- לא הוכנס בתוך הטרנספורמציה שביצענו, וכן לא בא לידי ביטוי ביעקוביאן , יוצא ש- אינו תלוי ב- (אלא רק ב-, וזאת לכל סטטיסטים אפשריים), ולכן הוא סטטיסטי מספיק עבור .

כיוון שני:

נניח ש- הוא סטטיסטי מספיק, ונוכיח ש:

כיוון ש-ש- הוא סטטיסטי מספיק, ניתן לרשום:

כש- אינו תלוי ב- כיוון ש- תלוי רק ב-, אשר הם בלתי תלויים ב- בהינתן שידוע לנו שהוא סטטיסטי מספיק.

כעת נחלק את שני צידי המשוואה בערך המוחלט של היעקוביאן , ונחליף את בפונקציות: , ונקבל:

כש- הוא היעקוביאן עם שהוחלפו על ידי: .

הצד הימני הוא בהכרח הצפיפות המשותפת של . נסמן: , ונקבל:

כיוון ש- ולכן גם אינו תלוי ב- (לפי ההנחה), נקבל ש:

היא פונקציה שאינה תלויה ב-, כלומר:

כנדרש.

סטטיסטי מספיק מינימלי

סטטיסטי מספיק הוא מינימלי אם הוא יכול להיות מוצג כפונקציה של כל סטטיסטי מספיק אחר. במילים אחרות, הוא סטטיסטי מספיק מינימלי אם ורק אם:

  1. הוא סטטיסטי מספיק
  2. לכל סטטיסטי מספיק , קיימת פונקציה כך ש-

באופן אינטואיטיבי, סטטיסטי מספיק מינימלי תופס באופן היעיל ביותר את כל המידע בנוגע לפרמטר .

מאפיין שימושי של סטטיסטי מספיק מינימלי הוא שכאשר פונקציית הצפיפות קיימת, הוא סטטיסטי מספיק מינימלי אם ורק אם:

בלתי תלוי ב-

זה נובע באופן ישיר ממשפט הפירוק של פישר-נימן.

מצב בו לא קיים סטטיסטי מספיק מינימלי הוצג על ידי הסטטיסטיקאי ההודי Raghu Raj Bahadur, בשנת 1954. אולם, תחת תנאים מתונים למדי, סטטיסטי מספיק מינימלי תמיד קיים.

בפרט, במרחב אוקלידי, התנאים הללו תמיד מתקיימים אם המשתנים המקריים (הקשורים ל- ) הם כולם בדידים או כולם רציפים.

אם קיים סטטיסטי מספיק מינימלי, אזי סטטיסטי מספיק שלם (אנ') הוא בהכרח מינימלי. בעוד שקשה למצוא מקרים בהם סטטיסטי מספיק מינימלי אינו קיים, לא קשה למצוא מצבים בהם לא קיים סטטיסטי מספיק שלם.

אוסף היחסים של פונקציות נראות הוא סטטיסטי מספיק מינימלי אם הוא בדיד או בעל פונקציית צפיפות.

דוגמאות

התפלגות ברנולי

אם משתנים מקריים בלתי תלויים בעלי התפלגות ברנולי עם פרמטר , אזי הסכום הוא סטטיסטי מספיק עבור .

מאחר שהמשתנים המקריים הם בלתי תלויים, פונקציית הצפיפות המשותפת מקיימת:

ואם נקבץ חזקות של ושל נקבל:

הצגה זו מקיימת את תנאי משפט הפירוק כאשר:

הפרמטר הבלתי ידוע, , תלוי בנתונים () רק דרך הסטטיסטי שלהם

התפלגות אחידה

אם משתנים מקריים בלתי תלויים המתפלגים באופן אחיד בטווח אזי הוא סטטיסטי מספיק ל-.

מאחר שהמשתנים המקריים הם בלתי תלויים, פונקציית הצפיפות המשותפת מקיימת:

כאשר היא פונקציית האינדיקטור. לכן, אם נסמן:

וכן ,

נקבל את תנאי משפט הפירוק, ושאכן הוא סטטיסטטי מספיק.

התפלגות פואסון

אם משתנים מקריים בלתי תלויים בעלי התפלגות פואסון עם פרמטר , אזי הסכום הוא סטטיסטי מספיק עבור .

על מנת להיווכח בכך, נתבונן בפונקציית ההסתברות המשותפת:

ומכיוון שהתצפיות בלתי תלויות:

לכן:

אם נסמן: , וכן: ,

נקבל את תנאי משפט הפירוק, ושאכן הוא סטטיסטטי מספיק.