חסם קרמר-ראו

מתוך המכלול, האנציקלופדיה היהודית
קפיצה לניווט קפיצה לחיפוש

בתורת האמידה ובסטטיסטיקה, חסם קרמר-ראו (Cramér–Rao lower bound, CRLB) הוא חסם תחתון על השונות של אומדים של פרמטרים דטרמיניסטיים. לעיתים הוא ידוע בשמות "אי-שוויון קרמר-ראו" או "אי-שוויון האינפורמציה". הוא נקרא על שם הרלד קרמר וקליאמפודי ראדאקרישנה ראו, שהיו בין הראשונים לגזור אותו.

לפי צורתו הפשוטה ביותר של החסם, השונות המינימלית של כל אומד חסר הטיה היא ההופכי של האינפורמציה של פישר. אומד חסר הטיה שמשיג את החסם הזה נקרא אומד יעיל. אומד כזה משיג את השגיאה הריבועית הממוצעת הנמוכה ביותר מבין כל האומדים חסרי ההטיה, ולכן הוא נקרא גם UMVUE (אומד חסר הטיה בעל שונות מינימלית במידה שווה). עם זאת, לעיתים לא קיים אומד חסר-הטיה שמשיג את החסם, גם כאשר קיים אומד UMVUE.

וריאציה של חסם קרמר-ראו חוסמת את השונות של אומדים בעלי-הטיה ידועה. במקרים מסוימים, אומד מוטה עשוי להניב שגיאה ריבועית ממוצעת ושונות נמוכות יותר מאלו שמשיג חסם קרמר-ראו חסר ההטייה.

תנאים רגולריים

החסם תקף תחת שני תנאים רגולריים חלשים יחסית על פונקציית צפיפות ההסתברות :

  • האינפורמציה של פישר מוגדרת היטב, כלומר לכל שבו הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ f(x; \theta)>0} , הנגזרת קיימת והיא סופית.
  • ניתן להחליף את הסדר של גזירה לפי ואינטגרציה לפי הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ x} . התנאי הזה מתקיים כאשר אחד מהבאים מתקיים:
    • הפונקציה הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ f(x; \theta)} היא בעלת תומך סופי ב-הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ x} , שגבולותיו אינם תלויים ב-הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \theta} .
    • הפונקציה הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ f(x; \theta)} היא בעלת תומך אינסופי, גזירה ברציפות, והאינטגרל מתכנס במידה שווה לכל הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \theta} .

החסם

אומד סקלרי חסר-הטיה

יהי הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \theta} פרמטר דטרמיניסטי לא-ידוע המשוערך בעזרת וקטור מדידות הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ x} . הפילוג של המדידות, שתלוי בפרמטר, הוא הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ f(x; \theta)} . השונות של כל אומד חסר-הטיה הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \hat{\theta}} של הפרמטר הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \theta} חסום על ידי ההופכי של האינפורמציה של פישר:

האינפורמציה של פישר במקרה הסקלרי הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle I(\theta)} , מוגדרת לפי:

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle I(\theta) = \mathrm{E} \left[ \left( \frac{\partial \ln f(x;\theta)}{\partial\theta} \right)^2 \right] = -\mathrm{E}\left[ \frac{\partial^2 \ln f(x;\theta)}{\partial\theta^2} \right] }

אומד סקלרי כללי

צורה כללית יותר של החסם מתקבלת עבור מקרה של אומד חסר הטיה, , שנועד לאמוד את הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \psi(\theta)} , פונקציה ידועה של פרמטר סקלרי דטרמיניסטי לא-ידוע הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \theta} . כאן, חוסר ההטיה פירושו הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ E\left[T(X)\right]=\psi(\theta)} . במקרה זה, החסם נתון על ידי:

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \mathrm{var}(T) \geq \frac{[\psi'(\theta)]^2}{I(\theta)} }

גישה זו שימושית גם לצורך מציאת החסם עבור אומד בעל הטיה ידועה, אותה נסמן הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ b(\theta)} . במצב זה, נבחן את הפונקציה הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \psi(\theta)=\theta+b(\theta)} . כל אומד חסר הטיה שהתוחלת שלו היא הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \psi(\theta)} , שונותו חסומה על ידי הביטוי שלעיל; במלים אחרות, השונות של כל אומד שהטיתו ידועה ושווה ל-הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ b(\theta)} , חסומה על ידי:

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \mathrm{var} \left(\hat{\theta}\right) \geq \frac{[1+b'(\theta)]^2}{I(\theta)} } .

ואכן, ניתן לראות כי תוצאה זו מתכנסת לתוצאה במקרה חסר-ההטיה עבור המקרה הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ b(\theta)=0} . אם כן, השגיאה הריבועית הממוצעת של כל אומד מוטה חסומה על ידי:

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \mathrm{E}\left((\hat{\theta}-\theta)^2\right)\geq\frac{[1+b'(\theta)]^2}{I(\theta)}+b(\theta)^2} .

אומד וקטורי כללי

במקרה של וקטור פרמטרים לא-ידועים, החסם דומה מאוד, אלא שכעת צורתו וקטורית: האינפורמציה של פישר היא מטריצה, ולא סקלר, ואת שונות האומד מחליפה מטריצת השונויות המשותפות (Covariance Matrix). בנוסף, מדובר בווקטור של אומדים הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \boldsymbol{T}(X)} המקיים הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \mathrm{E}[\boldsymbol{T}(X)]=\boldsymbol{\psi}\left(\boldsymbol{\theta}\right)} . האינפורמציה של פישר תוגדר לפי:

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle I = \mathrm{E} \left[ \frac{\partial^T}{\partial\boldsymbol{\theta}} \log f\left(x; \boldsymbol{\theta}\right) \frac{\partial}{\partial\boldsymbol{\theta}} \log f\left(x; \boldsymbol{\theta}\right) \right] } .

החסם (זהו אי-שוויון מטריצי):

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \mathrm{cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right) \geq \frac {\partial \boldsymbol{\psi} \left(\boldsymbol{\theta}\right)} {\partial \boldsymbol{\theta}} [I\left(\boldsymbol{\theta}\right)]^{-1} \left( \frac {\partial \boldsymbol{\psi}\left(\boldsymbol{\theta}\right)} {\partial \boldsymbol{\theta}} \right)^T }

במקרה הפשוט שבו אנו אומדים ישירות את הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \boldsymbol{\theta}} , החסם יקבל את הצורה:

שמזכירה מאד את המקרה הסקלרי. זהו אי-שוויון מטריצי: ההפרש בין אגף שמאל לאגף ימין הוא מטריצה חיובית.

הוכחת החסם

ההוכחה הבאה היא זו של המקרה הסקלרי הכללי שהוצג לעיל.

נניח ש-הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ X} הוא משתנה מקרי עם פונקציית צפיפות הסתברות הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ f(x; \theta)} , וש-הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ T=t(X)} הוא אומד של הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \psi(\theta)} . נגדיר את V להיות הציון של הפילוג:

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle V = \frac{\partial}{\partial\theta} \ln f(X;\theta)}

התוחלת של הציון:

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \mathrm{E} \left[V\right]=\mathrm{E} \left[\frac{\partial}{\partial\theta} \ln f(X;\theta)\right]=\int \frac{\partial}{\partial\theta} \ln f(x;\theta) \cdot f(x;\theta) \, dx=\int \frac{\partial}{\partial\theta} f(x;\theta) \cdot \, dx=\frac{\partial}{\partial\theta} \int f(x;\theta) \, dx=\frac{\partial}{\partial\theta} (1)=0 }

כאשר החלפת סדר הגזירה והאינטגרציה אפשרית בהנחה שהתנאים הרגולריים מתקיימים.

השונות המשותפת של V ושל T:

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ Cov(V,T)=\mathrm{E} \left[T\cdot V\right]-\mathrm{E} \left[T\right]\cdot \mathrm{E} \left[V\right]=\mathrm{E} \left[T\cdot \frac{\partial}{\partial\theta} \ln f(X;\theta)\right]= \int t(x) \frac{\partial}{\partial\theta} f(x;\theta) \, dx= \frac{\partial}{\partial\theta} \int t(x) f(x;\theta) \, dx= \frac{\partial}{\partial\theta} \mathrm{E} \left[T(X) \right]}

מאחר ש-הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ T(X)} הוא משערך חסר הטיה, מתקבל:

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ Cov(V,T)=\frac{\partial}{\partial\theta} \psi(\theta)=\psi'(\theta)}

לפי אי-שוויון קושי-שוורץ, מתקיים:

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \left[Cov(T,V)\right]^2 \le Var(T) \cdot Var(V)}

השונות של V היא גם האינפורמציה של פישר (לפי הגדרה), ולכן נקבל בהצבה לאי-שוויון:

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ Var(T) \ge \frac{\left[\psi'(\theta)\right]^2}{Var(V)}=\frac{\left[\psi'(\theta)\right]^2}{I(\theta)}}

שהוא החסם המבוקש.

דוגמה - חסם קרמר ראו עבור משתני אינדיקטור

עבור הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle Y_1,...Y_n ~ Bin(1,p) } , נתחיל בלחשב מספר אינפורמציה של פישר:

ופונקציית נראות ,

לכן הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \log{L}=l(p,Y_1,..Y_n)=\sum y_i \cdot\log p + (n-\sum Y_i)\log (1-p)}

מגזירה נקבל: הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle l^{\prime} =(\sum Y_i -np)/(p\cdot(1-p))} ולכן מספר האינפורמציה של פישר הינו

הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle E((l^\prime)^2)={E(\sum Y_i -np)^2}/{p^2(1-p)^2} =n/{p(1-p)} } ומכאן נקבל כי חסם קרמר ראו עבור אומד חסר הטיה ל-P הינו הפענוח נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle p(1-p)/n}

לקריאה נוספת

  • Kay, Steven M. (1993). Fundamentals of Statistical Signal Processing, Volume I: Estimation Theory. Prentice Hall.
  • Shao, Jun (1998). Mathematical Statistics. New York: Springer.