אנטרופיה מותנית

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי $Y$ בהנחה שאנו יודעים את תוצאתו של משתנה אקראי אחר $X$ (התוחלת היא על שני המשתנים האקראיים).

הגדרה

אם נגדיר את האנטרופיה של $Y$ בהינתן זאת שתוצאתו של משתנה אקראי $X$ היא $x$ כ-$H(Y|X=x)$, אז נקבל את ההגדרה הבאה לאנטרופיה מותנית של משתנים בדידים:

${\begin{aligned}H(Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,H(Y|X=x)\\&{=}\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,{\frac {1}{p(y|x)}}\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}$

במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.

תכונות

לכל שני משתנים אקראיים $X$ ו-$Y$:

$H(Y|X)\,=\,H(X,Y)-H(X)\,.$

$H(X|Y)\leq H(X)\,$

$H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)$ (כאשר $I(X;Y)$ היא האינפורמציה ההדדית)

$I(X;Y)\leq H(X),\,$

אם המשתנים בלתי תלויים, אזי

$H(Y|X)=H(Y){\text{ and }}H(X|Y)=H(X)\,$

ראו גם

• אנטרופיה (סטטיסטיקה)
• אינפורמציה הדדית