אנטרופיה מותנית

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי $Y$ בהנחה שאנו יודעים את תוצאתו של משתנה אקראי אחר $X$ (התוחלת היא על שני המשתנים האקראיים).

הגדרה

אם נגדיר את האנטרופיה של $Y$ בהינתן זאת שתוצאתו של משתנה אקראי $X$ היא $x$ כ-$H(Y|X=x)$, אז נקבל את ההגדרה הבאה לאנטרופיה מותנית של משתנים בדידים:

$\begin{array}{rl}H(Y|X)& \equiv \sum _{x\in {𝒳}}p(x)H(Y|X=x)\\ & =\sum _{x\in {𝒳}}p(x)\sum _{y\in {𝒴}}p(y|x)\log \frac{1}{p(y|x)}\\ & =-\sum _{x\in {𝒳}}\sum _{y\in {𝒴}}p(x,y)\log p(y|x)\\ & =-\sum _{x\in {𝒳},y\in {𝒴}}p(x,y)\log p(y|x)\\ & =\sum _{x\in {𝒳},y\in {𝒴}}p(x,y)\log \frac{p(x)}{p(x,y)}.\\ \end{array}$

במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.

תכונות

לכל שני משתנים אקראיים $X$ ו-$Y$:

$H(Y|X)=H(X,Y)-H(X).$

$H(X|Y)\le H(X)$

$H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)$ (כאשר $I(X;Y)$ היא האינפורמציה ההדדית)

$I(X;Y)\le H(X),$

אם המשתנים בלתי תלויים, אזי

$H(Y|X)=H(Y)\text{ and }H(X|Y)=H(X)$

ראו גם

• אנטרופיה (סטטיסטיקה)
• אינפורמציה הדדית