互信息，条件熵，联合熵

2024-01-09 16:32:46

看到一个图介绍互信息，条件熵，联合熵，还不错，做个记录：
在这里插入图片描述
图上的红色和黄色圈分别代表X,Y原始的信息量H(X)/H(Y)/熵值。 （注意信息量度量的是一个具体事件发生了所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望）

I(X;Y) : 表示互信息， 知道X，Y损失了多少信息量（知道Y，X损失了多少信息量）。
H(X|Y)或H(Y|X): 表示条件熵， 知道X，Y还剩多少信息量（H(Y|X)）。或者知道Y后，X还剩多少信息量（H(X|Y)）。
H(XY): 联合熵，XY联合起来有多少信息量(H(XY))。

图上可以看出：
I(X;Y) = H(X)-H(X|Y)
I(X;Y) = H(Y)-H(Y|X)
I(X;Y) = H(X)+H(Y)-H(XY)

参考：
https://blog.csdn.net/class_brick/article/details/79651173
https://www.cnblogs.com/wqbin/p/12752610.html

文章来源:https://blog.csdn.net/qq_28723681/article/details/135481604
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。