math - 条件互信息符号

Question

这可能是一个幼稚的问题，但我真的很挣扎。我查看了许多介绍互信息和条件互信息公式的论文和文章。他们通常以两种方式编写：

1. 第一个公式

和

2. 第二个公式

这些公式实际上是等效的吗？实际上和PX(x)的意思一样P(x)吗？

Answer 1

PX(x)确实是一样的P(x)。它们都代表概率P(X=x)。这两个公式是等价的。您可以使用以下定律从第二个移动到第一个：P(A,B)/P(B)=P(A|B)。然后将这条定律应用于我们得到的第二个公式

p(x,y|z)/[p(x|z)p(y|z)]=[p(x,y,z)/p(z)]/[{p(x,z)/p(z)}*{p(y,z)/p(z)}]=
=[p(x,y,z)*p(z)]/[p(x,z)*p(y,z)]

最后一个过渡是从取消其中一个p(z). 结果为您提供了第一个公式。