mutual information用來測量兩個random variables之間的關係，主要是有多少資訊量被傳輸過去。

其中一個random variable會告訴我有多少資訊量從另一個random variable傳過來。

舉例來說，假設X表示6面公平的骰子骰出來的結果，而Y表示骰出來的是不是偶數(0表示偶數，1表示奇數)

很明顯Y告訴我們X值的一些資訊，就可以稱作這些variables在分享mutual information

另一方面來講，如果X骰了一次，而Z骰了另一顆的骰子一次，X跟Z之間是沒有共享mutual information的，因為X跟Z都是獨立骰一次，Z骰子結果並未包含X骰子的任何資訊。

在information theory裡面提到如果兩個variables之間的mutual information是0的話代表這兩個variables是統計上的獨立。

一般表示兩個random variables之間的mutual information都是用joint distribution來定義P(X, Y)如下:

    \[ I(X;Y)=\sum_{x\in X}\sum_{y\in Y}P(x, y)log\frac{P(x, y)}{P(x)P(y)} \]

上述定義中P(X)與P(Y)透過邊際化取得分別屬於X與Y的邊際分佈，找出X與Y的邊際再從中取得交際的部分就可以拿到X與Y之間的mutual information。