Scientia![\[ H_{b}(X) = -\sum_{x \in \mathbb{X}} P(x) \cdot log_{b}P(x) = \mathbb{E}[-log_{b}P(X)] = \mathbb{E}{p} [log_{b}\frac{1}{P(x)}] \]](https://scientia-potentia-est.com/wp-content/ql-cache/quicklatex.com-09e7bb0fca97480fd7e1d9f3cdf57585_l3.png "Rendered by QuickLaTeX.com")
資訊測量符號
測量一組資訊的方法有好幾種，例如像是使用entropy, mutual information, relative entropy等等方法，另外需要了解這些方法之間的交互作用。
Mutual Information
mutual information用來測量兩個random variables之間的關係，主要是有多少資訊量被傳輸過去。其中一個random variable會告訴我有多少資訊量從另一個random variable傳過來。
測量一組資訊的方法有好幾種，例如像是使用entropy, mutual information, relative entropy等等方法，另外需要了解這些方法之間的交互作用。
mutual information用來測量兩個random variables之間的關係，主要是有多少資訊量被傳輸過去。其中一個random variable會告訴我有多少資訊量從另一個random variable傳過來。
