消息理論中的熵

目錄

• 定義
• 範例

我們在消息理論測量一段資訊所包含的資訊量其中一種會使用Entropy來計算。

定義

讓X作為一個discrete R.V. 並且表示成P(X)可以視作:

1. b如果選擇2就表示我們在測量bits，若b是e則表示在測量nats，所以這裡沒有直接寫2是因為可以透過換底公式來換成別的格式。
   換底公式: ，因此，，不過我們在消息理論內幾乎都是在談b=2的情況。
2. 測量的是X剩餘的不確定性，把x所有的可能性平均起來
3. 不是一個隨機變數X的function，而是針對PMF隨機變數X分佈function進行量測
4. 根據,定義 ,因此如果新增了0的機率並不會讓entropy有任何變化

範例

假設X有Bernoulli(p)的分佈，i.e., 在投擲硬幣的時候呈現這樣的分佈

我們觀察這個分佈圖

1. 在P=0或是1的情況時會發生 (在結果變成deterministic的時候發生代表全部的不確定性已經消失)
2. 在P = 的情況下會發生 (如果是一個公平的擲硬幣0跟1兩者最高機率都會是的最大不確定性)
3. (P要稱為head或是tail都不重要，這裡要表達的是只要結果是0跟1的事件都可以使用這種方法)

另外有一些定理存在

1. (Non-negativeness): 成立若且唯若X是一個deterministic
2. (Maximum entropy): 讓X是一個discrete隨機變數屬於有限的alphabet ，存在若且唯若X有uniform distribution的特性在之上

證明：

1. (Non-negativeness):

      

2. (Maximum entropy): 讓, 可以得到

      

等式成立若且唯若

1. , i.e.,
2. 
   i.e.,