密碼理論 消息理論中的熵 我們在消息理論測量一段資訊所包含的資訊量其中一種會使用Entropy來計算。讓X作為一個discrete R.V. 並且表示成P(X)可以視作:\[ H_{b}(X) = -\sum_{x \in \mathbb{X}} P(x) \cdot log_{b}P(x) = \mathbb{E}[-log_{b}P(X)] = \mathbb{E}{p} [log_{b}\frac{1}{P(x)}] \] Scientia10 月 31, 20233 月 30, 2025 Entropy熵資訊理論 Read More 密碼理論 資訊測量符號 測量一組資訊的方法有好幾種，例如像是使用entropy, mutual information, relative entropy等等方法，另外需要了解這些方法之間的交互作用。 Scientia10 月 31, 20233 月 29, 2025 自然對數資訊理論隨機變數 Read More 密碼理論 相互消息 mutual information用來測量兩個random variables之間的關係，主要是有多少資訊量被傳輸過去。其中一個random variable會告訴我有多少資訊量從另一個random variable傳過來。 Scientia8 月 1, 20233 月 29, 2025 Information TheoryMutual Information資訊理論 Read More
密碼理論 資訊測量符號 測量一組資訊的方法有好幾種，例如像是使用entropy, mutual information, relative entropy等等方法，另外需要了解這些方法之間的交互作用。 Scientia10 月 31, 20233 月 29, 2025 自然對數資訊理論隨機變數 Read More 密碼理論 相互消息 mutual information用來測量兩個random variables之間的關係，主要是有多少資訊量被傳輸過去。其中一個random variable會告訴我有多少資訊量從另一個random variable傳過來。 Scientia8 月 1, 20233 月 29, 2025 Information TheoryMutual Information資訊理論 Read More
密碼理論 相互消息 mutual information用來測量兩個random variables之間的關係，主要是有多少資訊量被傳輸過去。其中一個random variable會告訴我有多少資訊量從另一個random variable傳過來。 Scientia8 月 1, 20233 月 29, 2025 Information TheoryMutual Information資訊理論 Read More
