Vectors

在整個線性代數中,最基本的單位就是一個向量,假設一個擁有兩個值的向量像是

    \[V = \begin{bmatrix}v_{1} \\ v_{2} \end{bmatrix}\]

向量加法假設另一組向量w一樣包含於兩個值$w = \begin{bmatr…

時間複雜度

通長在測量複雜度的時候會使用兩種分析方法:Worst-case analysisAverage-case analysis定義一個M是Deterministic Turing Machine並且會根據輸入決定停止規範M的執行時間或者時間複雜度可以表示成一個function…

熵 Entropy

我們在消息理論測量一段資訊所包含的資訊量其中一種會使用Entropy來計算。讓X作為一個discrete R.V. 並且表示成P(X)可以視作:

    \[ H_{b}(X) = -\sum_{x \in \mathbb{X}} P(x) \cdot log_{b}P(x) = \mathbb{E}[-log_{b}P(X)] = \mathbb{E}{p} [log_{b}\frac{1}{P(x)}] \]