異常檢測 問題分類

內容目錄

Supervised Anomaly Detection

  • 將所有的訓練資料以及測試資料集都進行標記
  • 標準的機器學習都會使用這種方法(SVM, 神經網路)

Semi-supervised Anomaly Detection

  • 標記少量的訓練資料,其中把所有正常的資料點都看成同一個class,但就只會有一組class存在而已,在測試資料中會混合anomalies,除了normal class之外的通通都辨識成異常值
  • 所以通常叫做”One-class” classifier,SVM或者clustering可以辦到

Unsupervised Anomaly Detection

  • 將normal以及anomalies都分在同一個dataset裡,並且不進行標注
  • 如果特徵選得非常有代表性,讓normal以及anomalies可以精確分群的話是非常適合的方法,但困難的點是在normal裡既有的noise要如何跟anomalies進行分辨,以及為了精確的分群所以取的維度太高造成維度災難也是常常會發生的,維度要下降至何種程度常常需要不斷的實驗

Anomaly Detection 技巧

值觀想法

  1. 建構一組”normal”的行為資料:資料通常可以用統計的方法來形容,或者有某種樣態的分佈
  2. 使用這些”normal”的行為資料來進行偵測異常值:非常直觀的可以想像異常值應該會跟正常的資料型態長的天差地遠

方法

  • Statistical-based
  • Distance-based
  • Model-based

統計方法

使用一組可調變參數化的model來描述某個資料集的分佈樣態,例如常見的就是normal distribution,同時在進行統計測試時常常會需要依據

  • 資料分布
  • 分佈的參數 (平均值,變異數等等)
  • 預期中的異常值數量(confidence limit)

Scientia

我是Scientia,研究興趣包含Cryptology, Cryptographic Engineering, Security and Privacy, Computational Complexity, Quantum Cryptography, Cybersecurity, Anomaly Detection以及Hardware Security.

Related Posts

異常檢測 方法評估

當我們在進行異常檢測時,通常會需要注意三個條件:正確的偵測:檢測到的異常資料需要與流程設計想要找到的異常資料是一致的False Positives:檢測過程都是正常的..

異常檢測簡介 Anomaly Detection

在資料分析當中,異常檢測(Anomaly Detection)(或是稱作”異常值檢測(Outlier Detection)”)用來辨識在資料集內非常稀少的項目、事件或者觀測到屬於別種類型資料集的資料等等..

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

You Missed

NP-Completeness

NP-Completeness

異常檢測 問題分類

異常檢測 問題分類

異常檢測 方法評估

異常檢測 方法評估

異常檢測簡介 Anomaly Detection

異常檢測簡介 Anomaly Detection

高斯消去法

高斯消去法

Vectors

Vectors