《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 設計應用 > 基于K-means的異常識別方法
基于K-means的異常識別方法
電子技術應用
劉道君,劉帥,張玉松,歐思程
中國長江電力股份有限公司 三峽水利樞紐梯級調度通信中心
摘要: 在工業(yè)、電力、交通等領域,異常往往是系統發(fā)生問題或故障的先兆。通過異常識別技術,可以及時發(fā)現系統異常行為,預防或迅速應對潛在的故障,提高系統的可靠性和穩(wěn)定性。當前的異常識別算法通常需要引入專家信息(如適宜的參數值),但在許多識別場景中,數據分布以及異常發(fā)生原因是未知的,導致專家信息不可信。因此,如何設計一款無需專家信息介入的異常識別算法意義非凡。設計了一種自適應的異常識別算法,通過K-means聚類算法識別出眾多小簇,然后統計各簇中對象數量的分布概率以生成概率分布圖。從概率分布圖中,可以清晰觀察到哪些簇中的對象數量明顯小于其他簇,從而將它們識別為異常簇,其中的對象識別為異常。換句話說,概率分布圖代替了專家信息,可協助使用者在分布以及原因未知情況下識別有效異常。
中圖分類號:TP181 文獻標志碼:A DOI: 10.16157/j.issn.0258-7998.245654
中文引用格式: 劉道君,劉帥,張玉松,等. 基于K-means的異常識別方法[J]. 電子技術應用,2025,51(5):62-67.
英文引用格式: Liu Daojun,Liu Shuai,Zhang Yusong,et al. Outlier detection method based on K-means[J]. Application of Electronic Technique,2025,51(5):62-67.
Outlier detection method based on K-means
Liu Daojun,Liu Shuai,Zhang Yusong,Ou Sicheng
China Yangtze Power Co.,Ltd., Three Gorges Cascade Dispatch Communication Center
Abstract: In industry, electric power, transportation and other fields, anomalies are often the precursors of problems or failures in the system. Through anomaly identification techniques, system abnormal behavior can be detected in time to prevent or quickly respond to potential failures and improve system reliability and stability. Current anomaly identification algorithms usually need to introduce expert information (e.g., suitable parameter values), but in many identification scenarios, the data distribution as well as the cause of anomaly occurrence are unknown, resulting in unreliable expert information. Therefore, it is significant to design an anomaly identification algorithm that does not require the intervention of expert information. In this paper, an adaptive anomaly identification algorithm is designed. Specifically, it identifies numerous small clusters by K-means, and then counts the distribution probability of the number of objects in each cluster to generate a probability distribution graph. From the probability distribution graph, it can be clearly observed which clusters contain significantly smaller numbers of objects than other clusters, and thus they are recognized as anomalous clusters in which the objects are recognized as anomalies. In other words, the probability distribution graph replaces expert information and assists the user in identifying valid anomalies when the distribution as well as the cause is unknown.
Key words : outlier detection;probability;decision graph

引言

異常識別在當今社會中具有重要意義,它可以幫助提高安全性、優(yōu)化效率、預測未來、改善數據質量以及支持決策,在各個領域中推動進步和發(fā)展。隨著技術的不斷發(fā)展和應用范圍的擴大,異常識別將繼續(xù)發(fā)揮重要作用,并為人類社會帶來更多的益處。

當前,已有上千種異常識別算法被陸續(xù)提出。它們大致可以被劃分為基于統計、基于距離、基于深度學習、基于集成的算法。具體地,基于統計的算法使用數據的統計特性來識別異常值,常見的統計信息包括均值、標準差、中位數、百分位數等。基于距離的算法通過計算對象之間的相似度或距離來識別異常值。基于集成的算法結合多個基本異常檢測模型的輸出,以提高整體的性能和魯棒性。基于深度學習的算法利用多層神經網絡來學習數據的復雜特征,并在此基礎上進行異常檢測。盡管上述類型算法已經被驗證可以在各樣場景下很好地識別數據集中的復雜異常,但大多算法面臨一個共同的問題,就是需要若干輸入參數,且異常識別效果與參數值高度相關。然而,異常識別是一種無監(jiān)督分析任務,這意味著面對未知數據集時,將無法客觀地預測哪些參數值是適當的。一種名為DPC的算法解決了上述問題,它通過識別簇邊界區(qū)域,然后將邊界區(qū)域中密度小于密度均值的對象識別為異常,識別過程中不需要輸入任何參數。然而,DPC的異常識別效果易受對象分布的影響。若簇間較為接近時,會有許多正常數據對象被錯誤地識別為異常。顯然,如果構建一個既無輸入參數又有優(yōu)異的異常識別效果的算法模型將是有意義的。

為了實現上一目標,本文提出了一種全新的名為K-outlier的算法。具體地,K-outlier算法首先將數據集劃分為個簇,其中為數據集中數據對象的數量。由于異常對象分布相對稀疏,因此異常對象將被劃分到只包含少量對象的小簇中。然后,K-outlier算法統計每個簇中對象的數量,并生成數量概率圖,稱之為決策圖。從決策圖中,使用者可以很清晰地識別出哪些簇中的對象數量少且概率低,從而將它們識別為異常簇(因為異常對象的數量遠小于正常對象,且異常對象所在簇中對象的數量也遠小于正常對象所在簇中對象的數量),其中的對象識別為異常。K-outlier算法的主要貢獻:

(1)首次將K-means引入異常識別任務。K-means是最經典的聚類算法,盡管它沒有異常識別能力,但它具有低時間復雜的優(yōu)勢,可以幫助K-outlier算法快速識別出異常。

(2)生成可視決策圖代替輸入參數。K-outlier算法不再像其他異常識別算法需要輸入參數來識別異常,使用者可以通過決策圖提供的可視信息直接得到異常識別結果。

(3)K-outlier算法的異常識別效果不受對象分布的影響。由于將異常劃分到小簇中,與正常對象進行了物理隔離,因此不受正常對象分布的影響。

(4)通過大量實驗驗證了K-outlier算法的有效性。實驗表明K-outlier算法對密度不平衡數據集、復雜分布數據集具有一定的魯棒性。在7個真實世界數據集上,相比于現有算法,K-outlier算法取得了最優(yōu)的結果。


本文詳細內容請下載:

http://www.jysgc.com/resource/share/2000006527


作者信息:

劉道君,劉帥,張玉松,歐思程

(中國長江電力股份有限公司 三峽水利樞紐梯級調度通信中心 湖北 宜昌 443000)


Magazine.Subscription.jpg

此內容為AET網站原創(chuàng),未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
欧美一区免费| 亚洲青涩在线| 亚洲国产成人av好男人在线观看| 国产精品免费一区二区三区在线观看 | 亚洲精品之草原avav久久| 国产亚洲精品久久久久久| 国产精品福利在线| 欧美日韩亚洲一区二| 欧美国产一区二区在线观看| 久久午夜精品一区二区| 久久久久国产精品一区二区| 久久国产日韩| 久久国产精品电影| 久久国产精品免费一区| 欧美中在线观看| 久久国产色av| 久久尤物视频| 久久综合给合久久狠狠色| 久久这里只有精品视频首页| 久久久久久夜精品精品免费| 久久久精品午夜少妇| 久久亚洲精品网站| 久久综合久久综合这里只有精品| 久久久久久穴| 欧美α欧美αv大片| 欧美成人国产va精品日本一级| 六月婷婷一区| 欧美精品自拍| 国产精品久久福利| 国产精品亚洲综合| 国产精品视频xxxx| 国产一区二区三区的电影| 韩国在线一区| 亚洲国产精品一区二区www在线| 亚洲国内在线| av成人动漫| 亚洲一区区二区| 久久精品国产亚洲一区二区三区 | 一本色道久久88综合日韩精品| 一区二区三区精品视频在线观看| 亚洲视频免费在线| 亚洲欧美一区二区三区久久 | 午夜精品久久久99热福利| 欧美一区二区三区视频| 亚洲国产成人av在线| 亚洲另类在线视频| 亚洲字幕在线观看| 久久久久欧美精品| 噜噜噜噜噜久久久久久91| 欧美精品一区二区三区在线看午夜 | 亚洲欧美春色| 亚洲国产精品免费| 在线视频亚洲欧美| 欧美一区不卡| 老司机aⅴ在线精品导航| 亚洲国产精品成人va在线观看| 欧美连裤袜在线视频| 亚洲免费观看高清完整版在线观看熊 | 欧美激情视频一区二区三区免费| 欧美精品国产一区| 国产精品白丝av嫩草影院| 国产欧美日韩一区二区三区在线 | 欧美亚洲日本网站| 日韩视频一区| 欧美在线一区二区| 欧美国产另类| 国产精品一区二区在线观看网站 | 亚洲欧美综合v| 亚洲啪啪91| 午夜精品福利视频| 免费人成精品欧美精品| 欧美午夜在线| 亚洲高清视频在线| 亚洲欧美日韩国产综合精品二区| 亚洲精品一区二区三区四区高清| 午夜视频久久久| 欧美高清一区| 国产视频久久网| 日韩一级精品视频在线观看| 久久精品国产亚洲一区二区| 亚洲尤物在线视频观看| 麻豆国产精品777777在线| 国产精品美女久久福利网站| 99re6热只有精品免费观看| 亚洲精品美女在线观看播放| 欧美在线看片| 欧美日韩亚洲天堂| 亚洲动漫精品| 欧美一级成年大片在线观看| 亚洲午夜日本在线观看| 欧美a级大片| 国产一区二区三区不卡在线观看 | 一区二区三区视频免费在线观看| 亚洲国产高潮在线观看| 性久久久久久久久久久久| 欧美另类综合| 亚洲第一在线| 久久精品国产精品亚洲精品| 先锋影音一区二区三区| 欧美日韩国产在线播放| 亚洲二区在线观看| 久久精品国产成人| 久久久久综合网| 国产农村妇女毛片精品久久麻豆 | 欧美日韩国产一区精品一区| 1000部精品久久久久久久久| 欧美一区二区三区视频在线观看| 亚洲自拍16p| 欧美日韩精品三区| 亚洲黑丝在线| 亚洲日本va午夜在线电影| 久久天天狠狠| 国产亚洲成av人在线观看导航| 亚洲女女做受ⅹxx高潮| 亚洲欧美国产毛片在线| 欧美日韩免费视频| 日韩视频免费观看高清完整版| 亚洲日本免费| 欧美国产一区二区三区激情无套| 在线看日韩av| 亚洲日韩第九十九页| 免费精品视频| 在线日韩成人| 亚洲韩国青草视频| 欧美sm极限捆绑bd| 欧美α欧美αv大片| 精品99视频| 亚洲国产另类久久精品| 美女精品网站| 亚洲国产精品成人综合| 亚洲理论在线观看| 欧美日韩国产区一| av成人天堂| 中文亚洲字幕| 国产精品福利久久久| 亚洲一区精彩视频| 久久riav二区三区| 国产一区二区三区久久久| 亚洲大胆女人| 蘑菇福利视频一区播放| 91久久精品美女高潮| 一区二区三区欧美亚洲| 欧美性开放视频| 亚洲欧美文学| 久久久99国产精品免费| 激情欧美丁香| 亚洲人成网站影音先锋播放| 欧美日本国产一区| 在线视频一区二区| 性色av一区二区三区在线观看| 国产精品私拍pans大尺度在线| 亚洲欧美日韩国产综合精品二区| 欧美有码在线视频| 影音先锋日韩精品| 亚洲国产天堂久久综合网| 欧美精品播放| 一区二区欧美国产| 久久国产免费看| 亚洲国产日韩欧美在线99| 亚洲午夜精品17c| 国产综合色精品一区二区三区| 亚洲人成网站在线播| 国产精品久久久久久久7电影| 午夜精品成人在线| 蜜桃久久av| 一区二区欧美日韩视频| 久久婷婷亚洲| 99综合精品| 久久久久一区二区| avtt综合网| 久久青草久久| 亚洲美女视频在线免费观看| 午夜精品亚洲| 亚洲国产精品成人一区二区| 亚洲欧美视频在线观看| 一区二区在线看| 亚洲影音一区| 一区二区三区我不卡| 亚洲视频香蕉人妖| 狠狠久久亚洲欧美| 亚洲天堂av电影| 激情视频亚洲| 午夜精品久久| 亚洲全黄一级网站| 欧美影院一区| 日韩视频在线观看一区二区| 久久男人av资源网站| 亚洲私人影院在线观看| 欧美成人精品在线| 亚洲影院在线观看| 欧美日本中文字幕| 久久gogo国模裸体人体| 欧美午夜在线| 亚洲毛片视频| 国产一区三区三区| 亚洲尤物在线视频观看| 亚洲国产成人91精品| 久久激情综合网| 一区二区三区高清视频在线观看 | 久久亚洲综合色|