《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業界動態 > 一種基于屬性加權的代價敏感支持向量機算法

一種基于屬性加權的代價敏感支持向量機算法

2009-07-29
作者:戴元紅, 陳鴻昶, 胡海龍

??? 摘 要: 針對實際中存在的各類別樣本錯分造成不同危害程度的分類問題,提出了一種基于屬性加權的代價敏感支持向量機分類算法,即在計算各個樣本特征屬性對分類的重要度之后,對相應的屬性進行重要度加權,所得的數據用于訓練和測試代價敏感支持向量機。數值實驗的結果表明,該方法提高了誤分代價高的類別的分類精度,同時屬性重要度的引入提高了分類器的整體分類性能。該方法對錯分代價不對稱的數據分類問題具有重要的現實意義。
  關鍵詞: 屬性加權; 支持向量機; 代價敏感支持向量機

?

  SVM算法是一種專門研究小樣本情況下機器學習規律的理論,它能夠解決漸進理論所難于解決的過擬合、局部極小和泛化能力差等問題。這一新的機器學習方法表現出很多優于已有方法的性能,迅速引起各領域的關注和研究,并成功地引入到很多領域的應用中,取得了大量的應用研究成果。
  在SVM算法的研究中,提高它的分類能力是所有研究的宗旨和目的,很多學者提出了改進的支持向量機方法:給每一類樣本賦以不同權值的加權支持向量機算法WSVM(Weighted SVM)[1-2],對類別差異造成的影響進行相應的補償,提高了小類別樣本的分類精度,但影響了整體的分類性能;將模糊學引入了支持向量機,提出了模糊支持向量機算法FSVM(Fuzzy SVM)[3-4],減少野值和噪聲的影響;利用樣本的屬性重要度的支持向量機方法[5],給各個屬性設定相應的權值,提高了分類的精度。
  針對實際應用中各類別樣本錯分所造成的不同程度危害,提出了代價敏感支持向量機算法[6],該方法對支持向量機算法進行改進,將分類代價考慮進去,使得分類結果的代價最小,該方法對錯分代價不對稱的數據分類問題具有重要的現實意義,如網絡故障、網絡安全等。
1 支持向量機
  支持向量機的基本思想是對于給定的樣本集(xi,yi),xi∈Rn,yi∈{+1,-1},i=1,…,l,其中xi是n維空間中的向量,yi是xi所屬類的類別標識,尋找將兩類數據正確分開并使分類間隔最大的超平面,該超平面稱為最優超平面,分類情況如圖1所示。

?


  為了尋找最優超平面,需要求解下面的二次規劃問題:


  ???????????????????????????
其中,i>+b=0為所要求解的超平面,w是超平面的法向量,b是超平面的偏移量,C是懲罰因子,(w,xi)表示w和xi的點集,為了較準確地將兩類數據分開,使用映射Φ:X→H將x從輸入空間X映射到一高維的特征空間H。為便于計算,選擇一個核函數k(xi,xj)=<Φ(xi),Φ(xj)>用于特征空間中點積的運算。其Lagrange表達式為: 

    

  這是由Vapnik提出的第一種支持向量機,也被稱為C-SVM或標準支持向量機。
2 代價敏感支持向量機
  考慮兩類的分類問題,類別分別為C+和C-,假定C+的錯分代價大于C-的錯分代價。為了解決分類中的代價不對稱問題,將分類算法SVM進行改造,基本思想就是對C+錯分、C-錯分兩種錯誤分別引入不同的代價函數。這種方法等價于對誤分代價高的類使用更大的拉格朗日算子αi,從而使分類平面遠離C+,而靠近C-,使得未知數據被劃分為C+的概率更大,從而減小了分類中因錯分引起的損失。
  在支持向量機(SVM)中,原始問題為:
  

  在訓練過程中使用C+>C-,得到的分類器的決策平面靠近類別C-,使測試樣本更多地落在C+的區域中,從而減小C+類的樣本錯分的可能性,但也加大了C-類樣本被錯分的可能性。因此需尋找合適的參數,使得兩類樣本的分類結果都盡可能地達到最優。設兩類樣本的約束值的比值為:
  s=C+/C-
  s值通常使用窮舉的方法來確定,先固定C-的值為C,搜索最佳參數C+的值,使得分類的錯誤代價最小。
  代價敏感支持向量機的主要思想就是通過改變兩類的懲罰因子C+和C-的比值,使得分類面向遠離錯分代價高的一類的方向移動,從而使得樣本更大可能地被分為這一類,降低分類錯誤代價,但提高某一類樣本的分類正確率總是以犧牲另一類的分類正確率為代價的。
3 屬性的權值
  樣本屬性重要性的度量是屬性相關分析的主要內容,在模糊集和粗糙集理論方面有許多的研究。這里介紹常用的基于信息熵的屬性權值的計算方法[6]。
  設有數據樣本集合S,該樣本集有m個不同的屬性值和n個不同的類別,分別定義為Ai(i=1,…,m)和Cj(j=1,…,n),si為Ci中的樣本數。根據概率分布和聯合概率分布以及信息論中熵和條件熵的定義,對于一個給定的樣本分類問題所需的期望信息由下式給出:
  
  式中 pi是樣本屬于Cj的概率,其中 pi=si/s。
  設屬性A有v個不同值{a1,a2,…,av},屬性A可將樣本集S劃分為v個子集{s1,s2,…,sv},其中Sj為在屬性A上具有值ai,設sij為子集Sj中類Ci的樣本數。根據A的這種劃分的期望信息為:
    

  式中pij=sij/|sj|,|sj|是sj中樣本屬于類Ci的概率。
  在屬性A上該劃分獲得的信息增益為:
  δ=H(C)-E(A)
  根據上面的計算得到每個屬性的權重系數為:
  
  從分析中知道,該權重系數反應了樣本中各個屬性的重要程度,權重系數值越大則該屬性越重要,對分類的貢獻越大。
在確定了樣本屬性重要度后,就可以構造基于樣本屬性重要度的代價敏感支持向量機。
4 實驗結果
  本文利用MATLAB軟件進行模擬實驗,對+1類和-1類的分類性能進行比較,在三維空間中引入兩類不同的樣本:正類和負類,并引入了一定數量的噪聲和野值數據。為了驗證所提算法的有效性,利用所提算法進行了一系列比較實驗。在實驗中,模擬用的訓練樣本和測試樣本均隨機產生,樣本數據情況如表1所示。


  在實驗中考慮正類的錯分代價大于負類的錯分代價,分別用C-SVM、Cost-sensitive SVM和屬性加權的Cost-sensitive SVM進行性能測試,表2所示為分類準確率的比較。由表2可見代價敏感支持向量機分類算法提高了錯分代價高的類別的分類精度,在進行屬性加權后,總體的分類精度也得到了提高。


  本文在對支持向量機分析的基礎上,提出了對樣本屬性加權型的代價敏感加權支持向量機。數值實驗的結果表明,該方法能夠提高錯分代價敏感的類別的分類精度,同時整體的分類性能也得到了提高。但是如何確定代價系數仍然是一個需要解決的問題,也是筆者下一步要研究的方向。


參考文獻
[1]?范昕煒,杜樹新,吳鐵軍.可補償類別差異的加權支持向量機算法[J].中國圖像圖形學報,2003,8(7):1037-1042.
[2]?賈銀山,賈傳熒. 一種加權支持向量機分類算法[J].計算機工程,2005,10(5):35-39.
[3]?LIN C F, WANG S D. Fuzzy support vector machine [J].?IEEE Trans. On Neural Networks, 2002, 13(2):464-471.
[4]?陳小娟, 劉三陽. 一種新的模糊支持向量機算法[J].西安文理學院學報:自然科學版,2008,11(1):1-4.
[5]?汪延華,田盛豐. 樣本屬性重要度的支持向量機方法[J]. 北京交通大學學報,2007,10(5):43-46.
[6]?趙靖.基于SVM算法的垃圾郵件過濾研究與實現[D].北京:北京交通大學,2005.

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
红桃视频欧美| 久久国产成人| 在线播放豆国产99亚洲| 国产伦精品一区二区三区视频孕妇 | 亚洲国产一区在线观看| 久久精品99国产精品酒店日本| 午夜精彩视频在线观看不卡| 一区二区三区免费在线观看| 日韩午夜免费| 99re6热在线精品视频播放速度| 亚洲美女电影在线| 亚洲理伦电影| 一本色道久久88亚洲综合88| 日韩视频二区| 夜夜精品视频| 在线综合+亚洲+欧美中文字幕| 一区二区欧美在线观看| 一本色道精品久久一区二区三区| 99国产精品私拍| 亚洲一级在线| 亚洲欧美日本在线| 欧美一区二区三区免费看| 久久成人久久爱| 亚洲国产精品小视频| 亚洲人成人一区二区三区| 亚洲美女视频在线免费观看| 中文精品在线| 欧美一区2区三区4区公司二百| 久久成人免费| 久久这里只有精品视频首页| 欧美va日韩va| 欧美日韩一区二区免费在线观看| 国产精品国产一区二区| 国产乱码精品1区2区3区| 韩国精品主播一区二区在线观看| 亚洲成色777777女色窝| 亚洲精品一区二区三区不| 日韩一级欧洲| 午夜精品电影| 亚洲精品少妇30p| 亚洲自拍偷拍视频| 久久国产精品亚洲77777| 老司机午夜精品视频在线观看| 欧美福利视频在线观看| 欧美午夜精品久久久久久超碰| 国产精品久久久久毛片大屁完整版 | 欧美在线观看日本一区| 另类图片国产| 欧美三级不卡| 国产婷婷色一区二区三区在线| 伊人男人综合视频网| 99精品国产在热久久下载| 亚洲女同同性videoxma| 亚洲国产一二三| 亚洲一区二区三区免费视频| 久久精品国产一区二区三| 欧美激情精品久久久久久黑人 | 免费成人美女女| 国产精品hd| 激情久久婷婷| 99视频一区二区| 久久精品卡一| 亚洲欧美成人一区二区三区| 久久亚洲精品欧美| 国产精品高潮呻吟| 亚洲高清成人| 性欧美超级视频| 亚洲天堂成人| 蜜桃久久av一区| 国产精品久久久久三级| 在线电影国产精品| 亚洲综合色婷婷| 亚洲精品中文字幕女同| 欧美在线视频日韩| 欧美日韩免费网站| 激情亚洲成人| 亚洲欧美在线免费观看| 一区二区三区www| 毛片基地黄久久久久久天堂| 国产精品久久久久久久午夜片| 伊人久久婷婷色综合98网| 亚洲一区二区四区| 亚洲毛片一区二区| 久久一区免费| 国产日韩欧美在线一区| 中文亚洲字幕| 99视频精品| 牛人盗摄一区二区三区视频| 国产精品一卡| 日韩视频三区| 99riav久久精品riav| 久久综合色播五月| 国产一级精品aaaaa看| 亚洲天堂av在线免费| 亚洲国产裸拍裸体视频在线观看乱了中文 | 黄色亚洲在线| 欧美一级二级三级蜜桃| 亚洲欧美日韩一区二区三区在线观看 | 亚洲天堂视频在线观看| 日韩午夜在线电影| 欧美77777| 樱桃国产成人精品视频| 欧美在线一二三四区| 欧美一区永久视频免费观看| 欧美午夜精品理论片a级按摩| 亚洲国产岛国毛片在线| 亚洲高清不卡在线| 久久最新视频| 狠狠爱www人成狠狠爱综合网| 亚洲欧美日韩国产一区| 午夜精品av| 国产精品日本一区二区| 亚洲图片欧美一区| 亚洲欧美激情在线视频| 欧美体内she精视频| 99精品欧美一区二区三区| 99re6热只有精品免费观看| 欧美承认网站| 亚洲日本欧美天堂| 99视频精品在线| 欧美日韩精品不卡| 99精品视频免费在线观看| 这里只有精品丝袜| 欧美日韩亚洲综合| 在线亚洲欧美视频| 亚洲综合三区| 国产欧美一二三区| 欧美一区二区三区在线观看| 久久精品视频在线看| 国外成人网址| 亚洲欧洲在线播放| 欧美日本韩国一区二区三区| 99国产麻豆精品| 午夜精品久久久久久99热软件| 国产伦精品一区| 久久精品亚洲一区| 欧美高清视频一二三区| 日韩一本二本av| 午夜视频一区在线观看| 国产亚洲成年网址在线观看| 亚洲第一网站| 欧美理论电影在线观看| 一区二区精品在线| 欧美一区二区三区精品| 国内视频一区| 亚洲精品专区| 国产精品久久久久9999| 欧美有码在线观看视频| 男同欧美伦乱| 99精品国产热久久91蜜凸| 亚洲免费视频在线观看| 国产一区二区三区高清播放| 久久精品女人| 欧美日韩国产123区| 亚洲永久免费精品| 久久综合色综合88| 日韩亚洲在线观看| 欧美在线一级va免费观看| 亚洲电影天堂av| 亚洲午夜性刺激影院| 国产手机视频精品| 亚洲精品在线视频观看| 国产精品每日更新| 久久精品一区四区| 欧美欧美天天天天操| 亚洲欧美日本在线| 欧美国产1区2区| 亚洲一区二区欧美| 免费在线看成人av| 夜夜嗨网站十八久久| 久久久久久久久久久一区| 91久久夜色精品国产网站| 亚洲欧美综合| 在线免费日韩片| 亚洲欧美国产高清| 亚洲国产精品成人一区二区 | 久久激情视频久久| 亚洲精品国产精品乱码不99| 欧美专区一区二区三区| 亚洲人成免费| 久久久99爱| 一区二区高清| 免费黄网站欧美| 午夜精品久久久久久久久久久久久 | 一区二区国产日产| 美日韩精品视频| 亚洲免费一区二区| 欧美喷潮久久久xxxxx| 欧美怡红院视频| 欧美特黄一级大片| 亚洲欧洲在线免费| 国产视频久久久久| 亚洲一级黄色| 亚洲欧洲日产国产网站| 久久国内精品视频| aa亚洲婷婷| 欧美精品亚洲精品| 亚洲国产精品t66y| 国产日韩1区| 亚洲一区二区网站|