《電子技術應用》
您所在的位置:首頁 > 通信與網(wǎng)絡 > 設計應用 > 使用垂直數(shù)據(jù)格式挖掘頻繁項集
使用垂直數(shù)據(jù)格式挖掘頻繁項集
來源:微型機與應用2011年第18期
陳 偉
(淮南聯(lián)合大學 計算機系,安徽 淮南232038)
摘要: 關聯(lián)規(guī)則是數(shù)據(jù)挖掘的主要技術之一,它是描述數(shù)據(jù)庫中一組數(shù)據(jù)項之間的某種潛在關系的規(guī)則。關聯(lián)規(guī)則挖掘算法——Apriori算法,主要過程是對頻繁項集的挖掘,而在對頻繁項集的挖掘中首先要生成候選頻繁項集,然后再從候選集中確定出滿足最小支持度計數(shù)的頻繁項集,這會耗費大量的CPU開銷。使用垂直數(shù)據(jù)格式挖掘頻繁項集可避免候選項目集的求解。
Abstract:
Key words :

摘  要: 關聯(lián)規(guī)則是數(shù)據(jù)挖掘的主要技術之一,它是描述數(shù)據(jù)庫中一組數(shù)據(jù)項之間的某種潛在關系的規(guī)則。關聯(lián)規(guī)則挖掘算法——Apriori算法,主要過程是對頻繁項集的挖掘,而在對頻繁項集的挖掘中首先要生成候選頻繁項集,然后再從候選集中確定出滿足最小支持度計數(shù)的頻繁項集,這會耗費大量的CPU開銷。使用垂直數(shù)據(jù)格式挖掘頻繁項集可避免候選項目集的求解。
關鍵詞: 關聯(lián)規(guī)則;Apriori算法;頻繁項集;垂直數(shù)據(jù)格式

    通常,關聯(lián)規(guī)則挖掘是指從一個大型的數(shù)據(jù)集中發(fā)現(xiàn)有趣的關聯(lián)或相關關系,即從數(shù)據(jù)集中識別出頻繁出現(xiàn)的屬性值集(Sets of Attribute-Values),也稱為頻繁項集(Frequent Itemsets,簡稱頻繁集),然后再利用這些頻繁集創(chuàng)建描述關聯(lián)規(guī)則的過程。
1 關聯(lián)規(guī)則挖掘算法
    關聯(lián)規(guī)則挖掘算法——Apriori算法是使用候選項集找頻繁項集的過程。
    Apriori算法通過對數(shù)據(jù)庫D的多趟掃描來發(fā)現(xiàn)所有的頻繁項目集。在第一趟掃描數(shù)據(jù)庫時,對項集I中的每一個數(shù)據(jù)項計算其支持度,確定出滿足最小支持度的頻繁1項集的集合L1,然后,L1用于找頻繁2項集的集合L2,如此下去……在后續(xù)的第k次掃描中,首先以k-1次掃描中所發(fā)現(xiàn)的含k-1個元素的頻繁項集的集合Lk-1為基礎,生成所有新的候選項目集CK(Candidate Itemsets),即潛在的頻繁項目集,然后掃描數(shù)據(jù)庫D,計算這些候選項目集的支持度,最后從候選集CK中確定出滿足最小支持度的頻繁k項集的集合Lk,并將Lk作為下一次掃描的基礎。重復上述過程直到不再發(fā)現(xiàn)新的頻繁項目集[1]。
2 關聯(lián)規(guī)則算法的改進
    從Apriori算法中由k頻繁項集生成k+1頻繁項集時,首先生成候選項目集Ck+1,該函數(shù)不僅要對k項集的所有符合Apriori算法條件的數(shù)據(jù)進行交集,并且要判斷候選項目集的所有子集是否在k頻繁項集中。該函數(shù)生成的許多候選項目集并不是要找的頻繁項集,但在掃描數(shù)據(jù)庫時,要記錄下這些數(shù)據(jù)的出現(xiàn)次數(shù),這會耗費大量的CPU開銷。如果D中的事務數(shù)很大,k頻繁項集中項數(shù)很多,則侯選項目集的元素個數(shù)就會很大,例如2 000個頻繁1項集,將產(chǎn)生2 000×999/2=999 000個候選2項集。如此巨大數(shù)量的候選項目集,對它進行出現(xiàn)次數(shù)的統(tǒng)計時開銷非常大,這也是整個算法性能優(yōu)劣的關鍵所在。
 (1)使用垂直數(shù)據(jù)格式挖掘頻繁項集
   Apriori算法是從TID項集格式(即{TID:itemset})的事務集挖掘頻繁模式,其中TID是事務標識符,而itemset是事務TID中購買的商品集。這種數(shù)據(jù)格式稱作水平數(shù)據(jù)格式。另外,數(shù)據(jù)也可以用項-TID集格式(即{item:TID_set})表示,其中item是項的名稱,而TID_set是包含item事務標識符的集合。這種格式稱作垂直數(shù)據(jù)格式。下面使用垂直數(shù)據(jù)格式進行有效的挖掘頻繁項集。
    首先,通過掃描一次數(shù)據(jù)庫D,在求頻繁l項集的同時,把數(shù)據(jù)由水平格式轉化為垂直格式,即記錄下每個項集在事務數(shù)據(jù)庫中出現(xiàn)時該條數(shù)據(jù)在數(shù)據(jù)庫D中的TID號,則項集的支持度計數(shù)直接是項集的TID集的長度。從k=2開始,根據(jù)Apriori性質中相交條件的項集進行Apriroi連接運算,使用頻繁k項集來構造候選k+1項集。通過取頻繁k項集的TID集的交計算對應的k+1項集的TID集。如果該TID集的長度大于最小支持度計數(shù),則該記錄為頻繁項集。重復該過程,每次k值增加1,直到不能再找到頻繁項集或候選項集。
 

    通過挖掘可以驗證最終得到的頻繁項集和用Apriori算法得到的結果是相同的[2-3]。

3 改進算法的分析

 


    理論上,改進算法應快于算法Apriori,原因如下:
    (1)該算法不用求候選頻繁項集,從而省去了項集進行連接步以后對該項集所有子集的判斷,這會節(jié)省大量
的CPU開銷,尤其是當數(shù)據(jù)庫D中的數(shù)據(jù)比較多,同時候選項集比較多時,例如頻繁1項集2 000個,根據(jù)Apriori性質,則候選頻繁1項集要有2 000×999/2=999 000個,但其中也許只有少數(shù)是要找的頻繁2項集。Apriori算法要求其中所有999 000個在數(shù)據(jù)庫中的頻繁度。
    (2) 除了由頻繁k項集產(chǎn)生候選k+1項集時利用Apriori性質之外,這種方法的另一優(yōu)點是不需要掃描數(shù)據(jù)庫來確定k+1項集(k≥1)的支持度。這是因為每個k項集的TID集攜帶了計算該支持度所需的完整信息。
    該算法的缺點是TID集可能很長,長集合不僅需要大量空間,而且求交運算需要大量計算時間。
參考文獻
[1] 韓家煒. 數(shù)據(jù)挖掘概念與技術[M].北京:機械工業(yè)出版社,2000.
[2] 陸楠.關聯(lián)規(guī)則的挖掘及其算法的研究[D]. 長春:吉林大學,2007.
[3] 羅可,張學茂. 一種高效的頻集挖掘算法[J]. 長沙理工大學學報(自然科學版),2006,3(3):84-90.
[4] 汪光一. 關聯(lián)規(guī)則挖掘算法的研究[D]. 北京:北京交通大學,2007.
[5] 高峰,謝劍英. 發(fā)現(xiàn)關聯(lián)規(guī)則的增量式更新算法[J].計算機工程,2000(12):49-50.
[6] KANTARDZIC M(美).數(shù)據(jù)挖掘-概念、模型、方法和算法[M]. 北京:清華大學出版社,2003.

此內容為AET網(wǎng)站原創(chuàng),未經(jīng)授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲国产成人av| 久久精品人人做人人爽| 欧美亚洲一区三区| 亚洲一区二区三区精品动漫| 亚洲精品视频二区| 亚洲全黄一级网站| 亚洲国产精彩中文乱码av在线播放| 国产九九视频一区二区三区| 国产精品免费看片| 国产精品乱人伦一区二区| 欧美视频在线观看一区二区| 欧美裸体一区二区三区| 欧美精品在线免费观看| 欧美激情视频给我| 欧美理论电影在线播放| 欧美精品一区二区三区在线播放| 欧美激情亚洲另类| 欧美日韩国产成人在线91| 欧美日韩国产一区二区三区| 欧美日本国产精品| 欧美色中文字幕| 国产精品久久久一区麻豆最新章节| 欧美三日本三级少妇三2023| 欧美日韩在线播放一区| 欧美天天在线| 国产精品亚洲人在线观看| 国产日韩精品一区二区三区在线| 国产区精品在线观看| 国产在线播放一区二区三区| 一区二区视频免费在线观看| 亚洲激情一区二区三区| 99国产精品久久久久久久| 99国产精品99久久久久久粉嫩| 一二三区精品| 亚洲欧美中日韩| 久久精品亚洲乱码伦伦中文| 亚洲人体影院| 一区二区av在线| 亚洲免费在线观看| 久久久久.com| 欧美不卡一区| 欧美日韩三级电影在线| 国产精品亚洲网站| 激情婷婷亚洲| 日韩午夜激情av| 亚洲欧美日韩一区二区三区在线| 欧美影院成年免费版| 最新精品在线| 亚洲综合国产| 久久影院亚洲| 欧美日韩精品免费观看视频| 国产精品爽爽ⅴa在线观看| 国产一区二区三区在线观看精品 | 久久国产欧美精品| 男女av一区三区二区色多| 欧美午夜在线| 国产一区二区福利| 亚洲精品国产品国语在线app| 亚洲午夜免费福利视频| 亚洲国产精品女人久久久| 一区二区三区精密机械公司| 欧美主播一区二区三区美女 久久精品人| 久久综合九色综合欧美就去吻| 欧美日韩成人一区| 国产亚洲综合性久久久影院| 亚洲经典在线| 午夜精品福利一区二区蜜股av| 亚洲精品乱码久久久久久按摩观| 午夜精品久久一牛影视| 久久视频在线免费观看| 欧美日韩一区在线观看视频| 国产亚洲高清视频| 在线视频欧美日韩精品| 亚洲国产精品第一区二区三区| 正在播放日韩| 久久在线视频在线| 国产精品高潮呻吟视频| 亚洲国产成人av| 性伦欧美刺激片在线观看| 在线亚洲成人| 蜜臀久久久99精品久久久久久 | 国产精品久久久久久亚洲毛片| 在线日韩中文| 亚洲一区免费网站| 日韩午夜在线视频| 久久久久久久网站| 国产精品亚洲综合久久| 日韩图片一区| 亚洲精美视频| 久久女同互慰一区二区三区| 国产精品亚洲产品| 99国内精品| 日韩视频中文字幕| 免费短视频成人日韩| 国产日韩视频一区二区三区| 亚洲网友自拍| 亚洲一区二三| 欧美日本在线播放| 亚洲第一色中文字幕| 欧美中日韩免费视频| 欧美影院视频| 国产精品亚洲第一区在线暖暖韩国| 亚洲免费观看高清完整版在线观看| 亚洲国产精品成人综合| 久久美女性网| 国产主播一区二区| 欧美一级淫片播放口| 欧美一区午夜精品| 国产精品老女人精品视频| 日韩图片一区| 一区二区日韩精品| 欧美日韩国产另类不卡| 最近看过的日韩成人| 亚洲精品永久免费精品| 免费高清在线一区| 亚洲第一综合天堂另类专| 久久精品一区二区| 麻豆国产va免费精品高清在线| 国产主播精品| 久久精品国产精品亚洲精品| 久久精品人人做人人综合 | 91久久国产综合久久| 美女精品视频一区| 在线日韩欧美视频| 亚洲精品国产视频| 欧美激情精品久久久久久变态| 亚洲国产裸拍裸体视频在线观看乱了中文| 久久精品二区| 裸体素人女欧美日韩| 在线看国产一区| 最新成人av在线| 欧美高清在线精品一区| 亚洲欧洲在线一区| 一区二区三区四区蜜桃| 欧美特黄一区| 亚洲欧美激情视频| 久久狠狠久久综合桃花| 韩国精品一区二区三区| 亚洲黄色尤物视频| 欧美激情亚洲另类| 一区二区欧美国产| 欧美在线观看视频| 加勒比av一区二区| 亚洲国产日韩一级| 欧美成人精品在线播放| 亚洲精品国产系列| 亚洲欧美日韩在线观看a三区| 国产日韩一区二区三区在线| 亚洲大胆美女视频| 欧美日韩a区| 亚洲自拍偷拍色片视频| 久久久夜精品| 亚洲欧洲一区二区在线播放| 亚洲一区二区三区高清不卡| 国产精品手机视频| 亚洲国产99| 欧美日韩国产二区| 亚洲欧美日韩第一区| 久久亚洲欧美| 亚洲精品四区| 欧美在线观看你懂的| 在线日韩电影| 亚洲欧美另类在线| 狠狠狠色丁香婷婷综合激情| 99re6这里只有精品| 国产精品亚洲美女av网站| 亚洲国产高清高潮精品美女| 欧美日韩一区二区视频在线观看| 欧美亚洲免费| 欧美片第一页| 午夜性色一区二区三区免费视频| 欧美成人免费在线| 亚洲一区尤物| 欧美福利电影网| 亚洲一区免费在线观看| 免费在线观看日韩欧美| 亚洲视频在线二区| 免费在线看一区| 亚洲女性喷水在线观看一区| 欧美高清日韩| 欧美一区=区| 欧美日韩免费在线| 久久精品日韩一区二区三区| 欧美三级视频在线播放| 久久精品国产综合精品| 国产精品成人免费| 亚洲激情二区| 国产精品综合| 一区二区三区黄色| 精品成人一区二区三区| 亚洲欧美日产图| 亚洲激情视频在线| 久久久久国产一区二区三区| 日韩一级精品视频在线观看| 久久久久久久91| 中文在线资源观看网站视频免费不卡 | 欧美精品123区| 欧美一区国产在线| 欧美调教vk| 亚洲免费观看视频|