《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > 一種自適應(yīng)網(wǎng)頁結(jié)構(gòu)化信息提取方法
一種自適應(yīng)網(wǎng)頁結(jié)構(gòu)化信息提取方法
2020年電子技術(shù)應(yīng)用第12期
淮曉永,韓曉東,高若辰,高煥新
華北計(jì)算機(jī)系統(tǒng)工程研究所,北京100083
摘要: 面向互聯(lián)網(wǎng)信息采集挖掘應(yīng)用,針對(duì)傳統(tǒng)的網(wǎng)站信息整頁采集方式存在采集信息混雜、無法直接使用,而人工結(jié)構(gòu)化采集方式成本高、工作效率低的問題,研究提出了一種自適應(yīng)網(wǎng)頁結(jié)構(gòu)化信息提取方法,實(shí)現(xiàn)了網(wǎng)頁分類算法、基于子樹的標(biāo)題項(xiàng)、內(nèi)容項(xiàng)的結(jié)構(gòu)化信息提取算法。基于典型網(wǎng)站網(wǎng)頁分類標(biāo)注數(shù)據(jù)集進(jìn)行分類模型的學(xué)習(xí)建模,可以自適應(yīng)不同網(wǎng)站的差異,對(duì)網(wǎng)頁進(jìn)行分類,按照網(wǎng)頁分類分別提取出網(wǎng)頁中的列表項(xiàng)結(jié)構(gòu)化信息、內(nèi)容項(xiàng)結(jié)構(gòu)化信息。該技術(shù)對(duì)提高網(wǎng)站信息結(jié)構(gòu)化采集處理的自動(dòng)化水平及處理效率具有重要作用。
中圖分類號(hào): TN919.5;TP391.1
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.200160
中文引用格式: 淮曉永,韓曉東,高若辰,等. 一種自適應(yīng)網(wǎng)頁結(jié)構(gòu)化信息提取方法[J].電子技術(shù)應(yīng)用,2020,46(12):97-102.
英文引用格式: Huai Xiaoyong,Han Xiaodong,Gao Ruochen,et al. An adaptive method for extracting structured information from web pages[J]. Application of Electronic Technique,2020,46(12):97-102.
An adaptive method for extracting structured information from web pages
Huai Xiaoyong,Han Xiaodong,Gao Ruochen,Gao Huanxin
National Computer System Engineering Research Institute of China,Beijing 100083,China
Abstract: In order to meet the needs of Internet information collection and mining, aiming at the problems of traditional web site information collection methods, such as mixed collection information, unable to be used directly, and the high cost and low efficiency of manual structured collection method, this paper proposes an adaptive method for extracting structured information from web pages. We implement web page classification algorithm, subtree based title item and content item structured information extraction algorithm. Based on the classification annotated dataset of typical website pages, the classification model can adapt to the differences of various web sites, classify the web pages, and extract the list structured information and content structured information in the web pages according to the web page classification. This technology plays an important role in improving the automation level and processing efficiency of website structured information collection and processing.
Key words : information extraction;structured information;classification model;adaptive

0 引言

    在互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代,互聯(lián)網(wǎng)信息呈現(xiàn)爆炸式增長,其中蘊(yùn)藏著很多有價(jià)值的重要信息需要處理與利用。通過智能化的大數(shù)據(jù)信息挖掘處理,可以從中分析把握技術(shù)發(fā)展的方向態(tài)勢(shì),迅速發(fā)現(xiàn)高價(jià)值的科技信息。

    從關(guān)注的Internet網(wǎng)站源自動(dòng)采集收集新發(fā)布的信息,并提取出其中的結(jié)構(gòu)化信息,是建立互聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)的基礎(chǔ)。通過網(wǎng)絡(luò)爬蟲系統(tǒng)可以從各類網(wǎng)站爬取大量的網(wǎng)頁數(shù)據(jù),但傳統(tǒng)的網(wǎng)站信息整頁采集方式信息混雜,無法直接進(jìn)行大數(shù)據(jù)挖掘處理,而人工從網(wǎng)頁中提取結(jié)構(gòu)化的文本信息又存在成本高、工作效率低的問題。如何通過自動(dòng)化的網(wǎng)頁數(shù)據(jù)結(jié)構(gòu)化信息采集技術(shù)實(shí)現(xiàn)自動(dòng)從網(wǎng)頁中提取結(jié)構(gòu)化的信息,是進(jìn)行互聯(lián)網(wǎng)大數(shù)據(jù)挖掘處理的關(guān)鍵預(yù)處理技術(shù)。

    本文研究針對(duì)傳統(tǒng)的網(wǎng)站信息整頁采集方式存在采集信息混雜、無法直接使用,而人工結(jié)構(gòu)化采集方式成本高、工作效率低的問題,研究實(shí)現(xiàn)了一種基于DOM樹的網(wǎng)頁結(jié)構(gòu)化信息提取方法(DOM based Web-page Structured Information Extraction,DWSIE),實(shí)現(xiàn)了一個(gè)網(wǎng)頁結(jié)構(gòu)化信息提取服務(wù)工具包,該工具包極大地提高了網(wǎng)站結(jié)構(gòu)化信息采集處理的自動(dòng)化水平和處理效率。




本文詳細(xì)內(nèi)容請(qǐng)下載:http://www.jysgc.com/resource/share/2000003263




作者信息:

淮曉永,韓曉東,高若辰,高煥新

(華北計(jì)算機(jī)系統(tǒng)工程研究所,北京100083)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 中文字幕avdvd| 国产无遮挡又黄又爽在线观看| 亚洲AV日韩精品久久久久久| 精品亚洲视频在线| 国产精品一区在线观看你懂的| a级日本理论片在线播放| 日韩欧美在线免费观看| 免费一级毛片在线播放泰国| 国产成人三级视频在线观看播放| 女人说疼男人就越往里| 久久天堂夜夜一本婷婷麻豆| 波多野结衣xfplay在线观看| 国产一级性生活| 成人羞羞视频国产| 国产精品亚洲片在线| 一区二区三区午夜| 新疆女人啪啪毛片| 久久免费看视频| 欧美成人鲁丝片在线观看| 动漫人物一起差差差漫画免费漫画| 色综合色综合色综合色综合网 | 久久久亚洲精品国产| 日韩美女视频一区| 亚洲精品午夜在线观看| 色偷偷偷久久伊人大杳蕉| 国产精品一在线观看| 91亚洲欧美综合高清在线| 在线观看视频免费123| 中文字幕欧美一区| 未满小14洗澡无码视频网站| 先锋影音av资源网| 精品人妻久久久久久888| 又粗又长又黄又爽视频| 国产激情视频在线观看首页| 国内大量揄拍人妻精品視頻 | 理论片手机在线观看免费视频| 国产一级淫片a| 蜜芽亚洲欧美一区二区电影| 国产精品99在线观看| 99re视频在线观看| 坤廷play水管|