JOURNAL OF LIGHT INDUSTRY

CN 41-1437/TS  ISSN 2096-1553

一种新的用于数据挖掘工具的网页净化算法

孙楠 ,  张华伟

downloadPDF
孙楠, 张华伟. 一种新的用于数据挖掘工具的网页净化算法[J]. 轻工学报, 2011, 26(3): 85-87,91. doi: 10.3969/j.issn.1004-1478.2011.03.021
引用本文: 孙楠, 张华伟. 一种新的用于数据挖掘工具的网页净化算法[J]. 轻工学报, 2011, 26(3): 85-87,91. doi: 10.3969/j.issn.1004-1478.2011.03.021
shu
SUN Nan and ZHANG Hua-wei. An new algorithm of Web page purification for data mining tools[J]. Journal of Light Industry, 2011, 26(3): 85-87,91. doi: 10.3969/j.issn.1004-1478.2011.03.021
Citation: SUN Nan and ZHANG Hua-wei. An new algorithm of Web page purification for data mining tools[J]. Journal of Light Industry, 2011, 26(3): 85-87,91. doi: 10.3969/j.issn.1004-1478.2011.03.021
shu

一种新的用于数据挖掘工具的网页净化算法

  • 河南财经政法 大学计算机与信息工程学院, 河南 郑州 450002

  • 中图分类号: TP393.08

An new algorithm of Web page purification for data mining tools

  • College of Comp. and Infor. Eng., He'nan Univ. of Econ. and Law, Zhengzhou 450002, China

  • Received Date: 2010-12-29
    Available Online: 2011-05-15

    CLC number: TP393.08

  • 摘要: 为了更好地消除网页噪声,有效地提取网页的主题内容,提出了一种新的网页净化算法.该算法认为网页的主题内容主要包含在〈table〉标记和〈p〉标记里面,并据此对网页噪声进行预处理,然后与相关网页进行内容匹配,通过计算节点重要度,获取网页的主题内容.对门户网站的6 318个网页的检测表明,该算法可以有效地提取网页的主题内容,准确率达到98.2%以上.用于数据挖掘工具时,该算法优于其他同类算法,可以有效地去除网页噪声.
    Abstract: In order to eliminate noise preferably and extract topic content from Web pages efficiently,an algorithm of Web page purification is presented.This algorithm argues that topic content of Web page is mainly contained in table and p,hereby Web noise can be preprocessed.Then with the content match of relevant Web page,the topic content of Web page can be acquired by way of calculating the importance of node.This algorithm has achieved very precise results,correctly extracting 98.2% of the pages in a set of 6 318 pages in portal sites.When used for data mining tools,this algorithm is better than the other similar algorithms.It can eliminate noise efficiently.
    1. [1]

      张伟伟 , 姬远鹏 , 元春波 , 王君婷 , 齐晓任 , 张卫正 , 李萌 , 饶智 . 基于改进Mask R-CNN模型的粘连烟丝识别方法. 轻工学报, 2024, 39(5): 78-85. doi: 10.12187/2024.05.009

    2. [2]

      费致根 , 鲁豪 , 宋晓晓 , 赵鑫昌 , 郭兴 , 肖艳秋 . 基于改进ResNet网络的烟丝输送带洁净度分类模型. 轻工学报, 2024, 39(5): 71-77. doi: 10.12187/2024.05.008

    3. [3]

      张建栋 , 杨忠泮 , 吴恋恋 , 徐大勇 , 朱萍 , 张雯晶 , 堵劲松 . 基于高光谱成像及机器学习的烟叶糖料液施加量判别模型. 轻工学报, 2024, 39(5): 86-94. doi: 10.12187/2024.05.010

  • 加载中
WeChat 点击查看大图
计量
  • PDF下载量:  21
  • 文章访问数:  611
  • 引证文献数: 0
文章相关
  • 收稿日期:  2010-12-29
  • 刊出日期:  2011-05-15
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索
孙楠, 张华伟. 一种新的用于数据挖掘工具的网页净化算法[J]. 轻工学报, 2011, 26(3): 85-87,91. doi: 10.3969/j.issn.1004-1478.2011.03.021
引用本文: 孙楠, 张华伟. 一种新的用于数据挖掘工具的网页净化算法[J]. 轻工学报, 2011, 26(3): 85-87,91. doi: 10.3969/j.issn.1004-1478.2011.03.021
shu
SUN Nan and ZHANG Hua-wei. An new algorithm of Web page purification for data mining tools[J]. Journal of Light Industry, 2011, 26(3): 85-87,91. doi: 10.3969/j.issn.1004-1478.2011.03.021
Citation: SUN Nan and ZHANG Hua-wei. An new algorithm of Web page purification for data mining tools[J]. Journal of Light Industry, 2011, 26(3): 85-87,91. doi: 10.3969/j.issn.1004-1478.2011.03.021
shu

一种新的用于数据挖掘工具的网页净化算法

  • 河南财经政法 大学计算机与信息工程学院, 河南 郑州 450002
  • 收稿日期: 2010-12-29
  • 网络出版日期: 2011-05-15

摘要: 为了更好地消除网页噪声,有效地提取网页的主题内容,提出了一种新的网页净化算法.该算法认为网页的主题内容主要包含在〈table〉标记和〈p〉标记里面,并据此对网页噪声进行预处理,然后与相关网页进行内容匹配,通过计算节点重要度,获取网页的主题内容.对门户网站的6 318个网页的检测表明,该算法可以有效地提取网页的主题内容,准确率达到98.2%以上.用于数据挖掘工具时,该算法优于其他同类算法,可以有效地去除网页噪声.

English Abstract

相关文章 (3)

目录

/

返回文章

网站版权 © 轻工学报编辑部

地址：河南省郑州市科学大道136号邮编：450001

本系统由北京仁和汇智信息技术有限公司开发 技术支持： info@rhhz.net