Indexed by:期刊论文

Date of Publication:2008-01-01

Journal:情报学报

Included Journals:PKU、ISTIC、CSCD、CSSCI

Volume:27

Issue:5

Page Number:670-676

ISSN No.:1000-0135

Key Words:噪声数据修正;模块度优化;文本分类;集团结构

Abstract:在文本分类的实际应用中经常使用粗略分类的数据来训练分类器,但是这种数据中经常会包含类别标记有误的数据,这些数据对文本分类结果的精度会造成不良影响.本文针对这个问题提出了一种噪声修正算法,首先建立文档关联网络,把文档上标记的类别作为在网络上划分的集团结构,并用模块度衡量集团结构的质量,通过优化模块度指标把噪声数据调整到合适的类别中,从而提高数据质量.实验结果表明,本文所提算法能够有效修正粗分类数据中的噪声,且有较高的有效性和鲁棒性.该算法可以用于文本分类训练数据的预处理,或作为辅助技术用于文献库建设等工作.