点击次数：

论文类型：期刊论文

发表时间：2008-01-01

发表刊物：情报学报

收录刊物：PKU、ISTIC、CSCD、CSSCI

卷号：27

期号：5

页面范围：670-676

ISSN号：1000-0135

关键字：噪声数据修正;模块度优化;文本分类;集团结构

摘要：在文本分类的实际应用中经常使用粗略分类的数据来训练分类器,但是这种数据中经常会包含类别标记有误的数据,这些数据对文本分类结果的精度会造成不良影响.本文针对这个问题提出了一种噪声修正算法,首先建立文档关联网络,把文档上标记的类别作为在网络上划分的集团结构,并用模块度衡量集团结构的质量,通过优化模块度指标把噪声数据调整到合适的类别中,从而提高数据质量.实验结果表明,本文所提算法能够有效修正粗分类数据中的噪声,且有较高的有效性和鲁棒性.该算法可以用于文本分类训练数据的预处理,或作为辅助技术用于文献库建设等工作.