金博

个人信息Personal Information

教授

博士生导师

硕士生导师

性别:男

毕业院校:大连理工大学

学位:博士

所在单位:创新创业学院

学科:计算机应用技术

办公地点:创客空间607

电子邮箱:jinbo@dlut.edu.cn

扫描关注

论文成果

当前位置: 金博 >> 科学研究 >> 论文成果

一种基于MapReduce的动态数据流分类算法

点击次数:

论文类型:期刊论文

发表时间:2014-07-23

发表刊物:大连理工大学学报

收录刊物:PKU、ISTIC、CSCD

卷号:54

期号:4

页面范围:461-468

ISSN号:1000-8608

关键字:数据流分类;增量式学习;极端支持向量机(ESVM);MapReduce;遗忘因子;鲁棒性

摘要:当前动态数据流下的实时分类问题存在3个难点:针对海量数据的实时处理;概念漂移的跟踪和模型的更新;模型的稳定和鲁棒性。针对上述问题,将极端支持向量机(extreme support vector machine,ESVM)与 MapReduce 框架结合,提出了带遗忘因子的鲁棒 ESVM算法。该方法通过构造残差权重矩阵,对残差进行修正,同时加入遗忘因子,提高新样本的作用,从而实现对海量数据处理问题的求解。实验结果显示,所提出方法能够快速有效地对动态数据流进行分类,且结果不易受到噪声干扰,稳定性强。