location: Current position: Home >> Scientific Research >> Paper Publications

一种基于MapReduce的动态数据流分类算法

Hits:

Indexed by:期刊论文

Date of Publication:2014-07-23

Journal:大连理工大学学报

Included Journals:PKU、ISTIC、CSCD

Volume:54

Issue:4

Page Number:461-468

ISSN No.:1000-8608

Key Words:数据流分类;增量式学习;极端支持向量机(ESVM);MapReduce;遗忘因子;鲁棒性

Abstract:当前动态数据流下的实时分类问题存在3个难点:针对海量数据的实时处理;概念漂移的跟踪和模型的更新;模型的稳定和鲁棒性。针对上述问题,将极端支持向量机(extreme support vector machine,ESVM)与 MapReduce 框架结合,提出了带遗忘因子的鲁棒 ESVM算法。该方法通过构造残差权重矩阵,对残差进行修正,同时加入遗忘因子,提高新样本的作用,从而实现对海量数据处理问题的求解。实验结果显示,所提出方法能够快速有效地对动态数据流进行分类,且结果不易受到噪声干扰,稳定性强。

Pre One:MapReduce框架下的实时大数据图像分类

Next One:Higher-dimension time-series mining with manifold learning approach