location: Current position: Home >> Scientific Research >> Paper Publications

MapReduce框架下的实时大数据图像分类

Hits:

Indexed by:期刊论文

Date of Publication:2014-08-15

Journal:计算机辅助设计与图形学学报

Included Journals:EI、PKU、ISTIC、CSCD、Scopus

Volume:26

Issue:8

Page Number:1263-1271

ISSN No.:1003-9775

Key Words:大数据;MapReduce;在线极端学习机;人脸识别

Abstract:图像数据作为大数据的重要组成部分蕴含着丰富的知识,且图像分类有着广泛的应用,利用传统分类方法已经无法满足实时计算的需求.针对此问题,提出并行在线极端学习机算法.首先利用在线极端学习机理论得到隐层输出权值矩阵;其次根据MapReduce计算框架的特点对该矩阵进行分割,以代替原有大规模矩阵累乘操作,并将分割后的多个矩阵在不同工作节点上并行计算;最后将计算节点上的结果按键值合并,得到最终的分类器.在保证原有计算精度的前提下,将文中算法在MapReduce框架上进行拓展,以人脸图像为例对大规模图像数据进行分类的结果表明,该算法能够针对大数据图像进行快速、准确的分类.

Pre One:3D numerical simulation of electrical arc furnaces for the MgO production

Next One:一种基于MapReduce的动态数据流分类算法