Hits:

Indexed by:期刊论文

Date of Publication:2015-04-20

Journal:中国石油大学学报（自然科学版）

Included Journals:EI、PKU、ISTIC、CSCD、Scopus

Volume:39

Issue:2

Page Number:164-170

ISSN No.:1673-5005

Key Words:神经网络;梯度法;逆向迭代算法;单调性;正则化;收敛性

Abstract:L1/2正则子比L2正则子更具稀疏性,有更强的剪枝能力;但其非凸、非光滑以及不满足Lipschitz条件的函数性质,使神经网络训练过程易于出现数值振荡现象,并且给收敛性分析带来理论困难.用光滑函数逼近L1/2正则子在克服数值振荡的同时可以保证目标函数具有良好的连续可微性质.针对提出的带光滑L1/2正则化项的逆向迭代神经网络模型,证明了误差函数的单调递减性质及算法的确定型收敛性:弱收敛和强收敛.数值实验表明,新的逆向迭代学习算法较已有算法保证了输入向量序列在训练过程中的稳定性及稀疏性,并有较好的泛化能力.