杨洁
个人信息Personal Information
副教授
博士生导师
硕士生导师
性别:女
毕业院校:大连理工大学
学位:博士
所在单位:数学科学学院
学科:计算数学
办公地点:大连理工大学数学科学学院505
联系方式:0411-84708351-8205
电子邮箱:yangjiee@dlut.edu.cn
扫描关注
用于神经网络权值稀疏化的L_(1/2)正则化方法
点击次数:
论文类型:期刊论文
发表时间:2015-01-01
发表刊物:中国科学. 数学
收录刊物:PKU、ISTIC、CSCD
卷号:45
期号:9
页面范围:1487-1504
ISSN号:1674-7216
关键字:神经网络; 稀疏化; L_(1/2)正则化
摘要:在保证适当学习精度前提下,神经网络的神经元个数应该尽可能少(结构稀疏化),从而降低成本,提高稳健性和推广精度.本文采用正则化方法研究前馈神经网络
的结构稀疏化.除了传统的用于稀疏化的L1正则化之外,本文主要采用近几年流行的L_(1/2)正则化.为了解决L_(1/2)正则化算子不光滑、容易导
致迭代过程振荡这一问题,本文试图在不光滑点的一个小邻域内采用磨光技巧,构造一种光滑化L_(1/2)正则化算子,希望达到比L1正则化更高的稀疏化效
率.本文综述了近年来作者在用于神经网络稀疏化的L_(1/2)正则化的一些工作,涉及的神经网络包括BP前馈神经网络、高阶神经网络、双并行前馈神经网
络,以及Takagi-Sugeno模糊模型.