location: Current position: Home >> Scientific Research >> Paper Publications

基于动量分数阶梯度的卷积神经网络优化方法

Hits:

Date of Publication:2021-01-01

Journal:计算机工程与应用

Abstract:针对采用传统梯度下降算法训练卷积神经网络收敛速度慢的问题,提出了动量分数阶梯度下降算法。首先,介绍了分数阶微积分的定义,并依据问题描述,通过算法推导,将整数阶梯度下降算法中的动量思想应用到分数阶梯度下降算法中,设计出动量分数阶梯度下降算法;其次,使用测试函数验证算法的收敛性,并分析不同分数阶阶次和动量项系数对算法收敛性的影响;最后,在3个数据集上使用动量分数阶梯度下降算法与传统梯度下降算法、动量梯度下降算法作对比实验,实验数据表明,动量分数阶梯度下降算法可以在不同复杂程度的数据集上,在保证较高分类准确率的前提下,极大提高卷积神经网络的收敛速度,为训练卷积神经网络节省大量时间成本。

Note:新增回溯数据

Pre One:基于多核学习-密度峰值聚类的基础矩阵估计

Next One:基于奇异值分解的非均匀采样非线性系统的模糊模型辨识