Title of Paper:Pi-sigma神经网络的带动量项的异步批处理梯度算法收敛性

Hits:

Date of Publication:2008-01-15

Journal:应用数学

Included Journals:PKU、ISTIC、CSCD

Volume:21

Issue:1

Page Number:207-212

ISSN No.:1001-9847

Key Words:Pi-sigma神经网络;异步批处理梯度算法;动量项;单调性;收敛性

Abstract:本文将动量项引入到训练Pi-sigma神经网络的异步批处理的梯度算法中,有效的改善了算法的收敛效率,并从理论上对该算法的收敛性进行研究,给出了误差函数的单调性定理及该算法的弱收敛和强收敛性定理.计算机仿真实验亦验证了带动量项的异步批处理梯度算法的有效性和理论分析的正确性.