采用进化策略的混合式反向传播训练

采用进化策略的混合式反向传播训练(中文6000字,英文PDF)
摘要
这项工作提出了一种神经网络训练的混合算法，它将反向传播（BP）方法与演化算法相结合。 在所提出的方法中，BP更新网络连接权重，并且（1 1）演化策略（ES）自适应地修改主要学习参数。 该算法可以包含不同的BP变量，如具有自适应学习率（GDA）的梯度下降，在这种情况下，学习率可以通过随机（11）-ES以及GDA的确定性自适应规则进行动态调整; 称为模量搜索的组合优化策略。 该提案在三个不同的领域进行测试，包括时间序列预测，分类和生物识别，使用几个问题实例。 实验结果表明，该混合算法可以大大提高标准BP方法。 总之，所提出的方法提供了对基本BP培训的简单扩展，从而提高了性能并减少了对现实问题中参数调整的需求。