深度学习中的优化问题解决方法

深度学习中的优化问题通常指的是：寻找神经网络上的一组参数$\theta$，它能显著地降低代价函数$J(\theta)$。 这里介绍的方法都基于以下两点： - 梯度的负方向是函数在当前点减小最快的方向； - 使用一阶泰勒展开式近似当前点的函数值，即： **如何选择优化算法** - 对于稀疏数据，尽量使用学习率可自适应的优化方法，不用手动调节，而且最好采用默认值。 - SGD通常训练时间更长，但是在好的初始化和学习率调度方案的情况下（很多论文都用SGD），结果更可靠。 - 如果在意更快的收敛，并且需要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。 - Adagrad，RMSprop，Adam是比较相近的算法，在相似的情况下表现差不多 。整体来讲，Adam 是最好的选择。