机器学习之神经网络NN

1.什么是神经网络?

神经网络（Neural Network)以人脑中的神经网络为启发而产生的，最著名对的算法是backpropagation（BP）算法。可用来解决分类问题，也可用来解决回归问题（详情见前言）

2.多层向前神经网络（Multiplier Feed-Forward Neural Network）

多层向前神经网络中使用了BP算法：

• 通过迭代性来处理训练集中的实例
• 计算经过神经网络后预测值和真实值之间的误差
• 反向最小化误差更新两个神经节点之间的误差
• 终止条件：权重的更新低于某个阈值、预测的错误率低于某个阈值、达到预设的循环次数

多层向前神经网络的组成，每一层由单元组成（图中小圈圈）
输入层：由训练集的实例特征向量传入
隐藏层：层数为一至任意多个，输入和输出只有一层
输出层：输出结果
注：

• 经过权重节点传入下一层，一层的输出是下一层的输入
• 作为多层向前神经网络，理论上，如果有足够多的隐藏层和足够大的训练集，可以模拟出任何方程
  
• 上图中有两层（输入层不算），两个神经节点之间连线有权值

3. 设计神经网络