2.2 神经网络简介

最新推荐文章于 2025-04-20 15:25:41 发布

原创最新推荐文章于 2025-04-20 15:25:41 发布 · 316 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #tensorflow #pytorch #caffe #神经网络

深度学习CV 专栏收录该内容

20 篇文章

订阅专栏

2.2 神经网络简介

学习目标

目标
- 知道神经网络的定义
- 了解感知机与神经网络的联系
- 了解神经网络的发展历史
应用
- 无

2.2.1 什么是神经网络

要理解神经网络，先解释一种叫做感知机（perceptron）的人工神经元。感知机由科学家Frank Rosenblatt发明于1950至1960年代，他受到了来自Warren McCulloch 和Walter Pitts的更早工作的启发。

注：我们通常使用其它种类的人工神经元模型，主要使用的是一种叫做sigmoid神经元（sigmoid neuron）的神经元模型。

2.2.1.1 感知机(PLA: Perceptron Learning Algorithm))

2.2.2 playground使用

网址：http://playground.tensorflow.org

那么在这整个分类过程当中，是怎么做到这样的效果那要受益于神经网络的一些特点

2.2.2.1 playground简单两类分类结果

但是这种结构的线性的二分类器，但不能对非线性的数据并不能进行有效的分类。如下面异或问题例子：

感知机结构，能够很好去解决与、或等问题，但是并不能很好的解决异或等问题。我们通过一张图来看，有四个样本数据

与问题：每个样本的两个特征同时为1，结果为1

或问题：每个样本的两个特征一个为1，结果为1

如果解决异或：每个样本的两个特征相同为0，不同为1？

2.2.2.2 单神经元复杂的两类-playground演示

那么怎么解决这种问题呢？其实我们多增加层或者多几个感知机即可解决？也就是下图这样的结构，组成一层的结构？

2.2.3 神经网络发展史

1、深度学习其实并不是新的事物，深度学习所需要的神经网络技术起源于20世纪50年代，那个时候叫做感知机。当时也通常使用单层感知机，尽管结构简单，但是能够解决相当复杂的问题。
2、后来感知机被证明存在严重的问题，因为只能学习线性可分函数，连简单的异或(XOR)等线性不可分问题都无能为力，1969年Marvin Minsky写了一本叫做《Perceptrons》的书，他提出了著名的两个观点：1.单层感知机没用，我们需要多层感知机来解决复杂问题 2.没有有效的训练算法。
3、1974年哈佛大学博士毕业生Paul J. Werbos首次提出反向传播算法应用在神经网络的可能，The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting，但并未得到学术界的重视。直到1986年BP算法才真正开始流行起来，主要是因为Rumelhart、Hinton、Williams合著的《Learning representations by back-propagating errors》
4、虽然训练算法有了突破，但是还存在很多问题，比如以当时计算机的计算能力，训练一次神经网络耗时太久，不具备实际使用价值。同时还会存在过拟合以及梯度消失等问题。而90年代中期，由Vapnik等人发明的支持向量机（Support Vector Machines，SVM）算法诞生，它同样解决了线性不可分问题，但是对比神经网络有全方位优势：
- 1、高效，可以快速训练；
- 2、无需调参，没有梯度消失问题；
- 3、高效泛化，全局最优解，不存在过拟合问题，几乎全方位的碾压神经网络。
5、几乎在这10几年的时间，只有Hinton等几位学者在研究神经网络。直到2006年，提出了"深度置信网络"概念，有一个预训练的过程。使用微调技术作为反向传播和调优手段。减少了网络训练时间，并且提出了一个新的概念叫做"深度学习"
6、直到2012年，在ImageNet竞赛中，Hinton教授的团队，使用以卷积神经网络为基础的深度学习方案，他们训练的模型面对15万张测试图像时，预测的头五个类别的错误率只有 15.3%，而排名第二的日本团队，使用的SVM方法构建的模型，相应的错误率则高达 26.2%。从此一战成名！2012年后深度学习就成为主流。