考研复试冲冲冲之非重点课程复习

考研复试之非重点课程复习

离散数学

只整理最最重要的部分

一、数理逻辑（重点）

析取 或 ∨
合取 且 ∧
蕴含（如果p，则q）p->q，称p为蕴含式的前件，q为蕴含式的后件。->称作蕴含联结词。p->q为假当且仅当p为真且q为假。

范式

简单析取式：仅由有限个命题变项或其否定构成的析取式称为简单析取式。
简单合取式：仅有有限个命题变项或其否定构成的合取式称为简单合取式。
析取范式：仅由有限个简单合取式构成的析取式称为析取范式
合取范式：仅由有限个简单析取式构成的合取式称为合取范式
极小项：设有n个命题变项，若在简单合取式中的每个命题变项与其否定有且仅有一个出现一次，则这样的简单合取式称为极小项。
主析取范式：如果公式A的析取范式中的简单合取式全是极小项，则称该析取范式为A的主析取范式。
极大项：设有n个命题变项，若在简单析取式中的每个命题变项与其否定有且仅由一个出现一次，则这样的简单合取式称为极大项。
主合取范式：如果公式A的合取范式中的简单析取式全是极大项，则称该合取范式为A的主合取范式。

二、一阶逻辑

个体词
谓词
元数
全称量词
存在量词

三、集合

幂集：设A为集合，把A的全体子集构成的集合称作A的幂集，记作P(A)

交集 并集 差集

文氏图

四、二元关系和函数

有序对：由两个元素x和y（允许x=y）按一定的顺序排列称的二元组称作一个有序对（也称序偶），记作<x, y>也可记作(x, y)。其中x是它的第一元素，y是它的第二元素。
笛卡尔积
二元关系：如果一个集合为空集或者它的元素都是有序对，则称这个集合是一个二元关系，一般记作R，对于二元关系R，如果<x, y>∈R，则记作xRy；如果<x, y>∉R，则记作xR/y

设A、B为集合，A×B的任何子集所定义的二元关系称作A到B的二元关系，特别当A=B时，则称作A上的二元关系。

关系的性质
自反性
反自反性
对称性
反对称性
传递性

关系的闭包

设R是非空集合A上的关系，有时候人们希望R具有一些有用的性质，例如，自反性（对称性和传递性）。为此，需要在R中添加一些有序对而构成新的关系R’，使得R’就是R的自反（对称或传递）闭包。

定义：设R是非空集合A上的关系，R是自反闭包（对称闭包或传递闭包）是A上的关系R’，且R’满足以下条件：

1. R’是自反的（对称的或传递的）
2. R包含于R’
3. 对A上的任何包含R的自反关系（对称或传递关系）R"都有R’包含于R"。一般将R的自反闭包记作r®，对称闭包记作s®，传递闭包记作t®

等价关系和偏序关系
设R为非空集合A上的关系，如果A是自反的、对称的和传递的，则称R为A上的等价关系。对任何x, y∈A，如果<x, y>∈等价关系R，则记作x~y
设R为非空集合A上的等价关系，以R的不交的等价类为元素的集合称作A在R下的商集，记作A/R

设A为非空集合A上的关系，如果R是自反的、反对称的和传递的，则R为A上的偏序关系，简称偏序，记作
一个集合A与A上的偏序关系R一起称作偏序集，记作<A, R>
设<A, >为偏序集。若对任意的x, y∈A，x和y都可比，则称 为A上的全序关系，且称<A, >为全序集

全序集的哈斯图是一条直线，所以，全续集也可称为线序集。
对于有穷的偏序集<A, >可以用哈斯图赖描述，实际上哈斯图就是简化的关系图。
最大元，最小元
极小元，极大元
上界、下界
最小上届 上确界
最大下界 下确界

函数的定义：

图论（重点）

空图：顶点集为空的图。
n阶图：有n个定点的图（无向图或有向图）称为n阶图。没有一条边的图称为零图。一阶零图，即只有一个定点、没有边的图，称为平凡图。

握手定理：度数至和为两倍边的条数。
推论：任何图，度数为奇数的顶点个数为偶数。
重数：在无向图中，关联一对顶点的无向图如果多于一条，则称这些边为平行边。平行边的条数为重数。
在有向图中，如果有多于1条的边的始点和终点相同，则称这些边为有向平行边，简称平行边。
含平行边的图称为多重图。既不含平行边也不含环的图称为简单图。

简单图：没有平行边也不含自环的图
完全图：
子图：
母图：
真子图：
导出子图（顶点导出的子图，边导出的子图）：
生成子图：

通路：
回路：
初级通路：顶点各异的通路
初级回路：除起点终点各异的回路
简单通路：所有边互不相同的通路
简单回路：起始点和终点相同的简单通路
复杂通路：边不各异的通路
复杂回路：边不各异的回路
除起始点外，各顶点互不相同、边互不相同，则称该通路为初级通路或路径。当起始点相同时，称初级通路为初级回路或圈。
有边重复出现的通路为复杂通路，有边重复出现的回路为复杂回路。
连通图：若无向图G是平凡图或G中任意两顶点都是连通的，则称G为连通图；否则，称G为非连通图。

设D是一个有向图，如果略去D中各有向边的方向后所得的无向图是连通图，则称D是弱连通图，简称连通图。若D中任意两顶点至少有一个可达另一个，则称D是单向连通图。若D中任意一对顶点都是相互可达的，则称D是强联通图。
显然，强连通图一定是单向连通图，单向连通图一定是弱连通图

点割集 割点
边割集 割边（桥）

二分图

欧拉回路：经过图（无向图或有向图）中的每条边一次且仅由一次并且行遍图中每个顶点的回路（通路），称为欧拉回路（欧拉通路）。存在欧拉回路的图称为欧拉图。
哈密顿图：经过图中每个顶点一次且仅一次的回路（通路）称为哈密顿回路（通路），存在哈密顿回路的图称为哈密顿图。

树 （重点）

生成树：原图的极小连通子图
最小生成树：无相连通带权图的最小生成树

信息安全

感觉这门课被问到的概率还是挺大的，特别是这门课上学的DES、RSA可以结合计算机网络HTTPS来讲。为了准备复试，大概写下一些重要的知识点吧。最重要的是要了解对称加密和非对称加密。

安全攻击的分类

Interruption（阻断）: 破坏Availability
Interception（窃听）：破坏Confidentiality
Modification（修改）：破坏Integrity
Fabrication（伪装）：破坏Authentication

主动攻击：主要有信息内容泄露、流量分析，难以检测易防止
被动攻击：主要有伪装、重复、信息修改、延迟服务，易检测难防止

网络安全基本要求：

CANADA

Confidentiality （保密性）
Authentication （可用性）
Nonrepudiation （防抵赖）
Availability （完整性）
Deniability/Integrity （可控性）
Access control

传统密码学可分为两种：transposition（转位） & substitution（替代）
Diffusion（扩散）：将每一位明文的影响尽可能迅速地作用到较多的输出密文位中，以便在大量的密文中消除明文的统计结构，并且使每一位密钥的影响尽可能迅速地扩展到较多的密文位中，以防对密钥进行逐段破译。
Confusion（混淆）：使密文的统计特性与密钥的取值之间的关系尽可能复杂化

对称加密（重点）

对称加密的概念：采用单钥密码系统的加密方法，同一个密钥可以同时用作信息的加密和解密，这种加密方法称为对称加密，也称为单密钥加密。
DES（Data Encryption Standard）算法：即数据加密标准，是一种使用密钥加密的块算法。
基本变换函数有：P-BOX，S-BOX，XOR，Circular Shift， Swap， Split/Combine
参数：64位块输入、56位秘钥、16个48位子秘钥、函数、8个带有四行16列的S-box
AES：（Advanced Encryption Standard）高级数据加密标准
秘钥长度：采用对称分组密码体制，密钥的长度最少支持为128、192、256，分组长度128位，算法应易于各种硬件和软件实现。

多重加密
2-DES算法：
2-DES算法是不安全的，中间相遇攻击可以大幅减少秘钥计算量
假如已知一对明文与密文
即可以对密钥空间2⁵⁶的所有可能求明文的加密结果并存储至数组，再对密钥空间2⁵⁶所有可能求密文的解密结果，判断该结果是否在数组中，如果在就称为中间相遇。
3-DES算法：更加安全，但同时需要更大的开销

分组密码：加密模式

ECB（Electronic codebook）：每块明文独立地用相同的秘钥加密
CBC（Cipher Block Chaining）：在该方案中，加密算法的输入为当前明文块与前一个密文块的异或;每个块使用相同的秘钥。
CFB（Cipher feedback）
OFB（Output feedback）
CTR（Counter）
秘钥分配
Key Distribution Scenario （KDC）

非对称加密（重点）

非对称加密：非对称加密算法需要两个密钥：公开密钥（publickey:简称公钥）和私有密钥（privatekey:简称私钥）。公钥与私钥是一对，如果用公钥对数据进行加密，只有用对应的私钥才能解密。因为加密和解密使用的是两个不同的密钥，所以这种算法叫作非对称加密算法。
Deffie-Hellman算法

1、首先Alice保存自己的私钥a（随机数），Bob也保存自己的私钥b（随机数）
2、Alice计算 A = g^a mod p，并将g，p，A发给Bob
3、Bob计算 B = g^b mod p，然后将B发给Alice
4、Alice得到对称密钥K = B^a mod p = (g^b mod p)^a mod p = g^ab mod p 
5、Bob同样得到对称密钥K = A^b mod p = (g^a mod p)^b mod p = g^ab mod p

RSA算法步骤：
1、选择两个大的质数，p与q
2、计算n = p * q;
3、计算n的欧拉函数φ(n)，称作L，
根据公式φ(n) = (p-1)(q-1)，算得φ(n) = (p-1)(q-1)
4、随机选择一个整数e，也就是公钥中用来加密的那个数字，条件是1 < e < φ(n)，且e与φ(n)互质。
5、计算e对于φ(n)的模逆元d。也就是秘钥当中用来解密的那个数字。“模逆元”指一个整数d，可以使得e·d被φ(n)除的余数为1。e·d ≡ 1 (mod φ(n))
6、将n和e封装成公钥，n和d封装成私钥。
RSA为什么安全？
给定n，不可能算出p和q
给定n和e算不出d
对于一个很大的数n，分解它是非常困难的
RSA的应用
加密：公钥加密，私钥解密
数字签名：私钥加密，公钥解密

DES算法与RSA比较

DES优点：密钥较短，加密处理简单，加解密速度快，适用于加密大量数据的场合。
缺点：密钥单一，不能由其中一个密钥推导出另一个密钥。
RSA算法：
优点：应用广泛，加密密钥和解密密钥不一样，一般加密密钥称为私钥。解密密钥称为公钥，私钥加密后只能用公钥解密，当然也可以用公钥加密，用私钥解密。
缺点：密钥尺寸大，加解密速度慢，一般用来加密少量数据。

散列函数

组合应用PGP加密算法

机器学习

感觉被问到的概率比较小

机器学习基本任务

回归：解决分类、预测问题
分类：分类、识别、检测
聚类：分割（图像、视频）、数据挖掘、字典学习
表征：特征提取、数据重构、信息检索

方法分类

有监督学习
数据都有明确的标签，根据机器学习产生的模型
可以将新数据分到一个明确的类或得到一个预测
值。
无监督学习
数据没有标签，机器学习出的模型是从数据中提
取出来的模式（提取决定性特征或者聚类等）
半监督学习
部分数据有明确的标签，根据机器学习产生的模
型可以将新数据分到一个明确的类或得到一个预
测值。

数据划分

训练集（Training Set）
– 用来训练模型或确定模型参数。
测试集（Testing Set）
– 测试已经训练好的模型的推广能力。
验证集（Validation set）可选
– 用来做模型选择（model selection），即做模型的最
终优化及确定的。
数据划分策略之常见划分策略：
留出法、交叉验证法、自助法

性能度量

均分误差、误差与精度、查准率、查全率、F1 Score，ROC、AUC

回归分析

定义：确定两种或两种以上变量间相互依赖的定量关
系的一种统计分析方法。
线性回归、逻辑回归、多项式回归等

最小二乘法与极大似然法

牛顿法与梯度下降法

牛顿法和梯度下降法是求解最优化问题的常见的两种算法。
 前者使用割线逐渐逼近最优解，后者使得目标函数逐渐下降。
 牛顿法的收敛速度快，但是需要二阶导数信息。
 梯度下降法计算速度快，但是需要人工确认步长参数。
 BB步实际上借助了二阶导数信息(𝒙𝒏−𝟏和𝒙𝒏的梯度的差)。

过拟合：过度的拟合数据以降低训练误差导致泛化能力查的现象。解决方案：正则化、交叉验证、选取合适的停止训练标准。神经网络模型中，可以使用权值衰减的方法。
欠拟合：
正则化

决策树

构建一个基于属性的树形分类器
决策树的构建：分治法的思想（递归）
– 对于当前结点返回递归条件：
① 当前结点样本均属于同一类别，无需划分。
② 当前属性集为空。
③ 所有样本在当前属性集上取值相同，无法划分。
④ 当前结点包含的样本集合为空，不能划分。

信息熵：信息熵越小，信息量越大，不确定性越小，样本纯度越高
信息增益：信息增益越大，意味着使用属性赖划分所获得的纯度提升越大
ID3算法（Quinlan, 1986）
基本思想：使用信息增益为准则来选择划分属性
ID3算法的缺陷：信息增量准则对可取值数目较多的属性有所偏好
C4.5算法：判断准则：增益率（Gain Ratio）
CART算法：判断准则：基尼指数（Gini Index）
剪枝处理——避免训练过拟合
– 预剪枝(prepruning)
• 预剪枝是指在决策树生成过程中，对每个结点
在划分前后进行估计，若当前结点划分不能提
升决策树泛化性能，则进行裁剪，把结点标记
为叶结点。
– 后剪枝(postpruning)
• 后剪枝是在生成一颗完整的决策树后，对非叶
结点自底向上地对非叶结点进行考察，若将该
结点对应的子树被替换为叶节点能提升决策树
泛化能力，则进行裁剪。

•预剪枝：
– 优点：减少属性划分与测试时间开销。
– 缺点：可能造成欠拟合。
•后剪枝：
– 优点：减少欠拟合风险！
– 缺点：时间开销大。

神经网络

激活函数
感知机
单隐层神经网络
多层神经网络
误差逆传播算法

BP算法小结

核心思想：利用前向传播，计算第 𝑛 层输出值
优化目标：输出值和实际值的残差。
计算方法：将残差按影响逐步传递回第 𝑛 −
1, 𝑛 − 2, ⋯ , 2层，以修正各层参数。（即所谓的
误差逆传播）
主要工具：链式法则（复合函数求偏导

BP算法局限性

容易过拟合！
早停、正则化
• 容易陷入局部最优！
选取多次初值、随机梯度下降法
• 难以设置隐层个数！
试错法

– 狭义上讲，多层神经网络可以属于深度学
习的一种方法。
– 广义上讲，深度学习与多层神经网络等价。
(网络节点都看成广义神经元)
常见的深度学习网络
自编码网络 (AE)
• 卷积神经网络 (CNN)："Convolutional Neural Network
• 深度堆栈网络 (DBN)：Deep neural network
• 递归神经网络 (RNN)：Recurrent Neural Network
• 生成对抗网络 (GAN)： Generative Adversarial Networks
• 胶囊网络 (Capsules)

支持向量机（SVM）

软间隔SVM

聚类任务

K-means算法

给定数据 𝒙𝒊 𝒊=𝟏,…,𝒏以及簇的个数 𝑘， K-means
模型可以写成下面的优化模型：

机器学习与深度学习的区别？

转载自：链接
深度学习的的定义：深度学习是一种特殊的机器学习，它可以通过学习用概念组成的网状层级结构来表征世界以获得更好的性能和灵活性。每个概念与更简单的概念相连，抽象的概念通过没那么抽象的概念计算。
1、数据依赖
深度学习适合处理大数据，而数据量比较小的时候，用传统机器学习方法或许更合适。
2、硬件依赖
深度学习十分地依赖于高端的硬件设施，因为计算量实在太大啦。
3、特征工程
在机器学习方法中，几乎所有的特征都需要通过行业专家在确定，然后手工就特征进行编码。

然而深度学习算法试图自己从数据中学习特征。这也是深度学习十分引人注目的一点，毕竟特征工程是一项十分繁琐、耗费很多人力物力的工作，深度学习的出现大大减少了发现特征的成本。
4、解决问题的方式
在解决问题时，传统机器学习算法通常先把问题分成几块，一个个地解决好之后，再重新组合起来。但是深度学习则是一次性地、端到端地解决。
5、运行时间
深度学习需要花大量的时间来训练，因为有太多的参数需要去学习。顶级的深度学习算法ResNet需要花两周的时间训练。但是机器学习一般几秒钟最多几小时就可以训练好。

但是深度学习花费这么大力气训练处模型肯定不会白费力气的，优势就在于它模型一旦训练好，在预测任务上面就运行很快。这才能做到我们上面看到的视频中实时物体检测。
6.可理解性

最后一点，也是深度学习一个缺点。其实也说不上是缺点吧，那就是深度学习很多时候我们难以理解。一个深层的神经网络，每一层都代表一个特征，而层数多了，我们也许根本就不知道他们代表的啥特征，我们就没法把训练出来的模型用于对预测任务进行解释。例如，我们用深度学习方法来批改论文，也许我们训练出来的模型对论文评分都十分的准确，但是我们无法理解模型到底是啥规则，这样的话，那些拿了低分的同学找你质问“凭啥我的分这么低啊？！”，你也哑口无言····因为深度学习模型太复杂，内部的规则很难理解。

但是机器学习不一样，比如决策树算法，就可以明确地把规则给你列出来，每一个规则，每一个特征，你都可以理解。

但是这不是深度学习的错，只能说它太牛逼了，人类还不够聪明，理解不了深度学习的内部的特征。