huanfeng_AI的博客

样本空间为Ω，然后wi是样本空间中的某个样本点，设置一个实值函数X，使得每一个样本点wi都有一个对应X(wi),这样就将样本空间中的每一个样本点数量化了，这个X(wi)就是随机变量，其实它是一个函数，我们一般使用X来表示。设 E 是随机试验，Ω是其样本空间。如果对每个ω∈Ω, 总有一个实数X(ω)与之对应，则称Ω上的实值函数 X(ω) 为 E 的一个随机变量随机变量通常用英文大写字母X,Y, Z 或 希腊字母ζ,η等表示，其取值一般用小写字母 x, y, z 等表示。

条件独立性（Conditional Independence）是指，在给定某个随机变量或事件集合的条件下，两个或多个随机变量之间不再存在统计关联。其严格的数学表述为：设X,Y,Z为三个随机变量（或事件），若满足：或等价地：则称X与Y在给定Z的条件下条件独立。那么我们就可以认为事件X和事件Y关于事件Z独立，因为在事件Z发生的前提下，我们可以看到事件X并不会影响到事件Y，也就是说此时事件X和事件Y是独立的。这一定义揭示了条件独立性的本质：当已知信息Z时，X与Y。

在前面的课程中，我们学习了多个事件独立，本文对事件独立进行扩展，将其扩展到n个事件独立。

若两事件 A, B 满足, 则称 A 与 B 相互独立。如果事件A和事件B独立，那么我们可以认为事件A和事件B之间没有任何影响。

如果P(B|A)=P(B)，或者P(A|B)=P(A)，则可以认为事件A并不会影响到事件B，专业术语是事件A和事件B独立。如果事件A和事件B独立，那么P(A,B)=P(A)P(B)示例：抛掷一枚均匀硬币两次，事件A="第一次正面朝上"，事件B="第二次反面朝上"。由于两次抛掷结果互不影响，显然：符合独立性的定义。

全概率公式是概率论中的核心工具，用于计算复杂事件的概率。其核心思想是将复杂事件分解为若干互斥且穷尽的简单事件，通过计算各简单事件的概率及其条件概率，最终求得目标事件的概率。

在上面的课程中，我们对条件概率有了一个简单的了解，现在我们来看一下条件概率的定义是什么?我们可以理解为条件事件A改变了样本空间，它让样本空间变小了。使它由原来样本空间S缩减为原来的新的样本空间A。

几何型概率定义在无限不可数集上，根据测度值（长度、面积、体积）定义。事件A发生的概率为区域A的测度值与Ω测度值的比值：其中S(A)为事件A的测度，S(Ω)为整个样本空间的测度。对于一维情况，可以通过长度值来计算概率对于二维情况，可以通过面积值来计算概率对于三维情况，可以通过体积值来计算概率对于更高维度的情况，可以通过多重积分来计算概率值。

前面我们学习了频率和概率，概率可以理解为衡量某个事件发生的可能性。本文将学习概率中经典的古典概型，它是一种特殊的古典概率模型。

设A是一个事件，在相同的条件下进行n次实验，A发生了m次。则称m为事件A在n次实验中发生的频数或次数，称m与n之比m/n为事件A在n次实验中发生的频率，即为fn（A）对每个事件A，均有P(A)≥0p(Ω)=1若事件A1，A2，...两两互斥（概率的可加性），则有：则称p(A)为事件A的概率函数，也就是我们所说的概率。概率的自变量是事件，事件是多个结果的集合。概率又可以分为离散型随机事件概率和几何型随机事件概率。有限的或者无限可数的样本空间中的概率称为离散型随机事件概率。

并运算（Union）A∪B表示事件 A 或 B 至少有一个发生。例如，掷骰子时，A 为“出现奇数点”，B 为“出现偶数点”，则 A∪B 表示“所有可能结果”（即必然事件）。交运算A∩B定义：表示事件 A 和 B 同时发生。数学表达式：例如，掷骰子时，A 为“出现3点”，B 为“出现偶数点”，则 A∩B 为空集（不可能发生）。差运算A−B 或 A∩B定义：表示事件 A 发生而 B 不发生。直观意义：例如，掷骰子时，A 为“出现奇数点”，B 为“出现3点”，则 A−B 表示“出现1点或5点”

在前面的课程中，我们介绍了事件（随机事件，一个事件中包含多个结果），事件和事件之间是存在关系的，下面我们来介绍它们之间的关系。

这个世界上有必然现象和随机现象，我们只考虑随机现象，随机现象我们无法预测每一次的结果，但是它的所有结果是可以知道的，当我们重复进行多次实验的时候，那么我们可以发现规律。为了方面描述，我们令所有的结果称为样本空间，样本空间中每一个子集合我们称为是随机事件，其中当随机事件中只有一个元素的时候，我们称为基本事件，当有多个元素的时候，我们称为复合事件。当且仅当事件中的某个样本点发生称事件A发生。

在相同的条件下重复进行试验时，每次所得到的结果未必相同，或即使知道它过去的状态，也不能肯定它将来的发展状态。比如明天的温度是多少？这个是随机的，你很难运算，即使得天气预报，也是进行大数据下的估计，也不是百分百正确的。

在前面的课程中，我们主要学习了线性代数以及矩阵论，从本节课程之后，线性代数将告一段落，将开启概率论和数理统计的学习。

这里并没有说是使用了什么工具，如果你没有看前面的几篇文章，而是仅仅看这篇文章，那么你肯定是看不懂的，你不知道我在做什么。

这个的核心还是三步，第一步求dl，然后求tr，然后变成d..的形式，还要注意向上面的这样复合和函数，就要反反复复的应用这个步骤，直到最终求到自己想要求得参数矩阵。

前面我们对逻辑回归进行了参数矩阵求导操作，下面我们看一下多元逻辑回归是如何求导的，其中损失l如下所示其中softmax我们使用上面的方式表示，1^T表示全1的向量，那么此时的分母就是求和了，其中x是一个n*1的向量，和之前的线性回归不同，这里是单样本了，不再是多样本了。

前面我们已经学习了标量对矩阵的求导，在机器学习和深度学习中损失一定是标量，所以我们本文看一下简单的线性回归算法是如何进行矩阵参数求导的,没看上一篇文章的，先看上一篇文章,不然你不懂什么是微分工具，什么是tr工具。

这个看起来是很麻烦的，但是真正理解之后，发现就是三个步骤，第一个步骤求df，然后求tr(df)，然后转成...dx地形式，那么最终就求出来了，但是还要注意地一点是，上面地例子做了两个这个步骤，之所以做两个这个步骤，是因为这是一个复合求导地问题，如果不是复合求导地话，问题会更加简单。要想处理好这个问题地关键在于如何很好地明确这三个步骤，以及如何很好地使用微分工具以及tr工具，ok，以上就是标量关于矩阵地求导公式。

顺序主子式是从左上角到右下角取，而主子式是直接从矩阵A中取出一个矩阵，从哪里取都行。

我们可以看到等价矩阵、合同矩阵、相似矩阵中这三个矩阵是不断深化的，其中：1.合同矩阵一定是等价矩阵，反之不成立。2.相似矩阵必为等价矩阵，反之不成立。3.若两个矩阵合同，但不一定相似；若两个矩阵相似，但不一定合同4.如果能够满足：P^T=P^(-1)，那么相似矩阵必为合同矩阵，合同矩阵也必为相似矩阵。5.如果A与B都是n阶实对称矩阵，且有相同的特征根,则A与B既相似又合同。（n阶实对称矩阵A必可相似对角化，且相似对角阵上的元素即为矩阵本身特征值。

在前面的课程中，我们学习了三种方法将n元二次型转换为标准二次型，核心如下：其中B=C^TAC，那么就可以认为A与B合同，下面看一下合同矩阵的定义：这个意思是说，二次型的矩阵A经过非退化线性变换xCy得出的二次型的矩阵B=C^TAC,此时A与B是合同的。

二次型是线性代数中的核心概念，其标准型形式在简化问题、揭示几何特征和物理本质方面具有关键作用。理解其转换方法与实际意义，是掌握线性代数应用的关键一步。

二次型作为线性代数领域的重要概念，架起了代数方程与几何分析之间的桥梁。从古典解析几何中的圆锥曲线方程到现代优化理论中的目标函数，二次型以其简洁的数学表达和丰富的结构特性，在数学物理、工程技术和经济金融等领域发挥着不可替代的作用。

特征值分解与奇异值分解作为两种经典方法，分别针对方阵与任意矩阵，揭示矩阵的本质特性。深入理解两者的差异，有助于选择合适的分解技术解决实际问题。设 A 为 n×n 方阵，若存在标量 λ 及非零向量 v，使得 Av=λv，则称 λ 为特征值，v 为对应特征向量。矩阵 A 可分解为：A=QΛQ−1其中 Q 为特征向量组成的正交矩阵，Λ 为对角矩阵（对角线元素为特征值）。

SVD将一个任意m×n的矩阵A分解为三个矩阵的乘积：A=UΣV^T。其中，U是一个m×m的正交矩阵，其列向量称为左奇异向量；Σ是一个m×n的对角矩阵，其对角线元素为非负实数，称为奇异值，且按降序排列；V是一个n×n的正交矩阵，其列向量称为右奇异向量。这一分解具有唯一性（当奇异值按降序排列时），且对于任意矩阵都成立。当A为实矩阵时，U和V为实正交矩阵；当A为复矩阵时，U和V为复酉矩阵。

定义：复矩阵指的是元素含有复数的矩阵。例如：复数可表示为 a+bi，其中 a,b∈R，i 为虚数单位。

LU分解是线性代数中一种重要的矩阵分解方法，它将一个方阵分解为一个下三角矩阵（L）和一个上三角矩阵（U）的乘积。这种分解方法在数值线性代数中有着广泛的应用，特别是在求解线性方程组、计算矩阵的行列式、求逆矩阵等方面。

首先要求一个矩阵必须是非奇异的矩阵，这个是前提，只要它是非奇异矩阵，那么它就一定拥有有限个正交矩阵的乘积P，这个P可以将矩阵A变为可逆的上三角矩阵R，此时就PA=R，可以推出A=QR，其中Q为p的逆矩阵。

QR分解就是应用了初等反射矩阵，不断的通过初等反射矩阵，然后将A变成R，Q一定是正交矩阵（矩阵的逆等于矩阵的转置），然后求逆就可以得到A=QR了当矩阵R中对角元素都是正的时候，那么此时的分解是唯一的。

I为单位矩阵，wwT为外积矩阵，系数2确保反射变换的性质。看完本文章，你应该是掌握了初等反射阵（豪斯霍尔德变换），它有很多性质，我们在计算机视觉中做变换的时候会经常使用到它，从本专栏的角度来说，我们讲解它是为之后的课程进行铺垫，在之后的课程中我们将学习一系列的矩阵分解的方法，其中就需要用到初等反射阵，所以我们这里对其进行详细的介绍。

按模最小的特征值就是最小特征值，按模最大的特征值就是最大特征值幂法和反幂法其实是一样的，反幂法要求矩阵是可逆的。幂法是计算最大特征值，而反幂法是计算最小特征值，幂法和反幂法都应用了迭代的思想。

正交化之后是进行单位化此时的r1和r2就和a3正交了，此时我们对a3进行单位化处理。

在线性代数中，矩阵是研究线性变换和方程组的核心工具。实对称矩阵是重要的矩阵类型，它们在理论研究和工程应用中具有截然不同的特性。

矩阵的相似变换是线性代数中一个至关重要的概念，它揭示了矩阵之间的一种特殊关系。并提供了通过可逆矩阵将一个矩阵转化为另一个矩阵的方法，，同时保持矩阵的某些本质特征不变。但是，你有没有想过，矩阵相似变换的本质是什么？

前面的课程中，我们学习了矩阵的对角化，基于对角化可以将矩阵A转变为对角矩阵D，但是你有没有想过，为什么要进行矩阵对角化，矩阵对角化究竟做了一件什么事情呢？

如果有两个矩阵A,B，以及一个可逆矩阵P，它们满足下面的关系：那么可以称矩阵A，B相似，记为A~B。P被称为相似变换矩阵。其中，P的列向量是A的线性无关的特征向量，Λ的主对角线元素是A的特征值。

在机器学习和数据分析领域，主成分分析（Principal Component Analysis，PCA）是一种非常流行的降维技术。它通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，即主成分。PCA算法不仅能够有效减少数据的维度，还能尽量保留原始数据中的重要信息。在这一过程中，广义瑞利商扮演着重要角色。

广义瑞利商是对瑞利商的推广，它引入了第二个Hermitian矩阵B。其中，A和B均为n×n的Hermitian矩阵，x为非零向量，且B为正定矩阵（即对任意非零向量y，有y^H B y > 0）。对向量x进行缩放，广义瑞利商不变。