学以致用 知行合一

上一篇，记录了Ubuntu20.04 更新Nvidia驱动 + 安装CUDA12.1 + cudnn8.9.7的过程，最终的目的是要这些服务器上运行.net6的程序，进行图像处理、onnxruntime推理等。这里记录进行OpenCVSharp的安装和使用，因为使用OpenCVSharp比较简单，也不用它的DNN模块，所以也不想重新编译OpenCV，因为遇到了问题，所以记录一下这个事情。

边缘检测是计算机视觉领域中一项非常重要的任务。这是许多纯计算机视觉任务（例如轮廓检测）的第一步。即使涉及深度学习，较深层也首先学习识别边缘，然后再学习图像的复杂特征。所以，我们可以说边缘检测在计算机视觉领域非常重要。拥有良好且高效的图像边缘检测算法同样重要。结构化森林进行边缘检测，也称为结构化边缘检测器。已经有许多有效的边缘检测器，例如Canny、Sobel 和 Laplacian 边缘检测器。他们为什么我们需要另一个结构化边缘检测器。这种检测器的主要特点是它能够快速且更好地预测局部掩模的边缘。

傅立叶变换将图像分解为其正弦和余弦分量。换句话说，它将图像从空间域变换到频率域。这个想法是任何函数都可以用无限正弦函数和余弦函数之和来精确近似。傅里叶变换是实现此目的的一种方法。网上有很多关于傅里叶变换的文章，这里就不进行赘述了，这里主要结合代码和公式，一步步实现图像从空域到频域的变换。

首先说换脸这件事情，已经可以算是有一丢丢古老的技术了，基于OpenCV进行人脸交换的好处在于简单，坏处在于无法复刻表情。如果想要比较完美的可以去找相关技术，如果想要对脸部进行一些自定义操作，那么了解OpenCV换脸涉及到的技术点还是有价值的。基于OpenCV进行人脸交换的步骤大致是面部标志检测、Delaunay 三角测量、面部变形和无缝克隆等过程。

因为是比较旧的论文，但是据论文作者说SUJOY滤波器为图像边缘检测提供了比其他常用的一阶导数方法（如 Robert 算子、Prewitt 算子、Sobel 算子等）更好的方法。经过测试感觉并没有作者说的那么好，很水的东西，另外图像领域的事情很少有绝对的，通常都是某些方法适合某些图像。所以这里仅进行一下记录和了解。

Douglas-Peucker 算法也称为Ramer-Douglas-Peucker 算法或迭代端点拟合算法，是一种通过减少点数来平滑折线（由线性线段组成的线）的算法。简化曲线应保留原始曲线的粗略形状，但仅包含定义原始曲线的点的子集。粗化程度由单个参数 ε 控制，该参数定义原始点和简化曲线之间的最大距离。该算法由 Urs Ramer 于 1972 年独立开发，由 David Douglas 和 Thomas Peucker 于 1973 年独立开发。

正如我们所看到的，这三种方法都有各自的优缺点。阈值化在斑点分割中非常好，而高通即使在复杂的情况下也能检测点缺陷，比如光照梯度和哑光表面带来的噪声，而Gabor检测器结合了高通滤波器的灵敏度和像阈值化一样忽略不需要的对象的能力。对图像的一些操作更容易应用于图像的FT，而不是图像本身，考虑到FT的可逆性，它是全局图像处理的一个非常强大的工具。张宏喜，郭振铎，齐泽刚，王久歌，“基于离散傅立叶变换和最佳阈值方法的玻璃缺陷检测研究”，2012国际计算机科学与信息处理大会，陕西西安，2012，第1044–1047页。

在图像中，角是两个边缘相交的区域。事实上，原始论文认为角点应该是特征检测的基石，因为它们具有以下特征：离散——它们占据一个独特且小的空间（不是连续体）可靠——可能在每一帧的相似区域中重新出现有意义——强角通常来自实际物体而不是阴影或灯光首先让我们看看角的x（水平）和y （垂直）梯度是什么样的。我们可以使用Sobel 算子来计算。角点的水平 (x) 和垂直 (y) 图像梯度。上图的最左侧，是一个带有噪声的角的图像。中间的两个图像是图像的x和y梯度。最右侧是x、y梯度的散点图。

如果相机在移动，光流本身无法有效检测运动。尽管可以区分某些运动，但我们需要找到一种方法来区分相机和物体运动，以便执行检测。在本教程中，我们将利用深度光流和特殊的 RANSAC 算法来检测移动摄像机的运动。一个随机样本共识（RANSAC）的简单介绍下图显示了我们使用的两个测试图像之间的估计光流，数据来自VisDrone 数据集。VisDrone 数据集上面的图像表示了城市场景中的移动物体，右侧的估计光流是使用RAFT计算的，RAFT是一种强大的用于光流估计的深度神经网络。

一、简述数据增强包含各种扩展和增强机器学习和深度学习模型数据集的技术。这些方法跨越不同的类别，每种方法都会改变数据以引入多样性并提高模型的稳健性。几何变换（例如旋转、平移、缩放和翻转）会修改图像方向和结构。颜色和对比度调整会改变图像外观，包括亮度、对比度和颜色抖动变化。噪声注入（例如添加高斯噪声或椒盐噪声）会引入随机变化。剪切、滤除和混合技术（例如 Mixup 和 CutMix）会修改图像或其组件以创建新样本。此外，马赛克增强可以从多个原始图像构建合成图像，使数据全面多样化。

我们的目标是在更简单的图像上表征算法，我们将专注于使用 numpy 和 opencv 创建旋转对称测试图像。首先我们将制作一个简单的测试图像，然后我们将使用正弦曲线制作更复杂的图像。这是一个具有各种峰值和谷值的测试图像，可以供我们比较算法或滤波器的性能。当我们从中心向外时，进入一个非常高的频率区域，该区域的频率一直到边缘逐渐减小。在计算机视觉和图像处理中，创建测试图像通常很有用，可以更好地了解算法或过滤器的执行方式。我们使用高斯模糊的原因是使圆的边界逐渐趋于零，而不是粗暴地下降。的函数的圆形对称波纹。

计算机视觉技术在木材行业中被用于检测和测量成堆木材中的原木。主要是测量原木的数量及其体积和尺寸。很多场景都是手动测量和收集此类数据，耗费人力并且存在人为错误的风险。可靠的替代工业技术是使用激光扫描仪来扫描，然后估计木材堆中每根原木的长度、尺寸和体积。然而，安装和维护激光扫描仪是一种成本昂贵的解决方案。并且在工厂设施之外不容易进行扫描。在我们的场景中，图像由合作林业的人员拍摄，分辨率为640x480像素。这些图像可能会模糊、曝光过度或曝光不足，这意味着图像质量可能远非理想。

我们已经了解了如何使用帧间差分和密集光流来检测运动。当相机不移动时，这两种方法都效果很好，但是对于静止相机场景，还有一种方法，这就是背景减法。在这种方法中，我们学习背景模型，然后从当前图像中减去它以获得初始运动掩模。

非极大值抑制是去除不太可能的检测（通常是重复检测）的过程，它是强大的目标检测器（例如 YOLO）的常见部分。右侧的卡车有多个检测，一般是前面一个，后面一个。这种方法的一个关键假设是相机必须是静止的，如果相机移动，我们将不得不采用更先进的技术（例如相机运动补偿）来准确确定哪些对象正在移动。此外，移动物体的大小会有很大差异，大的目标的差异会明显更大，并且图像底部的像素运动也更大。差异基本上包含了我们检测移动物体所需的所有信息，但是如果我们想制作一个相对有效的物体检测器，我们还需要做更多的事情，下图显示了原因。

运动模糊在图像中很常见，它会降低图像的价值，因为它会破坏图像中包含的数据。在计算机视觉中，通常通过使用许多不同的模糊增强来训练神经网络以适应这种模糊。建模模糊或图像退化的概念来自图像恢复，这是逆转退化影响的过程，以便人类或算法可以辨别原始捕获的数据。​ 传统上，对退化函数H进行建模是图像恢复过程的重要组成部分。我们还对随图像中 (x,y) 位置变化的噪声值 η(x,y) 进行建模。在这里，我们将仅关注通过运动模糊降级对H进行建模的情况。

将图像与内核卷积。该函数将任意线性滤波器应用于图像。当内核部分位于图像之外时，该函数会根据指定的边框模式对异常像素值进行插值。 该函数确实计算相关性，而不是卷积： 也就是说，内核不是围绕锚点镜像的。如果您需要真正的卷积，请使用翻转内核并将新锚设置为 (kernel.cols - anchor.x - 1, kernel.rows - anchor.y - 1)。 该函数在内核较大（11 x 11 或更大）的情况下使用基于 DFT 的算法，而对于小内核则使用直接算法。

认识到易于使用的 Python 库用于背景去除的有用性和需求，Dag Sverre Seljebotn 进一步开发了 rembg 库，为利用 Rembg 算法提供了一个方便的 Python 接口。rembg 模块提供了一个简单的接口，用于在 Python 代码中使用 Rembg 算法。Python 中的 rembg 模块是一个用于去除图像背景的库。该算法经过训练，可以识别图像中的前景物体并将其与背景分开，从而产生具有透明背景的图像。rembg库基于 Rembg 算法，该算法本身有一个有趣的历史。

这里是使用动画片猫和老鼠进行计算，基本流程如下：1、导入并读取视频，从中提取帧，并将其另存为图像2、标记一些图像以训练模型（别担心，我已经为你做好了）3、根据训练数据构建我们的模型4、对剩余图像进行预测5、计算汤姆和杰瑞的屏幕时间。

综上所述，熵编码是解码过程的最后一步，它通过为较常见的系数分配较短的代码，为较不常见的系数分配较长的代码来进一步压缩视频数据。它将较短的代码分配给更常见的系数，将较长的代码分配给不太常见的系数。较频繁的系数分配较短的代码，较不频繁的系数分配较长的代码。这些先进的方案对不同的频段使用不同的量化值，这允许对高频系数应用更多的压缩，而高频系数通常对视频质量不太重要。使用有损压缩时，视频输出的质量会受到所使用的压缩级别的影响。删除的数据量取决于所使用的压缩级别，较高的压缩级别会导致更大的数据丢失和较小的文件大小。

因此，您可以使用 numpy 切片语法来获取像素y0到y1垂直方向和像素x0到x1水平方向（请记住，在矩阵中，坐标是从上到下、从左到右编号的）。这里遇到的问题是保存视频时，需要使用FourCC.FromString("X264")，而不是Python的那个格式，看官网说是有些东西被废弃了，没有深究。将图像和目标尺寸作为像素大小的（宽度，高度）元组，并返回一个新的 numpy 数组。当使用OpenCV时，最常使用的是图像，但是我们也可以多个图像创建动画，通过引入时间轴更容易可视化。

在将图像输入机器学习算法之前，通常对图像执行的预处理步骤之一是将它们转换为特征向量。将图像转换为特征向量有几个优点，可以使机器学习算法更加高效的运行。在将图像转换为特征向量的不同技术中，经常与不同机器学习算法结合使用的两种最流行的技术是定向梯度直方图和词袋技术。这里主要就是为了了解用于图像矢量表示的定向梯度直方图 (HOG) 和词袋 (BoW) 技术。在OpenCV中也有机器学习模块，机器学习模块要求将图像数据以等长度的特征向量的形式输入到机器学习算法中。

现在，我们将创建一个大小为 (110,20)、白色 (255,255,255) 的新图像。我们首先导入将要使用的库。在这里，对于每种字体，对于字符列表中的每个字符，我们将生成单词。然后，我们将创建一个用于创建数据集的字符列表。然后，我们将创建一个长度为 word_size 的单词，并从当前字符开始，如下所示。在这里，我使用了 10 种不同类型的字体，如下所示。现在，使用上述任何数据集，我们可以进一步微调我们的识别模型。上面的都是英文数据集和英文的生成，仅供参考。最后，保存图像和相应的文本文件，如下所示。

这些分量代表图像中平滑且渐变的变化，例如大的均匀区域、柔和的渐变或亮度的缓慢过渡。这种幅度谱的可视化对于理解频率分量的分布非常重要，我们稍后可以使用频率分量的分布来设计针对频域特定区域的滤波器，以增强或消除原始图像（例如扫描标记）中的噪声。将滤波器应用于频域表示可以让我们去除不需要的频率分量（例如，图像中的扫描标记之类的噪声）或强调特定频率。在使用带纹理的水平线伪影校正绘画图像时，我创建了一个方形掩模来仅保留 DC 分量及其附近的小区域，以便仅保留图像的最重要的频率或部分。是图像频率分量的直观表示。

在任何情况下（锚或其他），如果您不预测掩码，您将直接预测数字。但什么数字呢？请注意“锚”这个词的使用……您以前在哪里见过这个词？是的！在物体检测中！在对象检测中，有时可以使用预定义边界框的锚点（行人通常是垂直的、很小的等等......）。在基于锚点的对象检测中，您的模型首先将锚框放置在各处。例如，如果检测行人，大多数这些框将是垂直框，并且您可以像先前一样使用该知识。然后，您可以预测检测到的边界框和锚框之间的“移位”或调整。

Blob 是图像中一组相连的像素，它们共享一些共同的属性（例如，灰度值）。在上图中，暗连接区域是斑点，斑点检测的目的是识别和标记这些区域。通过使用从 minThreshold（包括）到 maxThreshold（不包括）的多个阈值以及相邻阈值之间的距离 thresholdStep，将源图像转换为二值图像。通过 findContours 从每个二值图像中提取连通分量并计算它们的中心。通过坐标对多个二值图像的中心进行分组。

上面说几十年前使用不变特征的方法似乎很有前途的，其基本思想是通过一组称为不变量的可测量量来描述对象，这些量对特定变形不敏感，并且提供足够的辨别力来区分属于不同类别的对象。从数学的角度来看，不变式I是在所有可接受的图像函数的空间上定义的函数，在退化算子 D 下不会改变其值，即满足条件 I(f) = I(D(f)) 对于任何图像函数f.这种性质称为不变性。在实践中，为了适应不完美分割、类内变异和噪声的影响，通常将此要求制定为较弱的约束：I(f)不应与I(D(f))显着不同。

基于OpenCV进行直线检测可以使用HoughLines和HoughLinesP函数完成的。这两个函数之间的唯一区别在于，第一个函数使用标准霍夫变换，第二个函数使用概率霍夫变换（因此名称为 P）。概率版本之所以如此，是因为它仅分析点的子集并估计这些点都属于同一条线的概率。此实现是标准霍夫变换的优化版本，在这种情况下，它的计算强度较小且执行速度更快。霍夫变换的原始形式旨在。后来这项技术后来被推广到检测其他形状，如圆形、椭圆形等。要使用霍夫线变换，图像首先需要二值化。

近些年，光学字符识别 (OCR) 出现了多项创新。它对零售、医疗保健、银行和许多其他行业的影响是巨大的。与深度学习的许多其他领域一样，OCR领域也看到了Transformer 神经网络的重要性和影响。如今，出现了像TrOCR（Transformer OCR）这样的模型，它在准确性方面真正超越了以前的技术。在论文 TrOCR：基于 Transformer 的光学字符识别与预训练模型中。作者提出了一种不同于传统CNN和RNN架构的方法。相反，他们使用视觉和语言转换器模型来

2022 年媒体生成领域取得了令人兴奋的进步。计算机现在可以与自然语言交互，更好地理解您的创作过程以及您可能想要创造的内容。这为计算机开启了令人兴奋的新方法来帮助用户创建图像、视频和音频——超越传统工具的限制！这激发了人们对用户如何控制生成过程的更多研究兴趣。文本到图像和文本到视频的进步使语言成为控制生成的强大方式，而像Dream Booth这样的工作使用户可以用自己的图像启动生成过程。2023 年及以后，媒体生成本身的质量和速度肯定会取得进步。

请看下面的参考图片，下面的图片是模板图，实际上下面左图的红点就是参考点，计算了边缘的点相对于中心点的距离和角度，并存储到R-table中。第 2 步：模板形状规范（计算 r 表），实际就是针对模板图像设立一个参考点, 并统计各个边缘点相对参考点构成的向量, 存储到R-table中，边缘点梯度方向的参考点。而广义霍夫变换是为了检出那些无法写出解析式的不规则形状，虽然在深度学习大行其道的时代，霍夫变换也还是有很多应用场景，另外广义霍夫变换本质上也是一种模板匹配算法。广义霍夫变换可用于对象识别。

人类使用五种感官来体验和解释周围的世界。我们的五种感官从五种不同的来源和五种不同的方式捕获信息。模态是指某事发生、经历或捕捉的方式。人工智能正在寻求模仿人类大脑，终究是跳不出这具躯壳的限制。人脑由可以同时处理多种模式的神经网络组成。想象一下进行对话——您的大脑神经网络处理多模式输入（音频、视觉、文本、气味）。经过深层潜意识模态融合后，您可以推理对话者所说的话、他们的情绪状态以及您/他们的周围环境。这样可以更全面地看待情况并更深入地理解情况。

KerasCV 是一个模块化计算机视觉组件库，可与 TensorFlow、JAX 或 PyTorch 原生配合使用。这些模型、层、指标、回调等基于构建，可以在任何框架中进行训练和序列化，并在另一个框架中重复使用，而无需进行昂贵的迁KerasCV 可以理解为 Keras API 的水平扩展：组件是新的第一方 Keras 对象，它们过于专业化，无法添加到核心 Keras 中。它们获得与核心 Keras API 相同级别的完善和向后兼容性保证，并且由 Keras 团队维护。

医学图像标注最重要的进步之一是应用机器学习来评估图像，以实现更精确、更快、更准确的医学诊断。在应用机器学习 (ML)、人工智能 (AI) 或任何其他诊断算法之前，您需要知道注释软件可以处理两种最常见的医疗和保健图像文件格式，包括 DICOM 和 NIfTI。对于医学图像，数据类型会产生巨大的差异。与其他图像文件格式（例如 JPEG、PNG）不同，医疗保健专业人员需要查看更多细节，因此原始数据需要采用能够揭示人体、器官和大脑各层的格式。

小波变换是用于分析特征在不同尺度上变化的数据的数学工具。对于信号，特征可以是随时间变化的频率、瞬态或缓慢变化的趋势。对于图像，特征包括边缘和纹理。小波变换主要是为了解决傅立叶变换的局限性而创建的。傅立叶分析是将信号分解为特定频率的正弦波，而小波分析则基于将信号分解为小波的移位和缩放版本。与正弦波不同，小波是一种快速衰减的波状振荡。这使得小波能够表示跨多个尺度的数据。根据应用可以使用不同的小波。音频信号、时间序列金融数据和生物医学信号通常表现出被瞬变打断的分段平滑行为。

图像相减与开操作和闭操作相结合，会产生所谓的Top-hat(顶帽)变换和bottom-hat(底帽)变换。灰度级图像f的顶帽变换定义为f减去其开操作。类似的，f的底帽变换定义为f的闭操作减去f。这些变换的主要应用之一是，用一个结构元通过开操作或闭操作从一副图像中删除物体，而不是拟合被删除的物体。然后，差操作得到一副仅保留已删除分量的图像。顶帽变换用于暗背景上的亮物体，而底帽变换则用于相反的情况。由于这一原因，当谈到这两个变换时，常常分别成为白顶帽变换和黑底帽变换。顶帽变换的一个重要用于是校正不均匀光

OTSU算法也称最大类间差法，有时也称之为大津算法，由大津于1979年提出，被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。

调色板图像 通过将图像中使用的颜色数量减少到 256 种颜色，然后使用每个像素（一个通道）一个数字来指定每个像素的颜色来减少图像所需的存储空间。每个颜色编号对应于 256 色调色板中的一种颜色。调色板中的每种颜色都是可能的数百万种颜色中的一种RGB颜色。调色板图像在 Adob​​e PhotoShop中称为索引颜色模式图像，而在某些应用程序中，调色板称为颜色表或颜色图。

离散余弦变换，在（声音、图像）数据压缩中得到了广泛的使用。求输入图像和经过离散余弦变换之后的图像的峰值信噪比。并求出离散余弦逆变换的比特率。

c#实现基于拉普拉斯算子、高斯算子、高斯拉普拉斯算子、Sobel算子、Prewitt算子、Kirsch算子的边缘检测。

数字图像处理分析、开源软件等相关免费资源的整理和罗列。