hello！

【代码】LLM常用数据集搜集渠道。

修正ReLU族的负区间影响，适用于ReLU/LeakyReLU。：保持输入输出方差一致，适用于tanh/sigmoid激活。：保持输入输出空间的正交性，适用于RNN/LSTM。：权重矩阵满足 ( W^T W = I )：限制采样范围在±2std内，避免极端值。：权重初始化为0（不推荐用于隐藏层）：导致所有神经元对称更新，失去多样性。：随机将部分权重设为0，打破对称性。：将最后一个BN层的权重初始化为0。Kaiming初始化。

在PyTorch中，如果不对网络参数进行显式初始化，各层会使用其默认的初始化方法。

是一种广泛使用的正则化技术，用于防止神经网络过拟合。它的核心思想是在训练过程中随机“丢弃”一部分神经元，从而减少神经元之间的共适应性，增强模型的泛化能力。

对于简单任务，可以选择较小的输出通道数和标准的 3x3 卷积核。对于复杂任务，可以使用较大的输出通道数和堆叠多个卷积层。使用步幅和填充控制特征图的尺寸变化，保持适当的空间信息。在资源受限的环境中，可以选择分组卷积和膨胀卷积来减少计算量。

【代码】深度学习自动选择运行GPU或者CPU。

【代码】PyTorch库自定义调用Gabor filters。

【代码】Pytorch迁移学习调用预训练模型。

【代码】Pytorch将训练数据维度打平为（batch, *）两项代码。

在data中修改数据， 在model中更改为其他模型就可以直接跑啦！

例如，如果有一个向量值函数，并且想要得到每个元素相对于输入的梯度，可以使用。可以精确指定哪些输出需要计算梯度，以及如何计算这些梯度。：如果需要在计算图的构建过程中动态地插入操作，或者在构建计算图时需要更细粒度的控制，都是用来计算梯度的工具，但它们在某些特定情况下有不同的适用性。：在一些高级用例中，比如当需要计算损失相对于模型中间层的梯度时，如果不希望梯度累加，而是希望每次计算都是独立的，可以更容易地实现这一点，因为它可以创建梯度的梯度计算图，而。：当需要计算高阶梯度（即梯度的梯度）时，可以提供这种灵活性。

【代码】torch.autograd.grad() 和 .backward() 用法区别。

这里，它在out张量的第1维（即列）上进行操作，使用idx张量作为索引，将所有索引位置的值设置为1。label是一个包含类别标签的张量（Tensor），depth是一个整数，表示one-hot编码向量的长度，默认值为10。这行代码首先将label张量转换为LongTensor类型（通常用于存储整数索引），然后使用view(-1, 1)将其重塑为一个二维张量，其中每个元素都是一个单独的行向量。这行代码创建一个新的张量out，其形状由label张量的第一个维度（即样本数量）和depth参数决定。

异构卷积层通过引入多尺度、多形状的卷积核，增强了卷积神经网络的特征提取能力，使其能够更好地适应复杂的数据结构和模式。然而，这种灵活性也带来了更高的计算复杂度，需要在设计时进行权衡。我们将定义一个包含不同尺寸卷积核的异构卷积层。# 定义不同尺寸的卷积核# 分别使用不同尺寸的卷积核进行卷积操作# 将结果拼接在一起return out我们将使用异构卷积层来构建一个简单的卷积神经网络模型。# 异构卷积层# 全连接层# 异构卷积层# 展平# 全连接层return x。

组卷积是一种将输入特征图分成多个组（groups），然后在每个组内进行卷积操作的方法。每个组的卷积核只与对应组的输入特征图进行卷积，不同组之间不进行信息交换。

适合简单的顺序结构，模块按顺序执行。: 适合需要动态操作的复杂结构，模块不按顺序执行，可以动态添加或删除。

如果你想要使用一个新的内核（例如，一个特定的 Python 版本或不同的编程语言），你需要先安装该内核。选择新的内核后，Notebook 会自动切换到新的内核。你可以在 Notebook 的右上角看到新的内核名称。在 Notebook 的右上角，你会看到当前使用的内核名称。安装完成后，新的内核会出现在 Jupyter Notebook 的内核列表中。点击内核名称后，会弹出一个菜单，显示所有可用的内核。选择你想要切换到的内核。你可以打开一个现有的 Notebook 或创建一个新的 Notebook。

安装Pytorch如何选择CUDA的版本，看这一篇就够了

LSTM层：输入特征数为input_size，隐藏层特征数为hidden_size，层数为num_layers# 全连接层：输入特征数为hidden_size，输出特征数为num_classes# 初始化隐藏状态和细胞状态# 前向传播LSTM# 取最后一个时间步的输出return out# 示例数据：假设输入数据为(batch_size, seq_length, input_size)，目标为(batch_size)

卷积层1：输入通道数为1（灰度图像），输出通道数为32，卷积核大小为3x3# 卷积层2：输入通道数为32，输出通道数为64，卷积核大小为3x3# 最大池化层：池化窗口大小为2x2# 全连接层1：输入特征数为64*7*7（假设输入图像为28x28，经过两次池化后为7x7），输出特征数为128# 全连接层2：输入特征数为128，输出特征数为10（假设有10个类别）# Dropout层：防止过拟合# 第一层卷积 + ReLU激活函数 + 池化# 第二层卷积 + ReLU激活函数 + 池化。

解析模型的输出，得到检测框、类别和置信度，并绘制检测结果。假设已经有一个预训练的YOLOv3模型权重文件。使用模型对图片进行推理，得到检测结果。读取图片并将其转换为模型所需的格式。

CUDA（Compute Unified Device Architecture）是由NVIDIA公司开发的一种并行计算平台和编程模型。允许开发者使用NVIDIA的GPU（图形处理单元）进行通用计算，而不仅仅是图形渲染。

Tensor 是 PyTorch 中最基本的数据结构，提供了多种创建和操作张量的函数。Autograd 提供了自动求导功能，可以跟踪 Tensor 上的操作并计算梯度。损失函数用于衡量模型预测值与真实值之间的差异，提供了多种损失函数。是构建神经网络的基础类，提供了定义网络层和前向传播的方法。提供了 GPU 计算的支持，包括设备管理、内存管理等。提供了一些常用的函数式操作，如激活函数、损失函数等。提供了常用的数据集、模型架构和图像转换工具。提供了数据加载和预处理的工具，包括。

检查 GPU 可用性并选择设备。将模型移动到 GPU。在训练和评估循环中，将数据移动到 GPU。在保存和加载模型时，确保模型参数在 GPU 上。在 PyTorch 中，使用 GPU 进行模型训练可以显著提高训练速度，尤其是在处理大规模数据集和复杂模型时。以下是基于 GPU 训练的一般套路，包括数据准备、模型定义、损失函数和优化器的选择、训练循环、评估和测试，以及模型保存和加载。定义一个神经网络模型，通常继承自，并在__init__方法中定义网络层，在forward方法中定义前向传播过程。

定义一个神经网络模型，通常继承自，并在__init__方法中定义网络层，在forward方法中定义前向传播过程。return x# 定义损失函数# 定义优化器。

如果需要使用自定义数据集，可以继承类，并实现__len__和方法。import os# 使用自定义数据集。

如果内置的转换操作不能满足需求，还可以自定义转换操作。自定义转换操作需要继承类，并实现__call__方法。# 自定义转换操作return img])

IoU 的值范围在 0 到 1 之间，值越接近 1，表示两个边界框的重叠程度越高。在目标检测任务中，IoU 常用于判断预测框（predicted bounding box）和真实框（ground truth bounding box）之间的匹配程度。具体来说，IoU 是通过计算两个边界框的交集面积与的并集面积之比来得到的。在YOLO算法中，IoU 用于非极大值抑制（Non-Maximum Suppression, NMS）过程，以去除冗余的预测框，保留最佳的预测结果。

transforms.Resize((262, 461)), # 调整图像大小transforms.ToTensor(), # 转换为张量transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.5, 0.5, 0.5]) # 归一化])