【机器学习】数据读取与数据扩增

最新推荐文章于 2025-08-10 13:06:33 发布
最新推荐文章于 2025-08-10 13:06:33 发布
阅读量672 收藏 23
点赞数 19
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lpx666168/article/details/145081603

1 数据读取与数据扩增

本文章主要由数据读取、数据扩增方法和Pytorch读取数据三个部分组成。

1.1 学习目标

  • 学习Python和Pytorch中图像读取
  • 学会扩增方法和Pytorch读取数据

1.2 图像读取

我们首先需要完成对数据的读取操作，在Python中有很多库可以完成数据读取的操作，比较常见的有Pillow和OpenCV。

1.2.1 Pillow

Pillow是Python图像处理函式库(PIL）的一个分支。Pillow提供了常见的图像读取和处理的操作，而且可以与ipython notebook无缝集成，是应用比较广泛的库。

from PIL import Image
# 导入Pillow库
# 读取图片
im =Image.open('./cat.png')

from PIL import Image, ImageFilter
im = Image.open('./cat.png')
# 应用模糊滤镜
im2 = im.filter(ImageFilter.BLUR)
im2.save('blur.jpg', 'jpeg')

from PIL import Image
# 打开一个jpg图像文件，注意是当前路径
im = Image.open('./cat.jpg')
im.thumbnail((w//2, h//2))
im.save('thumbnail.jpg', 'jpeg')

当然上面只演示了Pillow最基础的操作，Pillow还有很多图像操作，是图像处理的必备库。
Pillow的官方文档：https://pillow.readthedocs.io/en/stable/

1.2.2 OpenCV

OpenCV是一个跨平台的计算机视觉库，最早由Intel开源得来。OpenCV发展的非常早，拥有众多的计算机视觉、数字图像处理和机器视觉等功能。OpenCV在功能上比Pillow更加强大很多，学习成本也高很多。

import cv2
# 导入Opencv库
img = cv2.imread('./cat.jpg')
# Opencv默认颜色通道顺序是BRG，转换一下
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) 

import cv2
# 导入Opencv库
img = cv2.imread('./cat.jpg')
img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 转换为灰度图

import cv2
# 导入Opencv库
img = cv2.imread('./cat.jpg')
img =cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 转换为灰度图
# Canny边缘检测
edges = cv2.Canny(img, 30, 70)
cv2.imwrite('canny.jpg', edges)

OpenCV包含了众多的图像处理的功能，OpenCV包含了你能想得到的只要与图像相关的操作。此外OpenCV还内置了很多的图像特征处理算法，如关键点检测、边缘检测和直线检测等。
OpenCV官网：OpenCV - Open Computer Vision Library
OpenCV Github：GitHub - opencv/opencv: Open Source Computer Vision Library
OpenCV 扩展算法库：GitHub - opencv/opencv_contrib: Repository for OpenCV's extra modules

1.3 数据扩增方法

1.3.1 数据扩增介绍

在深度学习中数据扩增方法非常重要，数据扩增可以增加训练集的样本，同时也可以有效缓解模型过拟合的情况，也可以给模型带来的更强的泛化能力。

  • 数据扩增为什么有用？
    在深度学习模型的训练过程中，数据扩增是必不可少的环节。现有深度学习的参数非常多，一般的模型可训练的参数量基本上都是万到百万级别，而训练集样本的数量很难有这么多。
    其次数据扩增可以扩展样本空间，假设现在的分类模型需要对汽车进行分类，左边的是汽车A，右边为汽车B。如果不使用任何数据扩增方法，深度学习模型会从汽车车头的角度来进行判别，而不是汽车具体的区别。

  • 有哪些数据扩增方法？
    数据扩增方法有很多：从颜色空间、尺度空间到样本空间，同时根据不同任务数据扩增都有相应的区别。
    对于图像分类，数据扩增一般不会改变标签；对于物体检测，数据扩增会改变物体坐标位置；对于图像分割，数据扩增会改变像素标签。
1.3.2 常见的数据扩增方法

在常见的数据扩增方法中，一般会从图像颜色、尺寸、形态、空间和像素等角度进行变换。当然不同的数据扩增方法可以自由进行组合，得到更加丰富的数据扩增方法。

以torchvision为例，常见的数据扩增方法包括：

  • transforms.CenterCrop 对图片中心进行裁剪
  • transforms.ColorJitter 对图像颜色的对比度、饱和度和零度进行变换
  • transforms.FiveCrop 对图像四个角和中心进行裁剪得到五分图像
  • transforms.Grayscale 对图像进行灰度变换
  • transforms.Pad 使用固定值进行像素填充
  • transforms.RandomAffine 随机仿射变换
  • transforms.RandomCrop 随机区域裁剪
  • transforms.RandomHorizontalFlip 随机水平翻转
  • transforms.RandomRotation 随机旋转
  • transforms.RandomVerticalFlip 随机垂直翻转

1.3.3 常用的数据扩增库

1.4 Pytorch读取数据

我们使用Pytorch框架讲解具体的解决方案，第一步使用Pytorch读取数据。在Pytorch中数据是通过Dataset进行封装，并通过DataLoder进行并行读取。所以我们只需要重载一下数据读取的逻辑就可以完成数据的读取。

import os, sys, glob, shutil, json
import cv2

from PIL import Image
import numpy as np

import torch
from torch.utils.data.dataset import Dataset
import torchvision.transforms as transforms

class SVHNDataset(Dataset):
    def __init__(self, img_path, img_label, transform=None):
        self.img_path = img_path
        self.img_label = img_label 
        if transform is not None:
            self.transform = transform
        else:
            self.transform = None

    def __getitem__(self, index):
        img = Image.open(self.img_path[index]).convert('RGB')

        if self.transform is not None:
            img = self.transform(img)
        
        # 原始SVHN中类别10为数字0
        lbl = np.array(self.img_label[index], dtype=np.int)
        lbl = list(lbl)  + (5 - len(lbl)) * [10]
        
        return img, torch.from_numpy(np.array(lbl[:5]))

    def __len__(self):
        return len(self.img_path)

train_path = glob.glob('../input/train/*.png')
train_path.sort()
train_json = json.load(open('../input/train.json'))
train_label = [train_json[x]['label'] for x in train_json]

data = SVHNDataset(train_path, train_label,
          transforms.Compose([
              # 缩放到固定尺寸
              transforms.Resize((64, 128)),

              # 随机颜色变换
              transforms.ColorJitter(0.2, 0.2, 0.2),

              # 加入随机旋转
              transforms.RandomRotation(5),

              # 将图片转换为pytorch 的tesntor
              # transforms.ToTensor(),

              # 对图像像素进行归一化
              # transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225])
            ]))

通过上述代码，可以将图像数据和对应标签进行读取，在读取过程中的进行数据扩增，效果如下所示：

接下来我们将在定义好的Dataset基础上构建DataLoder，你可以会问有了Dataset为什么还要有DataLoder？其实这两个是两个不同的概念，是为了实现不同的功能。

  • Dataset：对数据集的封装，提供索引方式的对数据样本进行读取

  • DataLoder：对Dataset进行封装，提供批量读取的迭代读取

    加入DataLoder后，数据读取代码改为如下：

import os, sys, glob, shutil, json
import cv2

from PIL import Image
import numpy as np

import torch
from torch.utils.data.dataset import Dataset
import torchvision.transforms as transforms

class SVHNDataset(Dataset):
    def __init__(self, img_path, img_label, transform=None):
        self.img_path = img_path
        self.img_label = img_label 
        if transform is not None:
            self.transform = transform
        else:
            self.transform = None

    def __getitem__(self, index):
        img = Image.open(self.img_path[index]).convert('RGB')

        if self.transform is not None:
            img = self.transform(img)
        
        # 原始SVHN中类别10为数字0
        lbl = np.array(self.img_label[index], dtype=np.int)
        lbl = list(lbl)  + (5 - len(lbl)) * [10]
        
        return img, torch.from_numpy(np.array(lbl[:5]))

    def __len__(self):
        return len(self.img_path)

train_path = glob.glob('../input/train/*.png')
train_path.sort()
train_json = json.load(open('../input/train.json'))
train_label = [train_json[x]['label'] for x in train_json]

train_loader = torch.utils.data.DataLoader(
        SVHNDataset(train_path, train_label,
                   transforms.Compose([
                       transforms.Resize((64, 128)),
                       transforms.ColorJitter(0.3, 0.3, 0.2),
                       transforms.RandomRotation(5),
                       transforms.ToTensor(),
                       transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
            ])), 
    batch_size=10, # 每批样本个数
    shuffle=False, # 是否打乱顺序
    num_workers=10, # 读取的线程个数
)

for data in train_loader:
    break

在加入DataLoder后，数据按照批次获取，每批次调用Dataset读取单个样本进行拼接。此时data的格式为：

torch.Size([10, 3, 64, 128]), torch.Size([10, 6])
系统学习Pytorch笔记三：Pytorch数据读取机制(DataLoader)与图像预处理模块(transforms)
Miracle8070
04-17 7万+
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
街景识别-数据读取与数据扩增
secker123的博客
05-23 1177
数据读取与数据扩增一、学习目标二、图像读取2.1 pillow2.2 OpenCV三、数据扩增四 Pytorch赛题读取 一、学习目标 1.1 学习Python和Pytorch中图像读取 2.2 学会扩增方法和Pytorch读取赛题数据 二、图像读取 2.1 pillow pillow是Python图像处理函数库（PIL）的一个分支。Pillow提供了常见的图像读取和处理的操作，而且可以和ipython notebook无缝集成，是应用比较广泛的库。 pillow官方文档. 2.2 OpenCV OpenC
Datawhale 零基础入门CV赛事-Task2 数据读取与数据扩增
nini_k的博客
05-23 265
torchvision.models模块的 子模块中包含以下模型结构。 AlexNet VGG ResNet SqueezeNet DenseNet 可以通过调用构造函数来构造具有随机权重的模型： import torchvision.models as models resnet18 = models.resnet18() alexnet = models.alexnet() squeezenet = models.squeezenet1_0() densenet = models.densenet_16
Datawhale零基础CV赛事分享：数据读取与扩增
在数据科学和人工智能领域，尤其是深度学习和机器学习中，数据的预处理和增强是至关重要的步骤。这份PPT详细介绍了如何在Python环境中进行图像读取和数据扩增，这两个环节对于构建有效的计算机视觉模型至关重要。 ...
Datawhale-Task2数据读取和数据扩增直播(1)(1).pptx
05-28
这是datawhale开源小组分享的ppt,是在天池平台上的一个比赛的讲解ppt，比赛是零基础学cv之街景字符识别。这个ppt是第二次直播课的ppt。
数据读取与数据扩增方法
Datawhale
06-07 1238
↑↑↑关注后"星标"Datawhale每日干货 &每月组队学习，不错过Datawhale干货作者：樊亮、黄星源、Datawhale优秀学习者本文对图像数据读...
Datawhale零基础入门CV_Task2 数据读取与数据扩增
LH294373770的博客
05-23 262
1 思维导图 2 补充内容 Pytorch数据读取代码： import os, sys, glob, shutil, json import cv2 from PIL import Image import numpy as np import torch from torch.utils.data.dataset import Dataset import torchvision.transforms as transforms class SVHNDataset(Dataset): de
零基础入门CV赛事-Task2 数据读取与数据扩增
ahjghjv的博客
05-21 231
1.图像读取 用pillow读取，该库较为常用，且比较简单。 调用下面语句即可：im =Image.open(cat.jpg’) 2.数据扩增 要使训练结果更好，更具有泛化性能，需要对数据进行扩增。 torchvison库中自带的的方法有如下图 此外，还可调用其他库或自己编写。 例如im2 = im.filter(ImageFilter.BLUR)进行图片模糊操作。 3.Pytorch读取图像 首先需要将所给训练集变成Pytorch可读取的dataset格式，代码如下 然后用train_loader载入
USB UVC 3-- uvc gadget
fanged的专栏
05-02 2349
USB分为USB Host和USB Device两种，PC一般是USB Host，手机等终端数码设备一般是USB Device。OTG是指设备既可以作为USB Device，又可以作为USB Host。在Linux中，USB Device设备称为Gadget。这个代码是应用层的，在驱动层之上。还有一个代码是可以的话比对着一起看吧，兼听则明啊。。。
Pytorch：数据增强
weixin_47255403的博客
12-05 1554
介绍数据的预处理模块transforms的运行机制，了解一些transforms中常用的图像预处理方法，简要了解transforms的运行机制并了解数据标准化(Normalize)的使用原理。
机器学习样本数据集，训练正负样本
qq_42272539的博客
06-17 6004
1、Caltech-101 数据库：该数据库在2003年被发布，包括101类目标图像和1类背景图像，共102类，彩色图像较多，有部分灰度图像。总共图像数为9145（除去背景后总数为8677），每类图像数大约在31~800之间，图像大小为300×200。此数据库的特点是：每个图像只含有一个目标，且目标大都处于图像中间位置，基本上占据整个图像区域，背景相对比较简单。 ...
机器学习入门-随机森林温度预测-增加样本数据 1.sns.pairplot(画出两个关系的散点图) 2.MAE(平均绝对误差) 3.MAPE(准确率指标)...
weixin_34306676的博客
01-24 1458
在上一个博客中，我们构建了随机森林温度预测的基础模型，并且研究了特征重要性。 在这个博客中，我们将从两方面来研究数据对预测结果的影响 第一方面：特征不变，只增加样本的数据 第二方面：增加特征数，增加样本的数据 1.sns.pairplot 画出两个变量的关系图，用于研究变量之间的线性相关性，sns.pattle([color]) 用于设置调色板， 有点像scatter_matrix 2....
机器学习——DBSCAN
最新发布
2501_91237346的博客
08-10 1138
本文介绍了DBSCAN密度聚类算法的原理、参数调优及实现过程。DBSCAN通过定义核心对象、E邻域和密度可达等概念，能够发现任意形状的聚类并识别噪声点。文中详细说明了Python中sklearn.cluster.DBSCAN的参数设置，包括eps邻域半径、min_samples最小样本数等关键参数的影响。同时提供了完整的代码实现，包括数据预处理、DBSCAN模型训练、轮廓系数评估等步骤，并对比了KMeans与DBSCAN在真实数据集上的表现。最后通过标签对齐方法解决了聚类标签与真实标签的映射问题，采用分类指
【线性代数】线性方程组与矩阵——（1）线性方程组与矩阵初步
weixin_45725295的博客
08-09 662
由m×nm\times nm×n个数aiji12m;j12n排成mmm行nnn列的数表称为mmm行nnn列矩阵，简称m×nm\times nm×n矩阵，记作Aa11a12a1na21a22a2n⋮⋮⋮am1am2amnA​a11​a21​⋮am1​​a12​a22​⋮am2​​​a1。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值