欺诈文本分类微调（六）：Lora单卡训练

已于 2024-12-02 12:44:46 修改
阅读量1.5k 收藏 17
点赞数 37
CC 4.0 BY-SA版权
分类专栏： 微调实战项目 文章标签： 分类 人工智能 机器学习 语言模型 微调
于 2024-08-23 01:16:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaojia1001/article/details/141440847

1. 引言

前面欺诈文本分类微调（四）：构造训练/测试数据集已经构造出了数据集，更之前的欺诈文本分类微调（一）：基座模型选型选好了基座模型，这篇文章将基于构造出的数据集和选定的模型进行欺诈文本分类的微调训练。

关于微调方法，我们将使用比较普遍的Lora：在模型中注入低秩矩阵的方式。
关于训练器，使用transformers库中提供的Trainer类。

2. 数据准备

2.1 加载数据

导入要使用的基础包。

import os
import json
import torch
from datasets import Dataset
impor
了解本专栏 订阅专栏 解锁全文 超级会员免费看
自然语言处理实战项目17-基于多种NLP模型的诈骗电话识别方法研究与应用实战
微学AI的博客
09-05 4696
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目15-基于NLP模型的诈骗电话识别方法研究与应用，相信最近小伙伴都都看过《孤注一掷》这部写实的诈骗电影吧，电影主要围绕跨境网络诈骗展开，电影取材自上万起真实诈骗案例。随着科技的快速发展，诈骗电话已经成为了一种常见的犯罪手段，给人们的生活和财务安全带来了巨大的威胁。诈骗电话的形式多种多样，如假冒银行工作人员、征信信息、足彩内部消息、谎称中奖、虚假投资机会等等，这些都给人们带来了极大的困扰和损失。
欺诈文本分类检测（十）：QLora量化微调
golfxiao的专栏
09-04 1182
QLoRA只是通过量化技术减少了模型参数加载时的显存占用，但训练时仍然会反量化为16位进行矩阵计算，尤其是前向和反向传播阶段，显存的主要消耗来自于激活值、梯度和优化器状态，模型参数仅仅是一小部分，这就导致真正训练过程中占用的显存相比非量化时并没有减少。原因可能是由于我们的模型太小，训练时的批量相对较大，所以模型参数加载时所优化的那部分内存，与整个训练过程中所占用的内存相比比例较低，内存优化的整体效果就不明显。训练时的显存占用相比非量化时并没有明显变化，基本上占满了24G显卡的显存。
【NLP】文本分类与LoRA
fengdu78的博客
06-22 300
在这篇博客中，我们逐步进行参数高效微调（Parameter Efficient Fine Tuning，简称PEFT），使用大语言模型（LLM）的低秩适配（Low Rank Adaptation，LoRA）。我们将了解如何使用参数高效微调来针对特定应用微调选定的可训练参数，以最低的成本和最少的基础设施实现这一目标。unsetunset为什么需要参数高效微调？unsetunset大语言模型（LLM）...
LoRA指令微调——源码解析
weixin_43508499的博客
07-13 4633
（本次博文的LoRA代码主要基于lit-llama工程）
LoRA微调原理和代码详解
qq_41913559的博客
01-16 1623
神经网络包含很多全连接层，其借助于矩阵乘法得以实现，然而，很多全连接层的权重矩阵都是满秩的。当针对特定任务进行微调后，（intrinsic rank），因此，论文的作者认为。
Llama2源码导读----model的转化
m0_64636251的博客
04-26 883
Llama2源码导读----model的转化
欺诈文本分类微调（七）： lora单卡二次调优
golfxiao的专栏
08-24 1341
模型训练是一个不断调优的过程，这注定了我们的需要多次跑同一个训练过程。在前文欺诈文本分类微调（六）：Lora单卡跑的整个训练过程中，只有输入和输出：数据路径，模型路径，输出路径需要变化，而其它过程基本不变，我们将整个训练过程中基本不变的部分提取到trainer.py中。
反欺诈文本分类微调教程
golfxiao的专栏
11-20 692
为了帮助更多初学者从零开始掌握微调这一关键技能，本文介绍一个作者本人在实际工作中完整跑通的微调实战系列教程，该教程附带可运行的数据集和可运行的jupyter notebook，适合想要通过实战操作来掌握微调技术的初学者。
Lora微调训练参数解读
golfxiao的专栏
08-27 5555
通过前面两次微调训练欺诈文本分类微调（六）：Lora单卡和欺诈文本分类微调（七）—— lora单卡二次调优，我们已经初步理解了微调的整个过程，里面涉及到不少的参数配置，这篇文章就对前面用到过的参数作一个基本的梳理和总结。
如何训练一个大模型：LoRA篇
热门推荐
xian0710830114的专栏
05-13 2万+
现在有很多开源的大模型，他们一般都是通用的，这就意味着这些开源大模型在特定任务上可能力不从心。为了适应我们的下游任务，就需要对预训练模型进行微调。 全参数微调有两个问题：在新的数据集上训练，会破坏大模型原来的能力，使其泛化能力急剧下降；而且现在的模型参数动辄几十亿上百亿，要执行全参数微调的话，他贵啊！！ 于是LoRA出现了，LoRA（Low-Rank Adaptation)是微软提出的一种参数有效的微调方法，可以降低微调占用的显存以及更轻量化的迁移。同时解决了上述两个问题，那它凭什么这么厉害？往下看吧。
keras中的callbacks详解之EarlyStopping
要加油
12-07 6689
keras中的callbacks整体学习见： keras中的callbacks详解 1. 认识Early Stop early stop是训练模型的过程中，避免过拟合，节省训练时间的一种方法 2. keras中的EarlyStopping 官方api：https://keras.io/api/callbacks/early_stopping/ 上图是官方给的使用方法说明，部分参数释义如下： monitor: 监控指标，如“val_loss” min_delta: 认为监控指标有提升的最小提升值。如果变化
分类算法：支持向量机
Henry的博客
08-10 719
支持向量机(SVM)是一种强大的机器学习分类算法，它通过寻找最优决策边界来实现分类，具有出色的泛化能力。SVM的核心思想是最大化间隔，确保决策边界远离两侧数据点，提高模型鲁棒性。它特别适合小样本、高维数据分类，如文本分类和生物医学数据分析。虽然计算成本较高，但SVM在处理非线性问题和抗过拟合方面表现优异。通过核函数如RBF，SVM能有效处理复杂边界问题。完整案例展示了SVM在非线性数据集上的应用，包括模型训练、评估和可视化决策边界的过程。
供电架构之供电构型分类
weixin_63006261的博客
08-08 867
一块单板常常涉及多种电源，常见的如5V，3.3V，2.5V，1.8V，1.5V，1.2V，1.0V，0.9V，0.75V等，如此多种类的电源不可能都直接通过背板从电源获得，一般，单板仅有一种或两种输入电源，再由他们产生单板器件上所需要的电源。一、电源架构常用的电源架构有两种：集中式电源架构（CPA）和分布式电源架构（DPA）。集中式电源架构：指系统由一个独立电源供电，并由这个独立电源直接变换得到单板所需要的各种电源。
WebGIS视角下基孔肯雅热流行风险地区分类实战解析
夜郎King的博客
08-09 2006
本研究旨在通过系统梳理 WebGIS 技术在传染病流行风险评估中的应用现状与优势，结合基孔肯雅热的流行特点和防控需求，构建一套基于 WebGIS 的流行风险地区分类展示系统。
医学统计（随机对照研究分类变量结局数据的统计策略2）
wm_2609327016的博客
08-10 203
单因素分组为两个或以上水平，资料类型为二分类或多分类资料，设计类型为随机设计的行列表资料，研究目的是比较多组率或构成比分布，采用卡方检验。
【2025CVPR-图象分类方向】ProAPO：视觉分类的渐进式自动提示优化
hasakie的博客
08-10 113
本文提出ProAPO框架，通过渐进式自动优化解决视觉分类中的提示设计问题。针对现有方法存在的手工设计局限、LLM幻觉和计算成本高等问题，该方法分阶段优化任务模板和类别描述，采用进化算法结合熵约束评分，并设计分组采样策略降低计算开销。在13个数据集上的实验表明，ProAPO平均性能提升2.7%，在细粒度任务上提升达21%，且优化后的提示具有良好的迁移性。该方法为视觉语言模型的实际应用提供了高效可靠的提示优化方案。
深度学习与遥感入门（五）｜GAT & 构图消融 + 分块全图预测：更稳更快的高光谱图分类（PyTorch Geometric 实战）
最新发布
lestatlu的博客
08-11 684
本系列文章探讨高光谱图像分类方法，通过5篇论文逐步优化模型性能。第1篇介绍CNN基础流程；第2篇提出HybridNet（CNN+Transformer）增强全局感受野；第3篇实现基于光谱KNN的图卷积分类；第4篇通过空间-光谱联合构图提升稳定性；最新第5篇在GCN基础上加入GAT注意力机制，并实现分块全图预测以解决显存不足问题。文章重点解决构图选择、GAT与GCN比较、全图预测显存消耗三大问题，提出构图消融实验、模型双模切换、分块局部构图等技术方案。
图像打标工具/方法的分类和特点说明
这里面的代码全是错的
08-11 279
直接利用通用模型（如CLIP、BLIP）预测新类别标签，无需额外标注数据。结合视觉编码器（如CLIP）和LLM（如Vicuna），支持交互式标注。（如“blonde_hair, blue_eyes, smile”）。：通过预设的关键词列表（如“风景”“人物”）直接匹配图像或文本。标签风格更符合社区需求（如“lo-fi”“kawaii”）。适用于通用图像标注（如“一只猫坐在沙发上”）。准确率低，适合粗糙分类（如过滤NSFW内容）。：小众类别标注（如“考拉”）、快速原型开发。（如“赛博朋克”“卡通渲染”）。
覆盖近 1.5 万个物种，谷歌 DeepMind 发布 Perch 2.0，刷新生物声学分类检测 SOTA
HyperAI超神经
08-11 483
Google DeepMind 与 Google Research 联合推出的 Perch 2.0，进一步将生物声学研究推向新高度。相较于前代，Perch 2.0 以物种分类为核心训练任务，不仅纳入了更多非鸟类类群的训练数据，还采用了全新的数据增强策略与训练目标，在 BirdSET 和 BEANS 两项权威生物声学基准测试中均刷新当前 SOTA。
AI绘图新工具：Lora模型训练源码发布
- train_textual_inversion.py：这个文件可能是一个Python脚本，用于执行文本倒置训练（textual inversion training），它是一种微调模型的技术，旨在让模型学会使用特定风格或元素进行图像生成。 - train_db_README...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉下心来学鲁班

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值