LLM - 使用 LLaMA-Factory 微调 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)

已于 2024-11-26 21:35:41 修改
阅读量3.2k 收藏 8
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 大模型 (LLM) 文章标签： LLM LLaMA-Factory Qwen2-VL SFT LoRA 人工智能 多模态大模型
于 2024-11-12 23:04:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caroline_wendy/article/details/143725947

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/143725947

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

Llama

LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。

Paper: LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models

配置环境参考：使用 LLaMA-

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【深度学习】LLaMA-Factory 微调sft Qwen2-VL 进行印章识别
q742971636的博客
10-14 1759
了解如何利用LLaMA-Factory进行Qwen2-VL模型的微调是掌握先进机器学习技能的关键一步。本文将带你探索如何设置LLaMA-Factory环境、配置训练参数、处理数据集，最终实现多卡训练和模型微调。即使是初学者，凭借这篇博客，你也能顺利上手并自主完成Qwen2-VL模型的定制化训练。
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora-V100（四）
热门推荐
以微薄之力，予他人些许温暖.
09-26 2万+
使用LLaMA-Factory高效微调qwen2-vl-7b-instruct
LLaMA-Factory微调sft Qwen2.5-VL-7B-Instruct
q742971636的博客
03-17 2834
"content": "你是一个擅长识别印章上文字的助手，输出json字符串给用户。",},"content": "<image>识别图片里红色印章上的公司名称或单位名称（印章主文字）。",},"content": "{\"印章主文字\": \"饮酒太原近似收益有限公司\"}",],"seal": {},"tags": {
手把手实战：零基础教程！LLaMA-Factory微调Qwen2-VL
最新发布
weixin_46880696的博客
06-16 1320
具体实现过程看以下实战步骤。LLaMA-Factory微调Qwen2-VL实战步骤1、部署环境1）点击LLaMA-Factory镜像，准备开始部署2）点击配置&部署按钮3）填写自定义集群信息—>点击部署按钮4）部署完成之后，选择Notes.txt 显示登录地址5）设置微调参数最后参数会生成相关命令：以下是本次训练的核心参数与说明：为了让模型更贴近文旅领域的真实应用场景，本次微调采用了名为的图文对话数据集。该数据集由阿里达摩院团队开源发布。
LLaMA-Factory+qwen多轮对话微调测评_llama-factory微调qwen
月流霜的专栏
07-13 449
"如果宝宝只有鼻子上有黄点点，而其他地方没有黄疸迹象，并且宝宝的吃奶、睡觉等一切正常，一般来说是没有大问题的。然而，每个孩子的情况都不尽相同，所以在使用生长激素之前，医生会详细评估孩子的生长发育情况并权衡利弊。"如果孩子没有明确的适应证，或者他的身高已经处于正常范围内，通常不建议滥用生长激素以免出现副作用。因此，在决定使用生长激素之前，务必在医生的指导下评估孩子的具体情况，避免不必要的风险。"嗯，宝宝除了鼻子上有黄点点，其他地方没有发现黄疸的迹象。"好的，我明白了，我会带宝宝去儿科医生那里做个详细检查的。
llama-factory微调qwen2.5-vl
qq_44908396的博客
04-08 1886
使用llama-factory完成qwen2.5-vl微调
llamafactory0.9.0微调qwen2vl
liguandong
09-24 889
llamafactory cli中的chat是不支持输入图片的，因此输入图片只能通过webchat来实现。改一下src/llamafactory/webui/inference.py中的87行，加一个server_port即可。Qwen2VL微调数据集的图片数量有无限制 · Issue #5375 · hiyouga/LLaMA-Factory · GitHub。其实llamafactory 0.9.0真不如以前的方式，现在的llamafactory-cli不好用，并不适合算法人员。
LLaMA-Factory 微调 Qwen2-VL 进行人脸情感识别
anneCoder的博客
02-20 1373
为了提升人脸情感识别的准确性和鲁棒性，本文采用LLaMA-Factory框架对Qwen2-VL大模型进行微调，以实现对人脸情感的高效识别。通过数据准备、模型配置、训练和评估等步骤，我们成功地构建了一个高效的人脸情感识别模型。在微调之前，需要配置模型参数和数据集路径。注意：上述代码中，加载模型和预测的部分被省略了，实际应用中需要使用合适的代码加载微调后的模型，并进行预测。注意：上述代码中，标签的读取部分被省略了，实际应用中需要从labels.csv等文件中读取标签信息，并添加到labels列表中。
LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型
机器学习是魔鬼的博客
04-18 1807
LLaMA Factory 是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过 Web UI 界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架之一，GitHub 星标超过 4.7 万。本教程将基于通义千问团队开源的新一代多模态大模型 Qwen2-VL-2B-Instruct，介绍如何使用 矩池云 平台及 LLaMA Factory 训练框架完成文旅领域大模型的构建。
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL DPO(LoRA) 图像数据集 教程 (3)
AGI
11-26 2775
DPO(Direct Preference Optimization, 直接偏好优化) 是在 RLHF 阶段中使用的优化算法，通过直接利用人类的偏好数据来优化策略模型，无需定义明确的奖励函数或进行复杂的强化学习过程。DPO的优化目标是，增加偏好样本的对数概率与减小非偏好样本响应的对数概率，结合动态加权机制，以避免仅使用概率比目标时遇到的模型退化问题。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（八）
以微薄之力，予他人些许温暖.
08-21 8439
使用LLaMA-Factory高效微调qwen2-7b-instruct
【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践
寻道AI，探索AI无限可能！
07-29 2万+
在人工智能的浪潮中，大型语言模型（LLMs）正逐渐成为研究和应用的热点。它们在自然语言处理（NLP）的各个领域，如文本生成、翻译、问答等任务中展现出了卓越的能力。Qwen2-7B模型，作为该领域的佼佼者，不仅因其庞大的参数量和强大的表示能力受到关注，更因其在微调后能够更好地适应特定任务而备受关注。本文将详细介绍如何利用LLaMA-Factory这一高效的微调框架对Qwen2-7B进行微调，以期达到提升模型在特定任务上的表现。
LLaMA Factory 多模态微调实践：微调 Qwen2-VL 构建文旅大模型
xxue345678的博客
06-04 772
本教程将基于通义千问团队开源的新一代多模态大模型 Qwen2-VL-2B-Instruct，介绍如何使用 PAI 平台及 LLaMA Factory 训练框架完成文旅领域大模型的构建。
使用llama-factory框架下的QWEN2-VL-2B-Instruct跑通图像指令数据集（学习记录）
2301_80247435的博客
11-11 2641
使用llama-factory框架跑通自己的数据集
【多模态】swift框架使用qwen2-vl
威化饼的一隅
12-14 3016
前几篇里面学习了常见的一些多模态模型的典型架构和源代码，上一篇里面测试使用了minicpm-v系列模型，在尝试RLHF的时候发现swift特别好用特别全，记录一下对swift的一些使用，欢迎批评指正～前一篇里面写了minicpm-v的使用方法，这里主要记录qwen2-vl的使用。
【多模态大模型】Qwen2-VL基本原理和推理部署实战
weixin_43799388的博客
09-21 1万+
具体实现代码地址：https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_vl/modeling_qwen2_vl.py。具体实现代码地址：https://github.com/QwenLM/Qwen2-VL/blob/main/qwen-vl-utils/src/qwen_vl_utils/vision_process.py。Qwen2 VL的一个关键架构改进是引入了原生动态分辨率支持。
探索阿里通义千问的 Qwen2-VL：新一代视觉语言模型本地体验实战大全
m0_59235945的博客
09-27 2420
阿里通义千问的 Qwen2-VL 是一款具有强大功能和优异性能的视觉语言模型，它的发布为多模态技术的发展带来了新的机遇。无论是在视觉理解能力、多语言支持还是视觉智能体能力方面，Qwen2-VL 都表现出了卓越的性能，为各种应用场景的智能化发展提供了有力的支持。随着技术的不断发展和应用场景的不断拓展，相信 Qwen2-VL 将在未来发挥更加重要的作用。
使用LLaMA-Factory对LLM大模型进行微调！训练专属于你的模型！
qq_56109145的博客
11-22 1411
我们本次训练的主要是LLM模型的自我认识（身份），其数据集格式为下},你可以在程序的data文件夹下找到这个文件如果你需要使用其他数据集，可以根据这个格式进行编辑我们这里创建一个zhongerbing.json文件，用它来进行训练模型的自我认知。
实战千问2大模型第四天——Qwen2-VL-7B（多模态）lora微调训练和测试
qq_34717531的博客
10-08 3841
微调使得模型可以根据不同用户的需求进行定制，例如在特定领域内理解特殊的视觉内容或者专业术语。
llama-factory微调qwen2-vl
02-12
### 使用 LLaMA-Factory 微调... --adapter_name_or_path [your path]/llm/LLaMA-Factory/saves/qwen2_vl-7b/lora/sft-2/ \ --finetuning_type lora ``` 此段代码展示了如何加载已有的 LoRA 权重并对新任务快速适配。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ManonLegrand

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值