大模型QLoRA微调——基于Qwen2-7B的自动化病历摘要生成系统

已于 2024-12-17 20:19:45 修改
阅读量1.7k 收藏 19
点赞数 15
CC 4.0 BY-SA版权
分类专栏： 付费专栏 NLP自然语言处理 文章标签： 大模型 qwen 人工智能 量化微调
于 2024-12-17 11:01:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41301570/article/details/144528273

01 项目简介

（1）项目背景

医疗文档中包含大量的诊疗信息，例如疾病诊断、手术名称、解剖部位、药物使用以及影像和实验室检查结果。这些信息是医疗数据分析的核心，但由于医疗文本内容复杂、格式多样，提取这些关键内容具有一定挑战。为此，本项目基于 Qwen-7B大语言模型，通过QLoRA微调，使其从医疗文档中识别并提取这些信息。

（2）数据集介绍

本项目在Yidu-S4K数据集上进行指令微调任务，该数据共计包含1000条中文电子病历医疗实体识别数据。数据集地址如下：

https://tianchi.aliyun.com/dataset/144419

每条数据集如上图所示，因此需要先将其处理为qwen大模型要求的输入格式，本项目的处理结果如下：

图片

（3）Qwen大模型介绍

Qwen是通义千问团队的开源大语言模型，由阿里云通义实验室研发。该系列模型包括5个尺

最低0.47元/天 解锁文章

200万优质内容无限畅学
大模型微调流程
wend的博客
07-02 760
大模型微调是指在预训练语言模型（如 GPT-4、Llama 2、ChatGLM 等）的基础上，通过特定领域数据对模型进行针对性训练，使其适配具体任务或场景的过程。其本质是通过参数优化让预训练模型的泛化能力与领域知识结合，实现从 “通用智能” 到 “领域专家” 的转变。
Mono-InternVL 多模型大模型测评
qq_34717531的博客
11-11 250
上海人工智能实验室的代季峰教授团队最近开发了一种新型多模态大模型Mono-InternVL，该模型在多模态任务中表现卓越，显示出技术上的显著优势。Mono-InternVL通过内嵌视觉专家，优化了视觉感知与理解的集成，大幅提高了处理效率。该模型采用了增量预训练方法，有效降低了训练中的信息遗忘问题，并通过内生视觉预训练方法，增强了模型在复杂任务中的性能。在多项多模态基准测试中，Mono-InternVL展现了优于现有模型的能力，特别是在OCR、问答系统和图表解析等方面表现出色。
Qwen 模型自动构建知识图谱，生成病例 + 评价指标优化策略
2301_79306982的博客
02-01 1503
喂给qwen一大堆医疗词典和病历模板让它进行命名实体识别，从而构建一个医疗知识图谱，然后使用时: 喂给qwen医生当前输入的文本从中进行实体识别，根据实体识别去知识图谱检索，检索出来一些模板。然后生成联想的下文
用大模型提取《cuda-c-programming-guide》的摘要并输出中文
Hi20240217的博客
07-06 449
想快速知道CUDA C++ Programming Guide中的内容。打开网页,保存成mhtml内容,用以下脚本提取内容,调用qwen大模型生成摘要。当然,还可以对摘要再提一次摘要。
医学自然语言处理相关资源整理
SZ-crystal
04-07 9860
# Chinese_medical_NLP 医疗NLP领域（主要关注中文） 评测数据集 与 论文等相关资源。
钓鱼大模型，让它输出不该输出的东西
我的备忘录
08-16 1111
这个小发现只局限于Qwen模型，其他模板的喜欢都可以试试。能发现这个问题也是基于对LLM本身训练规则的思考，而且只要模板换了，或者厂家把user assistant 分隔符这种token换成闭源非开放的，马上就好了。试了一下，llama3.1也被这招攻破了。而且继续被攻破的输出接着提问，它也会继续输出涩情信息。
视觉语言模型VLM发展脉络
m0_59235699的博客
03-12 1141
1、大模型时代的多模态现代社会，双眼摄入的信息量大概可能是其他所有感官之和，而视觉信息最重要的两种载体——图片和文本是我们打开AGI的大门。当前LLM时代已经将人类的语言和思维掌握的很好，但是目前来看在图像感知、理解、生成方面仍有很大不足。2、数据集因为数据的敏感性和解释门槛，很多公司在技术报告或者论文中很少会交代详细的数据来源。我们用国内做的最好的Qwen系列来看一下，做多模态的视觉语言模型，我们一般需要多少数据量？以及在核心测试数据上，模型的迭代提升情况。1）QwenVL。
CCKS 2019 中文电子病历数据集.rar
09-09
CCKS 2019 中文电子病历数据集 实验数据来源于CCKS 2019 发布的中文电子病历命名实体识别评测数据集，共包含1379例病历样本，每份病历包含原始文本和实体标注两个部分， 实体类型包括：手术，解剖部位，药物，疾病和诊断，影像检查，实验室检验。 数据集结构为： "originalText": "，患者3月前因“直肠癌”于在我院于全麻上行直肠癌根治术（DIXON术），手术过程顺利，术后给予抗感染及营养支持治疗，患者恢复好，切口愈合良好。，术后病理示：直肠腺癌（中低度分化），浸润溃疡型，面积3.5*2CM，侵达外膜。双端切线另送“近端”、“远端”及环周底部切除面未查见癌。肠壁一站（10个）、中间组（8个）淋巴结未查见癌。，免疫组化染色示：ERCC1弥漫（+）、TS少部分弱（+）、SYN（-）、CGA（-）。术后查无化疗禁忌后给予3周期化疗，，方案为：奥沙利铂150MG D1，亚叶酸钙0.3G+替加氟1.0G D2-D6，同时给与升白细胞、护肝、止吐、免疫增强治疗，患者副反应轻。院外期间患者一般情况好，无恶心，无腹痛腹胀胀不适，无现患者为行复查及化疗再次来院就诊，门诊以“直肠癌术后”收入院。 近期患者精神可，饮食可，大便正常，小便正常，近期体重无明显变化。" "entities": "label_type": "疾病和诊断" "overlap": 0 "start_pos": 8 "end_pos": 11
基于Qwen 3.0的变压器油色谱分析报告自动生成技术方案，知识来源是哪里？
07-08
4. **微调技术（如QLoRA）**：引用[2]介绍了基于Qwen2-7B的微调案例（自动化病历摘要生成系统），这为我们在变压器油色谱分析领域进行模型微调提供了方法参考。我们可以采用类似的微调技术（如QLoRA）来适配电力领域...
请介绍通过qwen大模型进行摘要提取
06-28
此外，引用[2]提到使用QLoRA微调，如果我们有特定领域的摘要需求（如医疗病历摘要），可以考虑对Qwen模型进行微调。但这里我们只使用预训练的对话模型进行零样本（zero-shot）摘要。 如果计算资源有限，可以使用较...
qwen模型
03-29
引用[2]指出Qwen2-7B-Instruct是经过指令微调的模型，适合特定任务。引用[3]提到了Qwen1.5-MoE-A2.7B-Chat，激活参数量高效，性能接近7B模型。引用[4]介绍了Qwen-Agent框架，用于工具使用和智能代理开发。 接下来，...
【Qwen2微调实战】Lora微调Qwen2-7B-Instruct实践指南_qwen2 lora
HUANGXIN9898的博客
04-14 649
Lora微调是一种基于低秩矩阵的微调方法，它通过在模型的权重矩阵中引入低秩结构来减少参数数量，从而降低模型的存储和计算需求。这种方法在保持模型性能的同时，显著提高了模型的灵活性和适应性。Qwen2-7B-Instruct，一款精心设计的高级预训练语言模型，拥有70亿参数，专注于提升对指令性文本的精准理解和高效生成。它在自然语言处理（NLP）的多个专业领域中，如文本摘要、情感分析、机器翻译等，均展现出了卓越的处理能力和适应性。
NLP在医疗领域的应用：病历分析与疾病预测
AI天才研究院
01-28 1939
1.背景介绍 1. 背景介绍 自从深度学习和自然语言处理(NLP)技术的蓬勃发展以来，医疗领域也开始广泛应用这些技术。在医疗领域，NLP的应用主要集中在病历分析和疾病预测等方面。这篇文章将深入探讨NLP在医疗领域的应用，并介绍其在病历分析和疾病预测方面的具体实践。 2. 核心概念与联系 2.1 病历分析 病历分析是指通过对患者的病历数据进行处理和分析，从而提取有用的信息，为医生提供诊断和...
Qwen-VL本地部署指南
Qinghub‘博客
05-16 5243
通义多模态 Qwen-VL本地部署指南
【拥抱AI】对比embedding模型gte-Qwen2-7B-instruct和bge-m3:latest(二)
保持前进，即便速度慢，也不能停下脚步...
11-16 1941
优势：指令跟随能力、多任务处理、大规模参数。适用任务：文本生成、问答系统、文本分类、情感分析、命名实体识别、语义匹配。推荐场景：需要生成高质量的文本或构建复杂的对话系统。优势：多模态能力、预训练、资源需求较低。适用任务：多模态任务（如图像标注、多模态情感分析）、文本分类、情感分析、命名实体识别、语义匹配。推荐场景：处理多模态数据或资源有限的环境。最终的选择应根据你的具体任务需求、可用资源和预期性能来决定。希望这些对比和建议对你有所帮助！
中文病历单数据集
sharejingjing的博客
07-27 944
本文基于chatgpt生成2980条中文病历单数据，该病历单数据包括：主诉、现病史、既往史、辅助检查、诊断、建议
均值聚合与PCA：优劣全解析
最新发布
ZJQ的博客
08-05 573
摘要： 均值聚合与主成分分析（PCA）是两种数据简化方法，适用场景不同。均值聚合优势在于计算简单（基础运算即可）、可解释性强（结果对应原始变量水平）、对数据分布无严格要求，且聚焦“集中趋势”，适合快速整合信息或需直观解释的场景（如绩效评分）。PCA则依赖变量相关性，需先标准化数据以消除量纲影响，核心是提取数据变异方向，适合高维强相关数据降维。两者非替代关系，需根据目标选择：关注整体水平时用均值聚合，探索数据结构时用PCA。 （150字）
使用yolo11训练饮料瓶盖缺陷检测质量检测数据集VOC+YOLO格式1432张5类别步骤和流程
FL1623863129的博客
08-03 753
训练完成后，最佳权重保存路径为：runs/detect/train/weights/best.pt，如果多次运行命令runs/detect/train2,runs/detect/train3文件夹生成只需要到数字最大文件夹查看就可以找到模型。经过上面训练可以使用模型做一步部署，比如使用onnx模型在嵌入式部署，使用engine模型在jetson上deepstream部署，使用torchscript模型可以在C++上部署等等。通过比较不同模型在这些指标上的表现，可以判断哪个模型在实际应用中可能更有效。
Opera浏览器v120.0.5543.128绿色版，集成多重加速引擎，告别卡顿与追踪
midou55com的博客
08-02 845
一、产品概况Opera 诞生于挪威，以“小巧、快速、安全”闻名。该绿色版基于官方最新稳定分支定制，免安装、不写注册表，解压即可运行，适用于 U 盘随身携带或本地无痕使用。二、核心特色极速内核原生 Blink 引擎，启动与页面加载速度优于多数同内核浏览器；精简皮肤与 16×16 图标进一步减少资源占用。高度可定制• 快速拨号：内置可视化定制工具，背景、图标、布局随心调整。• 鼠标手势 + 快捷键：支持自定义，浏览效率倍增。• 界面选项：可隐藏标题栏、一键全屏，打造极简视觉体验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MatpyMaster

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值