基于Xinference框架实现微调后Qwen/DeepSeek模型的流式与非流式批量推理

已于 2025-04-05 13:59:44 修改
阅读量1.3k 收藏 10
点赞数 25
CC 4.0 BY-SA版权
分类专栏： 大模型应用与实战 文章标签： Xinference 大模型 流式推理 非流式推理
于 2025-04-05 10:27:05 首次发布
本文为博主原创文章，未经博主允许不得转载，听见没。
本文链接：https://blog.csdn.net/jining11/article/details/146283707

在当前大语言模型（LLM）蓬勃发展的时代，如何有效地利用和部署这些模型成为了许多开发者和研究者关注的焦点。在之前的《基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理》与《基于Transformer框架实现微调后Qwen/DeepSeek模型的流式推理并封装成接口》这两篇借助transformer库实现推理的基础上，本文将详细介绍如何基于Xinference框架来实现微调后Qwen/DeepSeek模型的推理，包括了流式与非流式两种推理方式的实现及其应用场景。

文章目录

🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容

在这里插入图片描述

<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Ollama vs Xinference: AI推理引擎对比报告
maxcode
02-05 3525
Ollama 和 Xinference 都是强大的AI推理引擎，旨在提升机器学习和深度学习模型的推理性能，但它们的应用场景、性能优化、以及支持的技术栈各自有所不同。本报告将详细比较这两者的架构、性能、应用场景、易用性、社区支持等方面，帮助开发者和企业根据自身需求选择合适的推理引擎。Ollama 适合开发者和小团队，特别是希望在本地进行推理的小型项目。其简洁易用的API和本地化推理能力，非常适合需要离线运行或本地资源有限的场景。
基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理
羊城迷鹿的博客
04-03 1385
在基于LLamaFactory微调完具备思维链的DeepSeek模型之后（详见《深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题》），接下来就需要针对微调好的模型（注意需要有一个本地的模型文件，全量微调就是saves下面的文件夹，如果是LoRA，还需要进行一步导出模型的操作），实现快速高效的模型推理。本文将详细分享如何基于Transformer框架，通过多GPU并行实现DeepSeek模型的非流式批量推理，并解决在实践中遇到的关键技术挑战如输出结果错乱、to
Xorbits Inference 项目客户端 API 使用指南
最新发布
gitblog_00466的博客
06-05 407
Xorbits Inference 项目客户端 API 使用指南 项目概述 Xorbits Inference 是一个强大的模型推理服务框架，提供了多种类型的预训练模型支持，包括大语言模型(LLM)、嵌入模型(Embedding)、图像生成模型(Image)、音频处理模型(Audio)等。通过简洁的客户端API，开发者可以轻松地将这些模型集成到自己的应用中。 服务启动与连接 要使用Xorbits ...
全面指南：Xinference大模型推理框架的部署与使用
黄宝良的博客
05-15 1446
Xinference（Xorbits Inference）是一个专为简化AI模型部署和管理而设计的分布式推理框架，支持多种模型类型和硬件环境。本文详细介绍了Xinference的核心特性、版本演进，并提供了多种部署方式的指南，包括本地部署、Docker-Compose部署和分布式集群部署，涵盖GPU和CPU环境下的配置差异。Xinference支持多模型、分布式推理、异构硬件加速，并提供多种接口和开放生态集成。最新版本v1.4.1引入了多项重要更新，如vLLM分布式推理、SGLang引擎增强和新模型支持。部
【DeepSeek-R1】DeepSeek-R1-Distill-Qwen-1.5B 流式与非流式推理调用
chwei20002005的博客
02-03 1560
windows 11 下，部署 DeepSeek-R1-Distill-Qwen-1.5B。为了根据用户的需要做了两种形式一种是流式生成一种是非流式。
流式推理引擎对比
Apollos521的博客
07-23 5934
什么是流式推理引擎 推理引擎是将人工智能模型转化为生产力的关键部件。它衔接数据科学家、终端用户和运营商，在典型的商业场景中，运营商将数据科学家研究的人工智能模型，部署于计算平台，并引导终端用户的请求在计算平台各模型间流转，最终形成客户期望的响应，并在其终端展示。 流式推理引擎是推理引擎的一种工作形态，他将人工智能模型及相关的周边处理，以工作流的方式组织起来，对外提供更能适配客户业务需求的推理服务。 它工作的时候，数据从终端客户或设备开始，在推理引擎的驱动下，按照既定的工作流业务逻辑，在各智能和非智能处理节点
完美解释：wenet-流式与非流式语音识别统一模型
weixin_44885180的博客
12-22 2万+
Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition 流式与非流式语音识别统一模型-出门问问&西工大方案 1.模型结构 如下图所示，模型包含三个部分，分别为共享的Encoder、CTC解码器、Attention解码器，共享Encoder包含多层transformer或者conformer，CTC解码器为一个全连接层和一个softmax层，Attention解码器包含多层transfor
langchain连接xinference并输出数据
weixin_43654613的博客
10-25 537
结合langchain、xinference、chainlit
基于Transformer框架实现微调后Qwen/DeepSeek模型的流式推理并封装成接口
羊城迷鹿的博客
04-05 927
在大语言模型（LLM）应用的实际落地过程中，流式推理（Streaming Inference）是提升用户体验的关键技术。与[《基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理》](https://wangjn.blog.csdn.net/article/details/146283684)中使用的传统的批量推理不同，流式推理允许模型在生成过程中实时返回部分结果，从而实现类似于人类对话的交互体验。本文将详细介绍如何基于Transformer框架对微调后的Qwen2和Dee
如何解决使用transformer推理微调后的Qwen/DeepSeek生成式模型时出现的输出无限重复类问题
羊城迷鹿的博客
04-14 995
Qwen2.5是阿里巴巴推出的一系列大语言模型，提供基础版本（base）和instruct版本（用于指令微调）。经过指令微调，能够更好地理解和响应自然语言指令，通常用于对话和任务执行。Qwen2.5（基础版本）则是未经指令微调的模型，适用于更灵活的生成任务，但也可能由于缺乏微调导致某些行为异常，比如本文探讨的无限循环问题。问题本质：微调后的Qwen2.5模型配置文件中设置错误，导致生成无法正常终止排查方法：检查原始token输出和比较模型配置文件解决方案：修改配置文件或在代码中动态设置正确的。
如何通过微调Qwen/DeepSeek模型实现以思维链生成方式完成文本分类任务
羊城迷鹿的博客
04-14 1401
目标：让大模型总结出每个分类类别的典型特征和识别规律工作原理：将同一类别的所有样本聚合，提供给大模型，让它分析这些样本的共性输出：每个类别的判别规则和特征描述这个阶段实际上是利用大模型来执行知识归纳任务，让它从大量同类数据中总结规律，相当于让大模型自己提炼出区分不同类别的关键特征。第一阶段的目标是利用大模型对每一类别的原始数据进行分析，总结出这个类别的规律特征。数据准备加载原始分类数据及标签基于原始数据生成SFT（监督微调）数据第一阶段：类别规律总结对每个类别的所有样本进行合并。
顺丰科技基于WeNet端到端语音识别方案落地
weixin_48827824的博客
04-06 1522
顺丰科技是顺丰集团旗下的科技公司，自2021年初，顺丰科技从零开始逐渐完善形成了全面的信号处理、语音合成、语音识别和语言理解的能力体系，同时根据公司业务场景的需求，打造了智能质检、智能外呼等实际产品并实现了落地。
“三板斧“解决大模型推理“慢“问题
weixin_46423102的博客
04-23 5220
要想理解和解决大模型服务推理“慢”的问题，首先要知道大模型的推理结果是怎么产生的。由上图可知，推理过程是不断地根据上文（robot must obey）来猜测下文最可能出现的token（orders），最后拼接而成。如果需要输出更长的结果，那么就需要不断地去根据上文推理下一个token，直到结束。所以影响大模型推理“慢”的主要原因是不同模型推理速度和输出长度。
Xinference：大模型部署与分布式推理框架（四）集成LoRA、部署其他模型——视觉模型、Embedding模型、Rerank模型、图像模型
Code1994的博客
09-28 2505
Xinference 可以在启动 LLM 和 image 模型时连带一个 LoRA 微调模型用以辅助基础模型。
Xinference：一款性能强大且功能全面的大模型部署与分布式推理框架
热门推荐
qq_46094651的博客
08-13 2万+
除了使用LLM模型的Web界面进行操作外，Xinference还提供了API接口，通过调用API接口来使用LLM模型。在API文档中，存在大量API接口，不仅有LLM模型的接口，还有其他模型(如Embedding)的接口，并且这些接口都是兼容OpenAI API的接口。通过访问来查看API文档。Xinference提供了管理模型整个生命周期的能力。
从FasterTransformer源码解读开始了解大模型（2.0）代码通读01
zzyincsdn的博客
05-12 1367
本篇的内容直接开始我们的代码通读，整个通读可能需要好几篇文章来将一整个gpt的代码结构给讲清楚。目前的计划是先从整体model层次开始讲，将ContextDecoder和Decoder讲完之后，再从模块内部（MHA和FFN）代码开始讲，中间也会穿插一些技术点的讲解。
WeNet：面向生产的流式和非流式端到端语音识别工具包
Together_CZ的博客
12-29 2006
WeNet: Production Oriented Streaming and Non-streaming End-to-End Speech Recognition Toolkit WeNet：面向生产的流式和非流式端到端语音识别工具包
西工大 ASLP 实验室在 WeNet 中开源基于 CPPN 的神经网络热词增强语音识别方案
weixin_48827824的博客
09-12 1754
语境偏置（Contextual biasing）旨在将语境知识集成到语音识别（ASR）系统中，以提高在相关领域词汇（俗称“热词”）上的识别准确率。在许多ASR场景中，待识别语音中可能会包含训练数据中数量很少或完全没出现的短语，例如一些领域专有名词、用户通讯录中的人名等，这些短语的识别准确程度对用户体验或下游任务的影响很大，但对于在通用数据上训练ASR系统来说又难以完全正确识别。因此语境偏置方法具有重要价值，旨在提升在这些“热词”上的识别准确率。
# RAG 框架 | 技术栈 #一文读懂Xinference架构！优秀开源项目技术栈分析
weixin_45312236的博客
10-15 1494
Xinference是一个利用actor编程框架Xoscar来管理机器、设备和模型推理进程的系统。每个actor都是模型推理的基本单元，可以集成多种推理后端。它支持多种推理引擎和硬件，并且具有异步和非阻塞的特性。：使用FastAPI实现，提供了一个示例API/status对应函数get_status。命令行：通过Click实现，允许用户在终端与Xinference进行交互。提供了几个命令行工具，如xinference和。Actor：基于Xoscar框架，可以管理计算资源和Python进程，支持并发编程。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羊城迷鹿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值