Javachichi的博客

大模型 Agent 是基于 LLM 构建的智能体自主性：无需人工干预即可完成复杂任务（如自动生成财报分析报告）目标导向：通过任务分解和动态规划实现预设目标（如制定旅行计划）工具协同：可调用 API、数据库等外部资源扩展能力边界（如查询实时天气）初代阶段（2023 前）：基于规则的简单问答系统过渡阶段（2023-2024）：LLM + 单一场景工具集成（如 ChatGPT 插件）智能阶段（2024 后）：多工具协同 + 自主决策（如 Auto-GPT）

之所以介绍一下chromadb，下面我们的实战demo就是基于chromadb来实现。Chroma的目标是帮助用户更加便捷地构建大模型应用，更加轻松的将知识（knowledge）、事实（facts）和技能（skills）等我们现实世界中的文档整合进大模型中。存储文档数据和它们的元数据：store embeddings and their metadata嵌入：embed documents and queries搜索： search embeddings。

检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。

大模型 Agent，作为一种人工智能体，是具备环境感知能力、自主理解、决策制定及执行行动能力的智能实体。简而言之，它是构建于大模型之上的计算机程序，能够模拟独立思考过程，灵活调用各类工具，逐步达成预设目标的智能存在。Agent 是 AI 大模型应用的主要新形态，在技术架构范式也发生了很大的变化，从面向过程的架构变成了面向目标架构。**2**_—_

AI Agent，即人工智能体，通常指有能力主动思考和行动的智能体。它能够以类似人类的方式工作，通过大模型来 “理解” 用户需求，主动 “规划” 以达成目标，使用各种 “工具” 来完成任务，并最终 “行动” 执行这些任务。学术界和工业界对 “AI Agent” 有各种定义，其中，OpenAI 将其定义为 “以大语言模型为大脑驱动的系统，具备自主理解、感知、规划、记忆和使用工具的能力，能够自动化执行完成复杂任务的系统”。​。

Agent是什么？Agent是一种能够自主决策、采取行动以达到某种目标的实体。AI Agent的确定义：基于人工智能（尤其是大模型）技术，能够感知和理解环境，并采取行动以完成目标的智能实体。Agent能干什么？AI Agent 主要依托LLM模型和具体的业务场景来调用相应的工具来完成任务目标，智能化程度和行业贴合度会更明显。典型案例有什么？智能核保应用，如果解决方案搭载AI Agent能力，Agent具体工作：1）能自动识别业务需求，调用OCR信息抽取和结构化管理；2）构建核保决策模型；3）联合出保及费率管

开发大模型相关应用，其技术核心点虽然在大语言模型上，但一般通过调用 API 或开源模型来实现核心的理解与生成，通过 Prompt Enginnering 来实现大语言模型的控制，因此，虽然大模型是深度学习领域的集大成之作，大模型开发却更多是一个工程问题。在大模型开发中，我们一般不会去大幅度改动模型，而是将大模型作为一个调用工具，通过 Prompt Engineering、数据工程、业务逻辑分解等手段来充分发挥大模型能力，适配应用任务，而不会将精力聚焦在优化模型本身上。

大模型（如大型语言模型、深度学习模型等）在各个领域的落地应用已经成为当前技术发展的热点。这些模型通常具备强大的数据处理和分析能力，能够在多个行业中提供智能化的解决方案。以下是一些大模型落地应用的具体场景和案例，涵盖金融、医疗、制造、教育等多个领域。1. 金融领域1.1 风险管理应用描述：利用大模型分析大量的历史数据，预测贷款违约风险、市场波动等。具体案例：某银行利用大模型对客户的信用评分进行评估，提高了信贷审批的准确性和效率。1.2 智能投顾。

大模型训练被分解成了预训练，监督调优，对齐等阶段。先看预训练，预训练，即Pre-training。预训练的目的是让模型学习语言的特性，主要是学习语言表达的流畅性和规则。至于具体的语言任务，比如对话，角色扮演，信息抽取，翻译，阅读理解，问答等，则需要放到监督调优。预训练是大模型的基础和核心，预训练阶段决定了模型的基础能力和上限。

在大语言模型（LLM）中，Token 代表模型可以理解和生成的最小意义单位，是模型处理文本的基础单元。它就像是模型世界里的 “积木块”，模型通过对这些 “积木块” 的操作来理解和生成文本。根据所使用的特定标记化方案，Token 可以表示单词、单词的一部分，甚至只表示字符。例如，对于英文文本，“apple” 可能是一个 Token，而对于中文文本，“苹果” 可能是一个 Token。

学习大模型的朋友肯定听说过大模型接口按token，自己编写代码的时候也经常看到token这个词，那它究竟是什么呢，我们一起来探究一下。

在探索最新的大语言模型（LLM）时，“MoE”这一术语频繁出现在各种标题之中。DeepSeek-V3便是一个实力强劲的混合专家（MoE）模型，其总参数量高达6710亿，且在处理每个标记（token）时，能够智能地激活约370亿的参数，实现高效计算。同样引人注目的还有Qwen2.5-Max，这一大规模MoE模型通过精心设计的监督微调（SFT）流程以及基于人类反馈的强化学习（RLHF）方法进行了后训练，大大提升了其性能与实用性。这个“ MoE ”代表什么？为什么这么多大语言模型（LLM）都在使用它？

今天对大模型蒸馏，量化，微调的介绍就到这里啦。蒸馏大师擅长知识传递，量化大师精于压缩体积，微调大师则专注于精细调整。他们各有千秋，适合不同的场景。如果你想要一个轻便的小模型，蒸馏和量化是不错的选择。如果你需要模型在特定任务上表现更好，微调是你的不二之选。当然，你也可以把这三位大师结合起来使用，打造一个既轻便又强大的模型。毕竟，谁不想拥有一个既聪明又灵活的AI助手呢？2025最新版CSDN大礼包：《AGI大模型学习资源包》免费分享**

模型蒸馏即知识蒸馏（Knowledge Distillation），是一种模型压缩和加速技术。在深度学习中，大型深度神经网络虽性能优异，但因计算复杂度高、存储需求大，难以部署在资源受限设备上。模型蒸馏通过构建师生架构，让小的学生模型学习大的教师模型的知识，使学生模型在保持较小规模的同时，尽可能接近教师模型的性能。其核心组件包括知识（如教师模型的 logits、中间层特征等）、蒸馏算法（用于指导知识转移）和师生架构（决定知识传递方式）。

选择知识库选项卡，然后点击创建知识库。

在当今数字化时代，企业知识库的建设和维护对于提升工作效率和服务质量至关重要。AI聊天机器人作为知识库的交互界面，可以提供24/7的即时服务。本文将介绍如何使用 Dify 这一工具快速搭建企业知识库聊天机器人，它可以当你企业的职能客服，也可以做你企业内部培训的老师。相比起传统的“智能客服”，加入大语言模型后的AI客服能更清楚用户想问什么问题，在匹配你提供的知识库的内容进行回答，这样看上去会更懂用户，显得没那么智障。动手实操真正要做的就以下4步：首先，你要有一份知识库文档。其实这步是在整个操作中最重要的。如果你

最近像素画风的视频非常火，一个视频浏览量超过10w+的也有很多。那么这个是怎么实现的？其实，通过AI工作流可以比较简单地实现这样的短视频。今天给大家分享一下，我是如何搭建工作流实现的。AI工作流适用于解决一些复杂问题。这对于不会写程序的人来说，是一个可以落地的工具。2025年，很多企业已经开始推送AI的落地应用，比如构建智能体，构建AI应用等。当然，AI工作流还有很长的路要走，但已经可以解决很多问题了。

Agent，我们一般将其翻译为代理人代理商等。在人工智能领域，Agent 通常被定义为一种具有感知能力的实体，它能够通过对其所处环境的观察来做出相应的决策和反应。这种 Agent 既可以是软件形式的程序，例如对话机器人，也可以具备物理形态，比如扫地机器人在了解 AI Agent 之前，我们先考虑一个场景：我们要写一本 20 万字的关于人工智能最新技术的书在没有大模型之前，我们一般会按照如下流程第一步：先使用搜索引擎搜索一些相关书籍和信息进行阅读，为我们打开思路。

当你还在和ChatGPT尬聊时，已经有人用它搞到钱了。前段时间，国外网友给ChatGPT 100美元自创业，搭建网址、内容策划、传播全都AI搞定，甚至LOGO都是由Dall-E设计的。公司运作2天，估值飙升到25000美元。看到ChatGPT的羊毛这么容易薅，网友也纷纷按捺不住了。其实，还有另一个用「ChatGPT」赚钱的门道，而国内已经有开发者，用ta赚到了第一桶金。一次偶然经历，诞生一个项目此前，无空从未能想到，一次在家「休假」的机会，竟然让自己做起了一个项目。

Github项目上有一个，它全面涵盖了大语言模型的所需的基础知识学习，LLM前沿算法和架构，以及如何将大语言模型进行工程化实践。这份资料是初学者或有一定基础的开发/算法人员入门活深入大型语言模型学习的优秀参考。这份资料重点介绍了我们应该掌握哪些核心知识，并推荐了一系列优质的学习视频和博客，旨在帮助大家系统性地掌握大型语言模型的相关技术。

在当今数字化浪潮中，人工智能（AI）技术，尤其是大模型技术，为普通人提供了前所未有的副业机会。无论是写作、设计还是编程，大模型都能成为你的得力助手，帮助你在副业中实现收入的飞跃。本文将通过真实案例与实用建议，带你探索如何利用大模型技术开展副业，增加收入。

大模型技术，指的是参数量巨大、结构复杂的人工智能模型。这类模型通过对海量数据的训练，掌握了丰富的知识和模式识别能力，能够执行多种复杂任务，如自然语言处理、图像识别、数据分析等。随着计算能力的提升和算法的优化，大模型在多个领域展现出了巨大的商业潜力。

选择部署框架的关键在于任务需求。只有根据实际需求来确定合适的框架，才能确保项目的顺利推进和成功实现。因此，在选择部署框架时，我们应该深入了解框架的特性、优缺点以及适用场景，综合考虑项目规模、技术栈、资源等因素，从而选择最适合的框架来支撑项目的实施。这样不仅可以提高开发效率，还能降低项目风险，确保项目的顺利推进和最终成功。追求高性能推理？DeepSpeed是您的理想之选。

目录一、LLM基本概念二、LLM发展历程三、LLM大模型的分类四、LLM主流大模型类别五、LLM大模型建立的流程六、Fine-Tuning七、Prompt-Tuning八、超大规模参数模型Prompt-Tuning方法8.1上下文学习 In-Context Learning8.2.指令学习 Instruction- Tuning8.3 思维链Chain-of-Thought九、Prefix-Tuning十、LoRA二、LLM发展历程截止目前，语言模型发展走过了三个阶段：按照输入数据类型的不同，LLM大模

完成设置后回到主页面，可以看到顶部的4个页面。“探索”页面提供了模板应用程序，用户可参考模板定制自己的应用程序。“工作室”页面用户可创建自己的应用，包括聊天助手、智能体、工作流。“知识库”页面用户可以通过上传自己的文本数据创建知识库增强 LLM 的上下文。“工具”页面是Dify本身集成第三方工具，用户也可自定义工具。

这里的Agent 指的是智能体，可以追溯到明斯基的《society of mind》一书。在那本书中，明斯基对Agent的定义有点抽象——“社会中某个个体经过协商后可求得问题的解,这个个体就是agent”。在计算机领域，agent是一种通过传感器感知其环境，并通过执行器作用于该环境的实体，因此，可以把实体定义为一种从感知序列到实体动作的映射。一般认为，Agent是指驻留在某一环境下，能持续自主地发挥作用，具备自主性、反应性、社会性、主动性等特征的计算实体。智能，是Agent 与环境相互作用的涌现属性。

RAG（Retrieval-Augmented Generation，检索增强生成），RAG。

一种能够生成各类内容的技术，包括文本、图像、音频和合成数据。自2022年底ChatGPT在全球范围内推广以来，基于Transformer解码器结构的大模型已能在短时间内为用户生成高质量的文本、表格、代码，使整个AI领域迈入了新的时代。大语言模型（Large Language Model，LLM）经过海量文本数据的训练后，能将这些文本数据以一种黑盒形式压缩在模型参数中。预训练完成后，模型便掌握了大量的人类知识世界。

3月21日，南都记者了解获悉，阿里云官宣与新加坡国立大学、泰国数字经济促进局等10所知名高校及政府机构达成合作，推出AI及云计算培训课程，覆盖泰国、新加坡、中国香港等7个亚洲主要国家及地区。此前，阿里已在国内与多个科研机构、多所高校合作部署阿里通义千问QwQ-32B，助力降低AI应用门槛、提升科研效率。

在人工智能领域，大模型的本地部署是一个关键步骤，它能够让用户在自己的服务器上运行大型语言模型，从而满足各种定制化的需求。本文将详细介绍三种大模型本地部署的方法，帮助用户轻松上手。

本文详细介绍Transformers‌、‌ModelScope‌、‌vLLM‌、‌Llama.cpp‌、‌Ollama‌、‌TGI‌ 这几种常用的大模型部署方式，包含具体的部署方法、适用情况以及优缺点分析，为大家做大模型部署技术选型提供依据。‌‌1、安装依赖2、加载预训练模型和分词器‌3、构建API服务4、运行运行API服务‌‌‌1、安装vLLM或者源码安装2、加载运行模型从 Hugging Face 加载模型‌加载本地模型3、启动方式单卡启动多卡启动‌1、下载代码2、编译3、下载模型和格式转换。

今天分享下关于大模型本地部署的一些基础知识，做一个简单的入门，并科普相关的工具使用。

总的来说改动还挺多，最核心的改动还是默认使用KRaft模式运行。和也有一些改动，具体参考官网吧黑客/网络安全学习路线对于从来没有接触过黑客/网络安全的同学，目前网络安全、信息安全也是计算机大学生毕业薪资相对较高的学科。大白也帮大家准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。这也是耗费了大白近四个月的时间，吐血整理，文章非常非常长，觉得有用的话，希望粉丝朋友帮忙点个**「分享」「在看」「赞」**网络安全/渗透测试法律法规必知必会****

如果说程序员的世界存在"真香定律"，Cursor的横空出世就是最生动的注脚。最近在GitHub Trending和开发者论坛上，这个神秘工具持续霸榜，引发了一场现象级讨论——资深架构师惊叹"它重构了我的开发流程"，全栈工程师直呼"Debug效率提升300%"，就连硅谷的Tech Lead都在Twitter上发文：“现在招人标准要加上’精通Cursor’这一条了”。官方文档GitHub Copilot 和 Tabnine 是最通用的选择，支持多种编程语言。

看似只是一个关于“轮询还是SSE”的争论，背后却折射出了前后端之间深刻的思维差异。前端和后端的工作本质上是对立的：我们前端关注的是用户体验和表现，而后端更关注的是系统性能和稳定性。这种目标的不同导致了我们在技术选型上的分歧。

特性export（命名导出）（默认导出）名称需要指定具体名称无需名称，导入时自定义数量可多个只能一个导入方式适用场景导出多个相关值导出模块的主要功能绑定行为实时绑定值固定（对象为引用）选择export还是如果模块有多个导出，使用export。如果模块只有一个主要导出，使用。在 React Router v7 中，推荐使用命名导出以适应其约定和工具链要求。黑客/网络安全学习路线对于从来没有接触过黑客/网络安全的同学，目前网络安全、信息安全也是计算机大学生毕业薪资相对较高的学科。

视图（View）是SQL中的一种数据库对象，它是一个虚拟表，由查询语句的结果集构成。视图并不在数据库中以存储的数据值集形式存在；实际上，视图是一条保存的SELECT查询，当用户或应用程序查询视图时，数据库引擎执行这个保存的查询来返回数据。简化复杂的查询：视图可以包含复杂的JOIN、子查询等操作，使得最终用户无需理解底层表结构的复杂性。抽象化数据层：通过视图，可以向用户提供一个简化的接口来访问数据，而隐藏实际的数据结构和复杂度。安全控制。

反序列化其实就是序列化的逆向过程，如果你看懂了序列化的关键代码，那么看这个过程就不会很难，下面贴出关键代码做出分析这里能够看到会根据反序列对象的具体类型分别做不同的处理，我们当前的对象是 User 对象所以会进入箭头指向的方法。

1、在这个密码重置模块里面，只需输入手机号和手机验证码即可进入修改密码界面，看到这个界面，很多人会尝试暴力破解，但会发现验证码仅能使用一次，爆破成功，但输入的时候已经失效了，怎么办？5、这里，我们利用系统的另一个缺陷，因对手机验证次数没有限制，遍历000000-999999区间，暴力破解手机验证码，成功后返回success。我们注意到返回的是失败，如果返回成功，是什么样子呢？实现一个业务功能，也有着很多不同的实现方式，当业务逻辑考虑不严谨的时候，同一个业务功能模块之下，存在着很多漏洞场景。

简单总结一下。纯血鸿蒙本身目前无法平替Android或者iOS手机。应用生态的缺口仍然比较大。开发原生鸿蒙应用对开发团队来说成本很高。跨平台框架是鸿蒙应用生态快速发展的破局之道。目前鸿蒙已经支持Flutter框架。但是对于Flutter + 原生模式的三方插件需要开发者主动适配鸿蒙系统，目前数量较少。最后作为一个开发者，希望写一套代码可以运行在所有平台上，不用熬夜加班去适配。如果看到这里的同学对客户端开发或者Flutter开发感兴趣，欢迎联系老刘，我们互相学习。