- 博客(182)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 通往L4之路：构建自我进化的智能驾驶决策大脑
摘要：本文提出一种突破性的自动驾驶决策系统方案，旨在解决行业核心的"长尾场景"难题。通过构建动态驾驶世界模型(DDWM)，在仿真环境中生成对抗性极限场景，并基于蒙特卡洛树搜索(MCTS)进行多模态行为规划，最终利用GRPO等离线强化学习技术，训练出能权衡安全、舒适和效率的端到端驾驶策略。该系统采用"仿真优先、数据驱动"的技术路线，通过影子模式部署实现人机共驾，建立包含系统冗余、伦理编码和可解释性的完整体系。文章阐述了从理论到实践的完整技术栈，描绘了通过持续自我进化实现
2025-08-04 21:15:27
425
原创 滴滴国际化安全征途：从ReAct到GRPO，构建自优化的决策智能体
沟通方式的“高低语境”： 在日本这样的高语境文化中，乘客感到不安时，可能只会说一句“啊，这里我好像没来过”，这种极度委婉的表达，对于一个习惯了直接关键词匹配的模型来说，几乎是无效信号。它评估一个路径的“希望”，不仅要看“成功解决风险的概率”，还要综合考量：运营成本（动用人工客服或线下团队的成本）、用户体验（干预措施对正常用户的打扰程度）、法律风险（该路径中是否存在法律模糊地带的动作）、公共关系风险（该路径是否可能引发负面舆论）。这意味着，安全智能体与用户交互的语气、措辞、时机，都必须进行精细的本地化定制。
2025-08-04 20:54:27
750
原创 【万字长文深度剖析】从0到1，我们如何构建金融投研大模型智能体（Agent）？——ReAct、数据合成与工程优化全景实践
在金融投研这个信息爆炸的领域，分析师的每一天都像是在与海量数据进行一场没有硝烟的战争。传统的工作流不仅效率低下，更容易错失关键的Alpha信息。为了彻底改变这一现状，我们团队从0到1构建了一个由大模型驱动的投研分析智能体（Agent）。本文将毫无保留地分享该项目的核心技术路径与关键决策，从为什么我们判定传统RAG架构已到瓶颈，到自研ReAct Agent框架的设计哲学与Prompt工程细节，再到我们实现Agent智能的“核武器”——大规模Agentic数据合成的完整流程与挑战，以及最终实现生产落地所需的。
2025-07-28 15:38:18
778
原创 深入解析：GRPO决策优化与动态规划在先进RAG系统中的应用
传统的RAG在面对复杂问题（如：“对比一下A和B产品在C场景下的优劣，并结合最新的市场反馈给出建议”）时，往往会显得力不从心。一个简单的、贪心（Greedy）的执行策略，可能会在第一步就走错方向，导致后续步骤错漏百出，或者陷入一个计算量巨大的无效路径。我们之前提到的GRPO（生成式奖励偏好优化），在这里扮演的角色不再是简单地生成文本，而是。而“计划优化”的目标，就是在正式执行前，在一个巨大的“可能性空间”中，找到一条。相结合，是将RAG系统从一个被动的“工具”提升为主动的“规划者”的关键一步。
2025-07-21 20:09:10
926
原创 面试完教育方向的科技公司，我决定不跳了，自己干——因为“升学率”正在杀死真正的学习
【摘要】"路人与大师"团队拒绝迎合应试教育逻辑，推出创新AI教育产品"启思引擎"。该产品摒弃传统"升学率"指标，独创"个人成长斜率"评估体系，通过动态知识地图、AI领航员和苏格拉底式引导三大模块，致力于培养学生自主构建知识体系的能力。不同于市面上强化应试的大模型应用，"启思引擎"旨在激发思考过程而非提供标准答案，面向大学生和职场人士开放共建者招募，挑战教育市场的功利化现状，探索真正的个性化成长路径。（149字
2025-07-17 16:23:17
334
原创 K-12教育创业新蓝图：告别“刷题”，拥抱“千人千面”个性化学习
在豆神教育等传统教育巨头的大模型应用仍聚焦于标准化解题步骤的当下，一位对教育怀有深刻见解的创业者，在被拒之门外后，决心另辟蹊山，以“千人千面”的个性化教育理念为核心，打造一个真正以学生为中心的K-12教育解决方案。该方案将深度整合用户基础画像、动态知识点图谱、个性化内容生成、自适应课后练习以及智能查缺补漏五大模块，旨在破解当前K-12教育中“因材施教”的古老难题。
2025-07-15 20:55:18
893
原创 【万字长文】从“先搜再答”到“自主思考”：一文看懂生成式语言模型检索增强（RAG）的进化全景
朴素 RAG (Naive RAG)</b><br/><i>核心: 检索-拼接-生成</i>]endsubgraph "阶段二：高级RAG"B[🛠️ <b>高级 RAG (Advanced RAG)核心: 优化检索与重排
2025-07-07 14:33:43
760
原创 我为什么引入ReAct 在数据源多的情况下引入ReAct精细化构建指令
在复杂的企业环境中，数据往往散落在多个异构数据库中（如关系型数据库、向量数据库、知识图谱、文档库等），传统的固定流程（Fixed Workflow）在处理需要跨库协作的复杂查询时，会迅速遇到“上下文爆炸”的问题。“查询上个季度购买了A产品、且在CRM中有‘高价值’标签的用户的产品反馈，并结合知识图谱分析这些用户所在公司的行业归属。从A、B、C三个数据源检索到的原始信息，与用户的初始问题拼接在一起，形成一个巨大的Prompt喂给大语言模型（LLM）。我们用同样的复杂查询，来看ReAct代理是如何工作的。
2025-07-06 15:23:54
476
原创 2025年 6月面试 经验总结 生成式语言模型岗位
本文摘要： PyTorch Dataset深度解析：从基础到高级实践 设计哲学 核心价值在于数据加载与模型训练的解耦 支持懒加载机制，节省内存资源 为PyTorch生态系统提供标准化接口 Map-Style实现 详细演示图像分类任务的数据集构建 重点讲解__init__索引设计、__getitem__懒加载机制 强调transform参数化设计和异常处理机制 Iterable-Style应用 对比Map-Style的随机访问特性 适用于流式数据和大规模数据集场景 多进程实现的关键技巧解析 150字版本： P
2025-06-18 12:12:05
794
原创 大模型Agent的八种核心模式解析
本文探讨了8种大型语言模型（LLM）智能体的核心应用模式。反思模式通过用户反馈优化输出质量；工具使用模式整合外部API扩展功能；ReAct模式结合推理与行动形成闭环；规划模式将复杂任务分解执行；多智能体模式通过分工协作完成任务。这些模式展示了LLM从基础文本生成向复杂问题解决的演进路径，为构建高级AI应用提供了方法论框架。
2025-06-04 13:20:18
754
原创 面试经验 对常用 LLM 工具链（如 LlamaFactory）的熟悉程度和实践经验
我理解它主要是一个集成了从数据处理、模型预训练（PT）、有监督微调（SFT）、奖励模型训练（RM）、人类偏好对齐（如 DPO、PPO、KTO）到模型推理和导出等全流程的命令行工具。这个统一的接口，配合配置文件或者直接的命令行参数，就能方便地调用和管理各种复杂的 LLM 操作，大大简化了开发和实验的流程。这样导出的模型就是包含 LoRA 权重的完整模型，可以直接用于推理，并且如果配置了量化，模型体积和推理延迟也会有所优化。通过这样的准备，可以更好地应对技术面试中关于 LLM 工具链的提问。
2025-06-03 18:20:59
1214
原创 对 `llamafactory-cli api -h` 输出的详细解读
是 LlamaFactory 项目提供的命令行接口工具，它允许用户通过命令行参数来配置和运行大型语言模型的各种任务，如预训练（PT）、有监督微调（SFT）、奖励模型训练（RM）、基于人类反馈的强化学习（PPO、DPO、KTO）以及模型推理和导出。首先，命令输出的第一行是一个启动时的信息日志，表明程序已检测到并设置使用 CUDA（NVIDIA GPU）作为 DeepSpeed 加速器。这不是一个可配置的 API 参数，而是环境检测的结果。接下来是usage部分，展示了命令的基本用法和所有可选参数。
2025-06-03 17:53:02
1193
原创 越来越多的算力公司、越来越多的芯片公司、可是你们对抗不过周期。
融入了“从传统算力租赁到高级封装接口服务”这一关键市场转变后，整个预测逻辑链更加丰满和具有说服力。这一系列预测描绘了从2025年下半年开始，在AI算力应用效率提升和市场供给模式演进（从传统租赁到高级封装接口）的双重驱动下，叠加潜在的市场滞胀环境，将如何像多米诺骨牌一样，逐层冲击现有市场格局，引发从行业巨头估值调整到新兴企业深陷流动性危机，再到整个芯片市场深度洗牌的连锁反应。：它极大地提高了市场对算力服务成熟度、易用性、集成度和综合解决方案能力的要求，同时也加剧了头部集中效应。
2025-06-03 15:04:22
670
原创 KAG进化论：从知识增强到Ai agent超级智能体+MOE大模型将如何引爆下一代AI？（开源预告解读）
KAG描绘的“超级智能体 + MOE专家模型”的蓝图，以及其即将到来的重磅开源，无疑为我们揭示了AI未来发展的一个激动人心的方向。这不仅仅是代码的开放，更是思想的碰撞和创新的催化。当然，从愿景到现实，挑战依然巨大。但正是这种勇于探索未知、敢于开放共享的精神，驱动着人工智能一次又一次地突破想象的边界。让我们共同关注KAG的后续进展，期待这场由知识增强、超级智能体和MOE大模型引领的AI新浪潮，将如何塑造我们的未来！你认为KAG的这一开源计划，最有可能在哪个行业率先掀起变革？欢迎在评论区留下你的看法！
2025-05-30 12:44:15
997
原创 KAG进化论：从知识增强到Ai AGENT超级智能体+MOE专家模型将如何引爆下一代AI？
今天，我们就来聊聊一个可能引爆下一代AI的开源项目——KAG (Knowledge Augmented Generation)，以及它那令人热血沸腾的进化蓝图：一个超级智能体，搭载一颗MOE（Mixture of Experts）的强大“心脏”，并且，这套从数据到模型的完整解决方案，即将开源！这不仅仅是代码的开放，更是思想的碰撞和创新的催化。想象一下，一个由MOE大模型驱动的KAG超级智能体，它既有宏观的自主规划和适应能力，又有微观的专业化、高效率处理能力，这将是解决复杂知识密集型任务的“梦幻组合”。
2025-05-30 12:26:16
754
原创 打破认知壁垒重构科技驱动美好生活 大模型义务传播计划
fill:#333;color:#333;color:#333;fill:none;编写 CUDA Kernel (.cu)C编写 C++ 接口代码 (.cpp)编写 setup.py (使用 torch.utils.cpp_extension)编译生成 .so / .pyd 库Python 代码调用自定义 CUDA 函数PyTorch/TensorFlow 文档, Numba/CuPy/Triton 文档。阶段四是硬核的工程阶段，需要动手实践和对底层原理的深刻理解。
2025-05-28 14:05:59
1482
原创 AI算法工程师大厂面试宝典 (2025图文完整版)：LLM/RAG简历+前沿技术深度剖析
大家好，我是你们的AI技术伙伴！🚀 2025年的AI浪潮比以往任何时候都更加汹涌！大模型（LLM）不再仅仅是语言的天才，它们正朝着**多模态理解、自主智能体（AI Agent）乃至模拟世界（World Models）**的方向飞速发展。对于有志于投身AI事业、冲击大厂的算法工程师来说，不仅要掌握核心的NLP、RAG技术，更要对这些前沿领域有所洞察。本文将基于一份优秀的AI算法工程师简历（已脱敏），模拟大厂面试场景，不仅覆盖核心技能，更会。
2025-05-26 18:43:24
1040
原创 2025年开源大模型技术全景图
迈向2025年，开源大型语言模型（LLM）生态系统已不再仅仅是闭源模型的补充，而是成为推动AI创新与民主化的核心引擎。其技术全景展现了一个高度模块化、协作共生且快速演进的复杂网络。
2025-05-23 14:46:19
2986
4
原创 用算法实现 用统计的方式实现 用自然语言处理的方法实现 用大模型实现 专利精益化统计分析
我们可以从算法、统计、自然语言处理（NLP）和大型语言模型（LLM）这四个方面，探讨如何实现对专利社区、作者重要性以及共同作者贡献度的分析。
2025-05-23 10:29:33
1140
原创 构建基于全面业务数据的大数据与大模型企业护城河战略
在数字化浪潮和人工智能技术飞速发展的今天，对于“专精特新”型企业而言，如何利用自身积累的深厚行业知识和独特的业务数据，结合大数据分析与大模型能力，构建难以被复制的竞争壁垒（即“护城河”），是实现可持续增长和行业领导地位的核心议题。通过将企业独特的业务数据与这些通用能力相结合，进行针对性的微调和优化，可以打造出真正解决行业痛点、提升核心竞争力的“专有大模型”。基于企业全面的专精业务数据，通过预训练、微调或从头训练等方式，构建的针对特定行业问题或业务场景的大规模人工智能模型（如LLM、多模态模型等）。
2025-05-22 18:52:43
749
原创 构建基于全面业务数据的大数据与大模型企业护城河战略
在数字化浪潮和人工智能技术飞速发展的今天，对于“专精特新”型企业而言，如何利用自身积累的深厚行业知识和独特的业务数据，结合大数据分析与大模型能力，构建难以被复制的竞争壁垒（即“护城河”），是实现可持续增长和行业领导地位的核心议题。通过将企业独特的业务数据与这些通用能力相结合，进行针对性的微调和优化，可以打造出真正解决行业痛点、提升核心竞争力的“专有大模型”。基于企业全面的专精业务数据，通过预训练、微调或从头训练等方式，构建的针对特定行业问题或业务场景的大规模人工智能模型（如LLM、多模态模型等）。
2025-05-22 18:41:19
698
原创 国内互联网大厂大模型工程师面试指南 (含参考答案、公式、流程图 - 基于Qwen3架构技术)
“预归一化 (Pre-Normalization)”相比“后归一化 (Post-Normalization)”在训练大型Transformer时有何优势？: Qwen3 MoE模型的设计中，明确指出“不包含共享专家”并采用了“全局批次负载均衡损失”。: 请手写SwiGLU的数学表达式，并解释其门控机制如何帮助模型学习更复杂的模式。用户输入_query_plus_mode_flag_plus_budget。这样的门控激活函数，而不是传统的ReLU/GeLU？对每对_x_2j_x_2j_plus_1。
2025-05-21 12:20:20
367
原创 详细介绍Qwen3技术报告中提到的模型架构技术
详细介绍Qwen3技术报告中提到的一些主流模型架构技术，并为核心流程配上相关的LaTeX公式。这些技术都是当前大型语言模型（LLM）领域为了提升模型性能、训练效率、推理速度或稳定性而采用的关键组件。
2025-05-21 11:44:53
798
原创 Qwen3 技术报告硬核解读：不止更大，更会“思考”！阿里新一代大模型亮出哪些绝活？
它不仅在传统性能指标上达到了新的高度，更通过创新的“思考模式”与“思考预算”机制，为我们展现了大型语言模型在“智能涌现”和“可控性”方面的新可能。以前你可能需要针对不同任务切换不同的模型（比如聊天用A模型，推理用B模型），现在 Qwen3 一个模型就搞定了，它能根据你的问题或者你给的模板动态切换“大脑模式”！Qwen3 这次依然是“全家桶”模式，发布了一系列不同参数规模的模型，从 **0.6B 6亿 ** 到 **235B 2350亿 ** 参数，应有尽有。模型的“后天培养”同样重要。
2025-05-21 10:40:07
584
原创 基于Qwen3-7B FP8与基石智算打造高性能本地智能体解决方案
适合多语言对话、推理、代码生成和工具调用，结合BGE-m3支持RAG任务。24GB显存：通过FP8量化和异构计算，可高效运行Qwen3-7B、BGE-m3和工具调用。基石智算平台：提供GPU云服务和弹性扩容，支持分布式部署，邀请活动可降低成本。内容创作：结合检索和工具调用，生成高质量、个性化的内容，适用于旅游、教育、营销等场景。下一步建议测试部署：在RTX 3090或基石智算的gn8v-tee实例上使用vLLM部署Qwen3-7B FP8，监控显存和性能。
2025-05-20 18:19:39
970
原创 从复杂度到有序：大模型专家系统的进化之路——深入解析层次化专家模式
层次化混合专家模型（Hierarchical Mixture of Experts, HMoE）通过其精巧的多层结构，为构建更强大、更高效的大型AI模型带来了曙光。然而，要充分发挥HMoE的潜力，其损失函数的设计至关重要。它不仅需要驱动模型学习核心任务，更要引导层级结构的有效利用、专家的合理分工以及训练过程的稳定。本文将探讨如何“重新设计”HMoE的损失函数，以应对这些独特的挑战与机遇。基础层面: 应用成熟的通用正则化技术（L1/L2、Dropout）。损失函数设计层面: 精心设计和调权math。
2025-05-20 17:39:56
951
原创 从lightrag的prompt到基于openai Structured Outputs 的优化实现思路
然而，将大型语言模型（LLM）集成到这些系统中时，一个普遍存在的痛点便是如何确保 LLM 的输出能够稳定、可靠地遵循预定义的 JSON 格式。LightRAG 之所以被描述为一个配置和管理类，是因为它旨在提供一个灵活的框架，用户可以通过定义各种组件（如 LLM 调用器、解析器、数据加载器）并配置其参数来构建和定制复杂的 RAG 系统。的实现利用了现代 LLM 的 JSON 输出能力，相比原始的基于自定义分隔符的提示，显著提高了输出的可靠性、可解析性和整体方案的鲁棒性。这是一个非常好的工程实践。
2025-05-14 22:54:58
1395
原创 司法大模型构建指南
使模型能根据指令，从法律文档中提取或生成不同类型的摘要。裁判文书（含事实、理由、结果段落）、法律法规条文、合同文本。数据集构建：结构化摘要数据集：完整的裁判文书，其中明确区分了事实认定、法律分析（理由）、判决结果等部分。完整的判决书作为input。output根据指令要求提取或总结对应部分。"instruction": "请从以下判决书中提取原告起诉所依据的案件事实。","input": "[判决书全文]","output": "[判决书中的事实认定段落文本]"
2025-04-27 12:50:50
1344
1
原创 基于大模型底座重构司法信息系统
构建一个高效的法律智能体，特别是在基于RAG（Retrieval-Augmented Generation）架构的背景下，需要融合多种学科和领域的知识。以下是对法律智能体开发和应用所需核心基础知识的简要介绍，涵盖法律、人工智能、自然语言处理、数据管理和系统工程等方面。法律智能体的核心是服务于司法场景，因此需要深入理解法律体系和相关内容：法律智能体依赖NLP技术处理和生成法律文本，所需知识包括：RAG架构的核心是检索模块，需掌握以下知识：法律智能体需要AI技术支持任务适配和模型优化：法律智能体依赖高质量的数据
2025-04-26 22:26:06
1040
原创 MoE架构解析：如何用“分治”思想打造高效大模型？
MoE架构的哲学启示或许比技术本身更深刻：它证明在追求通用智能的道路上，专业化分工与系统化协同可以并行不悖。就像人类文明的发展——从个体全能到社会分工，再到全球化协作。当AI架构开始借鉴人类社会的组织智慧，我们或许正在见证机器智能进化史上的"工业革命"。——Yoshua Bengio, 图灵奖得主。
2025-04-25 16:30:44
1148
原创 对于有前后逻辑依赖关系的长文本，切分时确实需要特别注意上下文的连续性，以便在召回后知识时能够尽量保留前后文的关联。
对于有前后逻辑依赖关系的长文本，切分时确实需要特别注意上下文的连续性，以便在召回后知识时能够尽量保留前后文的关联。
2025-03-28 18:43:23
1025
1
原创 基于Jina AI的研究工作，探讨提升搜索质量的两大技术：长网页最优文本段提取与URL智能重排
XLM-RoBERTa是一个跨语言的Transformer模型，通过在大量多语言语料上进行训练，学习到了丰富的跨语言知识。模型的强大表示能力、迟分向量化的上下文信息保留、余弦相似度的相关性评估、滑动窗口的最优片段提取，以及Reranker v2的精准重排序，Jina AI提供了一套完整的解决方案，能够有效提升搜索质量。相比传统的Position Embeddings，RoPE具有更好的外推性，能够处理比训练时更长的文本序列。：计算问题与文本块之间的余弦相似度，用于评估文本块与问题的相关性。
2025-03-21 17:15:14
919
原创 DeepSearch/DeepResearch：基于Jina研究的网页片段提取与URL排序实践
如何利用**迟分（Late Chunking）**从长网页提取相关片段？如何通过**重排器（Reranker）**从数百个URL中筛选最优选项？基于“80-20”原则，Jina的研究强调搜索本质需求，经过迭代验证，显著提升了DeepSearch的质量。。Jina的研究通过迟分提取片段和Reranker排序URL，显著提升了DeepSearch的质量。这两个技术细节适用于RAG及其他搜索系统优化。。交流：在评论区留言，或访问Jina的GitHub！
2025-03-21 17:06:38
752
原创 从openai的Function calling到 mcp
从 OpenAI 的函数调用到模型上下文协议（MCP），技术发展反映了 AI 模型与外部系统交互方式的演进。以下是主要方面的详细解释，适合普通读者理解。OpenAI 的函数调用是其 API 的一部分，允许 AI 模型根据用户输入生成函数调用。这些调用由开发者处理，用于连接模型与外部工具或服务，例如天气 API 或数据库查询。它于 2023 年 6 月引入，基于 gpt-3.5-turbo-0613 模型。
2025-03-15 14:10:41
1079
原创 从LoRA（低秩适应）开始 多种LoRA变体
LoRA（低秩适应）是一种参数高效的微调技术，专门为生成式语言模型（如大型语言模型，LLM）设计。传统微调需要更新模型的所有参数，这对计算资源需求很高。LoRA通过添加低秩矩阵来近似权重矩阵的更新，仅需训练少量参数，从而降低计算和内存成本。例如，对于权重矩阵 ( W_0 )，LoRA引入两个低秩矩阵 ( A ) 和 ( B )，使得更新为 ( \Delta W = A B )，其中 ( A ) 和 ( B ) 的秩 ( r ) 远小于矩阵维度。
2025-03-15 13:53:31
779
原创 deepseek r1 or deepseek v3
Deepseek 的三种模式（V3、R1 和联网搜索）各有特点，适用于不同的任务场景。根据你的任务类型和需求，选择合适的模型可以提高效率和效果。如何选择 V3 还是 R1？深度思考模型 (R1)联网搜索 (RAG)
2025-02-17 16:27:16
948
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人