AI新视界

困惑度(Perplexity)是评估用于语言建模的模型时常用的一个指标

多长的 Prompt 会阻塞其他请求？优化策略解析

为多个应用和用户同时提供大语言模型服务是一项挑战，因为它们需要争夺有限的 GPU 资源。本文是关于 LLM 性能系列的第一篇，内容基于我们在 TNG Technology Consulting GmbH 自建 LLM 服务的实践经验。本文将重点介绍请求排队对性能的影响，并探讨不同的调度策略（scheduling strategies）。

在大语言模型（LLM）应用中，能否高效地并发处理多个用户的请求，是影响系统性能的关键因素之一。在上一篇文章中，我们探讨了如何通过队列策略来对不同用户请求进行优先级管理。而在本篇中，我们将重点介绍如何并发处理请求，以及这种处理方式如何影响延迟、吞吐量和 GPU 资源利用率等核心指标。

大语言模型和其他机器学习模型不太一样！它们在给出完整答案时，往往需要较长时间，可能要几秒钟甚至更久。那么我们该怎么办？难道就一直盯着加载的转圈图发呆吗？现在的人连等亚马逊 Prime 几个小时送货都嫌慢，你觉得他们会愿意等待 LLM 慢慢生成回应吗？解决这个特殊问题的办法就是：在 LLM 生成内容的同时，将其实时流式输出。

如果你想部署一个大型语言模型（LLM）的推理接口，那么必须认真考虑如何处理大量的请求。在传统的机器学习模型中，通常可以让请求排队，等待服务器空闲后再进行推理处理。然而，大型语言模型的每个请求可能需要几秒钟才能完成处理。那么问题来了：我们如何扩展到每秒处理数百个请求呢？下面我们来详细讲解一下。

大型Transformer生成模型需要高效的服务系统支持。我们提出了Orca，这是首个结合迭代级调度与选择性批处理显著提升吞吐量与响应效率对GPT-3 175B吞吐量提升可达36.9倍已部署在FriendliAI云服务，现有客户正在生产环境中使用大模型推理-极致化的批处理策略介绍。

吴恩达分享了为什么大多数成功的 AI 智能体都是从简单的线性工作流开始的，而不是从复杂的自主系统起步的，并介绍了目前加速智能体开发的“乐高积木”式方法。在与 Harrison Chase 的炉边谈话中，吴恩达阐述了企业在将现有流程拆解为一系列顺序微任务时所面临的挑战，并解释了为什么他认为线性工作流比复杂的自主系统蕴含着更多机遇。他还揭示了 AI 创业公司成功的两个关键预测因素，并强调在 AI 时代每个人都应该学习编程。

LangChain 的 CEO Harrison Chase 提出了“环境智能体”（Ambient Agents）的概念，这是一种持续在后台运行的 AI 系统，它们不是依赖人类的直接指令，而是根据发生的事件主动做出响应。本文将带你了解环境智能体与传统聊天机器人有何不同、为什么人类监督仍然至关重要，以及这种新方式如何大幅提升我们利用 AI 的能力。

真正的LLM智能体即将到来。它们将被训练！

主题内容概述MCP 概述 (Model Context Protocol)由 Anthropic（Claude）主导的一个开放协议，旨在让 AI 模型与不同 API、数据源无缝对接。它填补了功能碎片化、缺少统一标准的空白，为复杂、多步骤任务提供更高效的上下文处理能力。一种通用标准协议，旨在整合 AI 能力、服务与上下文，替代零散的 Agent 方案。通过 MCP，可以快速接入各种服务并实现多轮对话、复杂任务的执行，不必针对每个服务单独开发集成逻辑，从而提高可维护性和可扩展性。

超级对齐（Super Alignment）：确保人工超智能遵循人类价值观的挑战与对策。

GPT-4.5 是 OpenAI 迄今为止最大、最具知识性的模型。目前以研究预览形式发布，面向 ChatGPT Pro 用户和 API 开发者。未来一周内将扩展到 Plus 用户、教育（EDU）用户和团队（Team）用户。OpenAI 发布了其最新模型 GPT-4.5，并称其为迄今为止最大、最具知识性的 AI 模型。目前，该模型以研究预览形式提供给 ChatGPT Pro 用户和 API 开发者，并计划在未来一周内推广至 Plus 用户、教育（EDU）用户和团队（Team）用户。

详细对比GraphRAG与传统RAG！

DeepSeek-R1-Distill-Qwen-14B vLLM 部署。

推理能力是AI发展的下一步关键，Grok3在这一方面取得了显著进展。推理模型能够通过深思熟虑的过程来解决问题，这种能力使得模型能够处理更复杂和具有挑战性的问题。与传统的瞬时回应模型不同，推理模型可以通过延长思考时间，给出更精准的答案。Grok3的推理版本也在最新的测试中超越了其他竞品，证明了其在复杂问题解决中的强大能力。Grok3进入了代理时代，推出了名为DeepSearch的新产品。DeepSearch不仅是下一代搜索引擎，更是一个帮助用户理解复杂信息、节省时间的工具。

Jason Wei: 大语言模型的扩展范式！

Ollama环境变量大全！

怎样让Ollama启动的大模型常驻内存(显存)？

大模型笔记』强烈推荐OpenAI官方：推理模型最佳实践！

DeepSeq R1：掀起科技界风暴的全新大模型

AI真的能思考吗？揭穿AI的局限性！

大模型的ELO得分如何理解以及示例解析

2025 会被 AI“平替”的行业？程序员真的会被取代吗？

ComfyUI工作流对应的Json文件字段解析！

OpenAI 十二天活动第1天：o1和o1 pro。

大模型笔记』IBM技术团队：AI智能体与AI助手功能对比！

大模型笔记』AI自动化编程工具汇总！

理解和估计训练LLM的GPU内存需求(重要)！

检索增强生成（RAG）是一种结合检索和生成能力的技术，通过从向量数据库检索相关信息作为上下文，为大语言模型提供支持，以生成更高质量的响应。这一方法通过将查询内容与数据库中的信息匹配，从而确保模型的生成内容具体且准确。向量数据库在RAG流程中承担了关键角色，它以查询为依据返回最相关的信息，并将该信息整合进提示，从而提升响应的可靠性。

如何在无网路的情况下在Linux主机上安装NVIDIA Container Toolkit(nvidia-docker2)

pip3 install -e .[stable]具体是如何一步一步的执行的？

全是细节 | 聊一聊做SFT的经验。

首先，你可以运行以下命令来清理未使用的镜像、容器、卷和构建缓存：docker image prune -a这些命令应该能够帮助你释放下的大量空间。删除构建缓存的主要影响是下次构建镜像时会变慢，但不会对现有的容器或镜像运行产生负面影响。如果你需要空间，且可以接受稍长的构建时间，删除缓存是一个合理的选择。

AI 时代，总是在搞大新闻，一会是 AI 要替代程序员了，一会是提示词工程师是最有潜力的职业，一会是提示词工程师是最短命的职业。然而真正去透过现象看本质，里面有太多的以偏概全，太多噱头。就提示工程这事来说，会像编程一样，还会在很长一段时间存在并发挥巨大的价值。真正的提示工程，本质还是怎么让 AI 懂你，怎么让 AI 听话。在让别人懂我们和让别人听话这事上，我们已经奋斗了几千年了，至今还在努力中，也许 AI 会容易一点吧。

大模型笔记』谈谈OpenAI o1的价值意义及RL 的Scaling law。

林纳斯·托瓦兹谈论了围绕人工智能和大语言模型的热议，以及人工智能在 Linux 上的未来。ChatGPT 及其他 AI 机器人是否会促进 Linux 内核的开发？让我们来听听 Linux 的创造者怎么说。

本文深入探讨当前最前沿的prompt engineering方案，结合OpenAI、Anthropic和Google等大模型公司的资料，以及开源社区中宝贵的prompt技巧分享，全面解析这一领域的实践策略。

主要阐述了 Dockerfile 中 `ENTRYPOINT` 和 `CMD` 指令的区别、使用方式以及如何结合使用，以及它们对容器启动行为的影响。

本文介绍了如何从零开始构建一个 AI 智能体，包括智能体的工作原理、Python 代码实现以及如何使用大语言模型驱动智能体来影响其环境。