让LLM做低代码考试谁会胜出

背景介绍

为了探究大语言模型在专业软件领域的知识水平，葡萄城 AI 团队进行了一项测评，让多个主流 LLM 参与了“活字格”低代码平台的认证考试。

本次测评选取了三个模型作为“考生”：

• Claude-4-sonnet
• GLM-4.5
• Qwen3 (Qwen3-235B-A22B-2507)

测评的底层技术支撑来源于葡萄城的开源项目 GC-QA-RAG，该项目旨在通过检索增强生成（RAG）和 Agent 技术，提升 AI 在专业领域的问答准确性。

考试题目介绍

本次测评所用的题目均来自“活字格认证考试体系”，内容覆盖了从基础到高级的三个核心科目，全面考察了对活字格低代码平台的掌握程度。

• 活字格认证工程师-科目一 (348 题)：
• 难度等级：基础
• 内容类型：主要考察基础理论，包括活字格的各项概念理解和功能特性。题目形式偏向于对核心知识点的记忆和理解。
• 活字格认证工程师-科目二 (108 题)：
• 难度等级：中级
• 内容类型：侧重于实践应用，题目多为具体的操作步骤和常见的问题解决方法。这部分考验的是将理论知识应用于实际场景的能力。
• 活字格高级认证工程师-科目一 (85 题)：
• 难度等级：高级
• 内容类型：聚焦于平台的高级功能和深度应用。题目通常涉及复杂场景的设计与实现，对知识的综合运用能力要求很高。但其选择题部分仍旧为基础题目，难度适中。

这些真实世界的专业考题，为全面评估 AI 在低代码领域的知识深度和应用能力提供了一个理想的测试基准。

测试模式设计

为了全面评估 AI 的能力，测评设计了三种递进式的测试模式：

模式一：直接生成答案

• 机制：AI 完全依赖自身训练时学到的知识来直接回答考题。
• 目的：检验大模型在没有外部资料支持下的基础知识水平。

模式二：结合知识库检索（RAG）

• 机制：在回答前，AI 可以先从包含活字格官方文档、教程等内容的知识库中搜索相关信息，然后结合搜索结果生成答案。
• 目的：评估引入专业领域知识后，对 AI 回答准确率的提升效果。

模式三：Agent 自动规划检索

• 机制：AI 能够自主分析问题，判断是否需要以及如何进行信息检索。它可以根据初步检索的结果，决定是否需要换个关键词进行多轮、多角度的深入检索，模拟人类专家解决问题的过程。
• 目的：测试更智能、更主动的检索策略能达到的最佳效果。

测评结果汇总

测试覆盖了活字格从基础到高级的三个考试科目，以下是三个模型在不同模式下的表现汇总。

结果分析

从数据中可以得出几个核心结论：

1. Agent 模式效果最显著
   在所有测试中，不论使用哪个具体模型，Agent 自动规划检索模式的得分都是最高的。这表明，比起简单的信息检索，让 AI 学会自主规划、迭代提问的检索策略，能更有效地利用知识库，从而显著提升回答的准确率。
2. RAG 技术能有效提升准确率
   对比“直接生成答案”和“结合知识库检索”两列数据，可以发现所有模型在获得外部知识库支持后，成绩都有了大幅提高。例如，GLM-4.5 在基础科目中的分数提升了超过 25 个百分点。这证明了 RAG 技术在专业领域的实用价值：为通用大模型提供精准的、领域内的知识，是其能力提升的关键。
3. 各模型表现对比
   综合来看，Claude-4-sonnet 在三个科目的 Agent 模式下均取得了最高分，尤其是在难度最高的高级科目中，其 74.12%的正确率显示出较强的综合能力。同时，其他模型如 GLM-4.5 和 Qwen3 在结合 RAG 和 Agent 技术后，表现也获得了很大改善，证明了这种技术框架具有良好的通用性。

技术简述

测评表现的背后，是 GC-QA-RAG 开源系统所采用的两项核心技术：

1. 高级 QA 预生成技术：该技术改变了传统 RAG 简单切割文档的方式，通过模型智能地将原始文档处理成结构化的“问答对(QA)”、“摘要”和“同义问法”等。这相当于为 AI 准备了一套高质量、易于理解和检索的知识材料。
2. Agent 自主规划检索：该技术赋予 AI 规划和执行复杂任务的能力。通过 Function Calling 等机制，AI 可以自主决策何时检索、如何检索，并能根据检索结果调整下一步行动，使整个检索过程更具目的性和效率。

测试暴露的问题

尽管 AI 在考试中取得了不错的成绩，但本次测评也清晰地暴露了当前技术方案存在的一些问题与局限性。

1. 理论与实践的脱节
   从成绩上看，AI 在回答基础理论（科目一）题目时表现出色，但在处理侧重实际操作步骤（科目二）的题目时，正确率有明显下降。这表明 AI 能够很好地记忆和复述知识点，但在将理论知识转化为具体的、一步步的实践指导方面仍有困难，存在知识迁移的挑战。
2. 知识的“脆弱性”
   首先，AI 的回答仍存在 10%至 30%的错误率，在关键业务场景下，错误的答案可能带来风险。其次，AI 的知识是静态的。随着活字格产品功能的迭代更新，如果知识库未能及时同步，AI 的回答很快就会过时，这对其在实际应用中的可靠性提出了持续维护的要求。
3. 系统与测评方法的局限
   本次测评也反映出系统本身及测评方法上的一些不足。首先，测评形式相对单一，主要依赖单选题和多选题，这种方式无法充分检验 AI 在处理开放性问答或需要进行实际操作配置等更复杂任务时的能力。其次，系统目前不支持处理包含图片或图表的题目，即缺乏多模态理解能力，这限制了其在解决需要理解视觉信息的复杂技术问题时的应用范围。

结论

本次测评的结果表明，在专业的低代码领域，将大语言模型与先进的 RAG 及 Agent 技术结合，是一条有效的技术路径。

AI 在处理基础理论知识时表现出色，最高取得了 88.51%的正确率，展现出成为得力知识助手的潜力。然而，测评也清晰地显示，随着题目难度增加和实践性增强，AI 的准确率出现明显下滑。

这说明，尽管 AI 在特定知识性任务上取得了高分，但在更复杂的实践应用和综合推理方面，与真正的人类专家相比仍存在显著差距。当前，它更适合作为一个高效的“知识检索和查询工具”，而非能够完全独立解决所有问题的“专家”。要让 AI 在专业领域真正落地，还需要在弥补理论与实践差距、应对知识更新和突破系统自身局限等方面持续投入。

不论如何， Agentic RAG 这一技术范式的表现还是足够惊艳的。它验证了一条有效的路径：通过为通用大模型配备高质量的外部知识库和智能的检索工具，可以有效解决垂直领域的复杂问题。这对企业在知识管理、技术支持和客户服务等场景的智能化升级，提供了有价值的参考。

对该技术方案感兴趣的读者，可以进一步了解其开源项目（MIT License）：

• 项目开源地址: https://github.com/GrapeCity-AI/gc-qa-rag
• 测评代码地址: https://github.com/GrapeCity-AI/gc-qa-rag/tree/main/tools/gc-qa-rag-eval
• 在线体验 Demo: https://ai-assist.grapecity.com.cn/