LLM大模型_ChatGLM3-6B使用_transformer

1 前言

ChatGLM3是智谱AI和清华大学KEG实验室联合发布的新一代对话预训练模型，chatglm3-6b采用了全新设计的Prompt格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和Agent任务等复杂场景。

1. 更强大的基础模型：ChatGLM3-6B的基础模型ChatGLM3-6B-Base采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base具有在10B以下的预训练模型中最强的性能。
2. 更完整的功能支持：ChatGLM3-6B采用了全新设计的Prompt格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和Agent任务等复杂场景。
3. 更全面的开源序列：除了对话模型ChatGLM3-6B外，还开源了基础模型ChatGLM3-6B-Base、长文本对话模型ChatGLM3-6B-32K

2 环境检查

2.1 操作系统

对于操作系统而言，Windows、Mac OS、Linux都是支持的，而对于架构而言，x86是肯定支持的，arm64则要看情况，有些库或者包，有编译aarch64版本的，则也可以使用，没有则需要自己去编译。可玩性完全看个人能力。

2.2 硬件环境

前提条件：未使用其他量化方式，使用了其他量化方式可以以更小资源进行推理

最低要求：

• 内存：>=8gb
• 显存：>=6gb

2.3 软件环境