ChatGLM3-6B大模型部署、微调【0到1小白教程】

本文围绕ChatGLM3-6B大模型展开,介绍了其部署和微调方法。部署方面,说明了服务器软硬件环境要求,如pytorch2.1.2、tensorflow2.14.0、内存32G以上等,还阐述了安装部署及OpenAPI部署步骤。微调部分借助LLaMA - Factory,强调配置训练集的要点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

ChatGlm3-6B

ChatGLM3-6B大模型部署

ChatGLM3-6B大模型是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。
git地址:https://github.com/THUDM/ChatGLM3
国内下载可以通过魔塔社区:https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary

服务器环境需要

  • pytorch2.1.2
  • tensorflow2.14.0
  • py310

  • 内存32G以上(最低)
  • GPU 1*NVIDIA V100
  • 显存16G以上(最低)

安装部署

  1. 下载大模型
mkdir models
cd models
 
apt update
apt install git-lfs
 
# 克隆chatGLM3-6b大模型
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
  1. 下载项目
mkdir webcodes
cd webcodes
 
# 下载chatglm3-6b web_demo项目
git clone https://github.com/THUDM/ChatGLM3.git

# 安装依赖
pip install -r requirements.txt
  1. 启动(启动之前需要修改大模型路径,如果没有修改默认从Hugging Face下载【需要魔法】)

以下为小黑窗启动为例:

  • 修改cli_demo.py

image.png

  • 启动
# 小黑窗启动命令
python cli_demo.py

# 网页端启动
streamlit run web_demo_streamlit.py

在这里插入图片描述

OpenAPI部署(纯后端)

  1. 下载向量,这里我以m3e为例子
cd models
# 克隆m3e向量模型
git clone https://www.modelscope.cn/xrunda/m3e-base.git
  1. 修改大模型路径

image.png

  1. 运行启动
cd openai_api_demo
python api_server.py

image.png

  1. 测试
curl -X POST "http://127.0.0.1:8000/v1/chat/completions" \
-H "Content-Type: application/json" \
-d "{\"model\": \"chatglm3-6b\", \"messages\": [{\"role\": \"system\", \"content\": \"You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user's instructions carefully. Respond using markdown.\"}, {\"role\": \"user\", \"content\": \"你好,你是谁?\"}], \"stream\": false, \"max_tokens\": 100, \"temperature\": 0.8, \"top_p\": 0.8}"

image.png

ChatGLM3-6B大模型loar微调

借助LLaMA-Factory实现快速微调(官方推荐)
image.png

安装LLaMA-Factory

# 克隆项目
git clone https://github.com/hiyouga/LLaMA-Factory.git

# 安装项目依赖
cd LLaMA-Factory
pip install -r requirements.txt
pip install transformers_stream_generator bitsandbytes tiktoken auto-gptq optimum autoawq
pip install --upgrade tensorflow
pip uninstall flash-attn -y

# 运行
CUDA_VISIBLE_DEVICES=0 USE_MODELSCOPE_HUB=1 python src/train_web.py

image.png

点击外链

image.png
image.png
image.png

一切看起来都非常的简单,现在只需要学会配置训练集和添加自己的训练集,就能完成大模型微调

训练集配置

自定义训练集

 
# 自定义数据集
[
    {
        "instruction": "用户指令(必填)",
        "input": "用户输入(选填)",
        "output": "模型回答(必填)",
        "system": "系统提示词(选填)",
        "history": [
            ["第一轮指令(选填)", "第一轮回答(选填)"],
            ["第二轮指令(选填)", "第二轮回答(选填)"]
        ]
    }
]

打开LLaMA-Factory项目data文件夹下的dataset_info.json
image.png
获取file_sha1的值
image.png

import hashlib
def calculate_sha1(file_path):
    sha1 = hashlib.sha1()
    try:
        with open(file_path, 'rb') as file:
            while True:
                data = file.read(8192)  # Read in chunks to handle large files
                if not data:
                    break
                sha1.update(data)
        return sha1.hexdigest()
    except FileNotFoundError:
        return "File not found."
 
# 使用示例
file_path = './Desktop/self_cognition.json'  # 替换为您的文件路径
sha1_hash = calculate_sha1(file_path)
print("SHA-1 Hash:", sha1_hash)

在一切配置完成之后会得到以下视图
image.png
image.png

附件

dataset_info.jsonself_cognition.json

附件下载不了看这里

dataset_info

{
  "alpaca_en": {
    "file_name": "alpaca_data_en_52k.json",
    "file_sha1": "607f94a7f581341e59685aef32f531095232cf23"
  },
  "alpaca_zh": {
    "file_name": "alpaca_data_zh_51k.json",
    "file_sha1": "0016a4df88f523aad8dc004ada7575896824a0dc"
  },
  "alpaca_gpt4_en": {
    "file_name": "alpaca_gpt4_data_en.json",
    "file_sha1": "647f4ad447bd993e4b6b6223d1be15208bab694a"
  },
  "alpaca_gpt4_zh": {
    "file_name": "alpaca_gpt4_data_zh.json",
    "file_sha1": "3eaa3bda364ccdd59925d7448a698256c31ef845"
  },
  "identity": {
    "file_name": "identity.json",
    "file_sha1": "ffe3ecb58ab642da33fbb514d5e6188f1469ad40"
  },
  "oaast_sft": {
    "file_name": "oaast_sft.json",
    "file_sha1": "7baf5d43e67a91f9bbdf4e400dbe033b87e9757e",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output",
      "history": "history"
    }
  },
  "oaast_sft_zh": {
    "file_name": "oaast_sft_zh.json",
    "file_sha1": "a6a91f18f80f37b10ded9cf633fb50c033bf7b9f",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output",
      "history": "history"
    }
  },
  "lima": {
    "file_name": "lima.json",
    "file_sha1": "9db59f6b7007dc4b17529fc63379b9cd61640f37",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output",
      "history": "history"
    }
  },
  "glaive_toolcall": {
    "file_name": "glaive_toolcall_10k.json",
    "file_sha1": "a6917b85d209df98d31fdecb253c79ebc440f6f3",
    "formatting": "sharegpt",
    "columns": {
      "messages": "conversations",
      "tools": "tools"
    }
  },
  "example": {
    "script_url": "example_dataset",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output",
      "history": "history"
    }
  },
  "guanaco": {
    "hf_hub_url": "JosephusCheung/GuanacoDataset",
    "ms_hub_url": "AI-ModelScope/GuanacoDataset"
  },
  "belle_2m": {
    "hf_hub_url": "BelleGroup/train_2M_CN",
    "ms_hub_url": "AI-ModelScope/train_2M_CN"
  },
  "belle_1m": {
    "hf_hub_url": "BelleGroup/train_1M_CN",
    "ms_hub_url": "AI-ModelScope/train_1M_CN"
  },
  "belle_0.5m": {
    "hf_hub_url": "BelleGroup/train_0.5M_CN",
    "ms_hub_url": "AI-ModelScope/train_0.5M_CN"
  },
  "belle_dialog": {
    "hf_hub_url": "BelleGroup/generated_chat_0.4M",
    "ms_hub_url": "AI-ModelScope/generated_chat_0.4M"
  },
  "belle_math": {
    "hf_hub_url": "BelleGroup/school_math_0.25M",
    "ms_hub_url": "AI-ModelScope/school_math_0.25M"
  },
  "belle_multiturn": {
    "script_url": "belle_multiturn",
    "formatting": "sharegpt"
  },
  "ultra_chat": {
    "script_url": "ultra_chat",
    "formatting": "sharegpt"
  },
  "open_platypus": {
    "hf_hub_url": "garage-bAInd/Open-Platypus",
    "ms_hub_url": "AI-ModelScope/Open-Platypus"
  },
  "codealpaca": {
    "hf_hub_url": "sahil2801/CodeAlpaca-20k",
    "ms_hub_url": "AI-ModelScope/CodeAlpaca-20k"
  },
  "alpaca_cot": {
    "hf_hub_url": "QingyiSi/Alpaca-CoT",
    "ms_hub_url": "AI-ModelScope/Alpaca-CoT"
  },
  "openorca": {
    "hf_hub_url": "Open-Orca/OpenOrca",
    "ms_hub_url": "AI-ModelScope/OpenOrca",
    "columns": {
      "prompt": "question",
      "response": "response",
      "system": "system_prompt"
    }
  },
  "slimorca": {
    "hf_hub_url": "Open-Orca/SlimOrca",
    "formatting": "sharegpt"
  },
  "mathinstruct": {
    "hf_hub_url": "TIGER-Lab/MathInstruct",
    "ms_hub_url": "AI-ModelScope/MathInstruct",
    "columns": {
      "prompt": "instruction",
      "response": "output"
    }
  },
  "firefly": {
    "hf_hub_url": "YeungNLP/firefly-train-1.1M",
    "columns": {
      "prompt": "input",
      "response": "target"
    }
  },
  "wikiqa": {
    "hf_hub_url": "wiki_qa",
    "columns": {
      "prompt": "question",
      "response": "answer"
    }
  },
  "webqa": {
    "hf_hub_url": "suolyer/webqa",
    "ms_hub_url": "AI-ModelScope/webqa",
    "columns": {
      "prompt": "input",
      "response": "output"
    }
  },
  "webnovel": {
    "hf_hub_url": "zxbsmk/webnovel_cn",
    "ms_hub_url": "AI-ModelScope/webnovel_cn"
  },
  "nectar_sft": {
    "hf_hub_url": "mlinmg/SFT-Nectar",
    "ms_hub_url": "AI-ModelScope/SFT-Nectar"
  },
  "deepctrl": {
    "ms_hub_url": "deepctrl/deepctrl-sft-data"
  },
  "adgen": {
    "hf_hub_url": "HasturOfficial/adgen",
    "ms_hub_url": "AI-ModelScope/adgen",
    "columns": {
      "prompt": "content",
      "response": "summary"
    }
  },
  "sharegpt_hyper": {
    "hf_hub_url": "totally-not-an-llm/sharegpt-hyperfiltered-3k",
    "formatting": "sharegpt"
  },
  "sharegpt4": {
    "hf_hub_url": "shibing624/sharegpt_gpt4",
    "ms_hub_url": "AI-ModelScope/sharegpt_gpt4",
    "formatting": "sharegpt"
  },
  "ultrachat_200k": {
    "hf_hub_url": "HuggingFaceH4/ultrachat_200k",
    "ms_hub_url": "AI-ModelScope/ultrachat_200k",
    "columns": {
      "messages": "messages"
    },
    "tags": {
      "role_tag": "role",
      "content_tag": "content",
      "user_tag": "user",
      "assistant_tag": "assistant"
    },
    "formatting": "sharegpt"
  },
  "agent_instruct": {
    "hf_hub_url": "THUDM/AgentInstruct",
    "ms_hub_url": "ZhipuAI/AgentInstruct",
    "formatting": "sharegpt"
  },
  "lmsys_chat": {
    "hf_hub_url": "lmsys/lmsys-chat-1m",
    "ms_hub_url": "AI-ModelScope/lmsys-chat-1m",
    "columns": {
      "messages": "conversation"
    },
    "tags": {
      "role_tag": "role",
      "content_tag": "content",
      "user_tag": "human",
      "assistant_tag": "assistant"
    },
    "formatting": "sharegpt"
  },
  "evol_instruct": {
    "hf_hub_url": "WizardLM/WizardLM_evol_instruct_V2_196k",
    "ms_hub_url": "AI-ModelScope/WizardLM_evol_instruct_V2_196k",
    "formatting": "sharegpt"
  },
  "glaive_toolcall_100k": {
    "hf_hub_url": "hiyouga/glaive-function-calling-v2-sharegpt",
    "formatting": "sharegpt",
    "columns": {
      "messages": "conversations",
      "tools": "tools"
    }
  },
  "cosmopedia": {
    "hf_hub_url": "HuggingFaceTB/cosmopedia",
    "columns": {
      "prompt": "prompt",
      "response": "text"
    }
  },
  "oasst_de": {
    "hf_hub_url": "mayflowergmbh/oasst_de"
  },
  "dolly_15k_de": {
    "hf_hub_url": "mayflowergmbh/dolly-15k_de"
  },
  "alpaca-gpt4_de": {
    "hf_hub_url": "mayflowergmbh/alpaca-gpt4_de"
  },
  "openschnabeltier_de": {
    "hf_hub_url": "mayflowergmbh/openschnabeltier_de"
  },
  "evol_instruct_de": {
    "hf_hub_url": "mayflowergmbh/evol-instruct_de"
  },
  "dolphin_de": {
    "hf_hub_url": "mayflowergmbh/dolphin_de"
  },
  "booksum_de": {
    "hf_hub_url": "mayflowergmbh/booksum_de"
  },
  "airoboros_de": {
    "hf_hub_url": "mayflowergmbh/airoboros-3.0_de"
  },
  "ultrachat_de": {
    "hf_hub_url": "mayflowergmbh/ultra-chat_de"
  },
  "hh_rlhf_en": {
    "script_url": "hh_rlhf_en",
    "columns": {
      "prompt": "instruction",
      "response": "output",
      "history": "history"
    },
    "ranking": true
  },
  "oaast_rm": {
    "file_name": "oaast_rm.json",
    "file_sha1": "622d420e9b70003b210618253bd3d9d2891d86cb",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output",
      "history": "history"
    },
    "ranking": true
  },
  "oaast_rm_zh": {
    "file_name": "oaast_rm_zh.json",
    "file_sha1": "1065af1f3784dd61be5e79713a35f427b713a232",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output",
      "history": "history"
    },
    "ranking": true
  },
  "comparison_gpt4_en": {
    "file_name": "comparison_gpt4_data_en.json",
    "file_sha1": "96fa18313544e22444fe20eead7754b17da452ae",
    "ranking": true
  },
  "comparison_gpt4_zh": {
    "file_name": "comparison_gpt4_data_zh.json",
    "file_sha1": "515b18ed497199131ddcc1af950345c11dc5c7fd",
    "ranking": true
  },
  "orca_rlhf": {
    "file_name": "orca_rlhf.json",
    "file_sha1": "acc8f74d16fd1fc4f68e7d86eaa781c2c3f5ba8e",
    "ranking": true,
    "columns": {
      "prompt": "question",
      "response": "answer",
      "system": "system"
    }
  },
  "nectar_rm": {
    "hf_hub_url": "mlinmg/RLAIF-Nectar",
    "ms_hub_url": "AI-ModelScope/RLAIF-Nectar",
    "ranking": true
  },
  "orca_dpo_de" : {
    "hf_hub_url": "mayflowergmbh/intel_orca_dpo_pairs_de",
    "ranking": true
  },
  "wiki_demo": {
    "file_name": "wiki_demo.txt",
    "file_sha1": "e70375e28eda542a90c68213640cc371898ce181",
    "columns": {
      "prompt": "text"
    }
  },
  "c4_demo": {
    "file_name": "c4_demo.json",
    "file_sha1": "a5a0c86759732f9a5238e447fecd74f28a66cca8",
    "columns": {
      "prompt": "text"
    }
  },
  "refinedweb": {
    "hf_hub_url": "tiiuae/falcon-refinedweb",
    "columns": {
      "prompt": "content"
    }
  },
  "redpajama_v2": {
    "hf_hub_url": "togethercomputer/RedPajama-Data-V2",
    "columns": {
      "prompt": "raw_content"
    },
    "subset": "default"
  },
  "wikipedia_en": {
    "hf_hub_url": "olm/olm-wikipedia-20221220",
    "ms_hub_url": "AI-ModelScope/olm-wikipedia-20221220",
    "columns": {
      "prompt": "text"
    }
  },
  "wikipedia_zh": {
    "hf_hub_url": "pleisto/wikipedia-cn-20230720-filtered",
    "ms_hub_url": "AI-ModelScope/wikipedia-cn-20230720-filtered",
    "columns": {
      "prompt": "completion"
    }
  },
  "pile": {
    "hf_hub_url": "EleutherAI/pile",
    "ms_hub_url": "AI-ModelScope/pile",
    "columns": {
      "prompt": "text"
    },
    "subset": "all"
  },
  "skypile": {
    "hf_hub_url": "Skywork/SkyPile-150B",
    "ms_hub_url": "AI-ModelScope/SkyPile-150B",
    "columns": {
      "prompt": "text"
    }
  },
  "the_stack": {
    "hf_hub_url": "bigcode/the-stack",
    "ms_hub_url": "AI-ModelScope/the-stack",
    "columns": {
      "prompt": "content"
    }
  },
  "starcoder_python": {
    "hf_hub_url": "bigcode/starcoderdata",
    "ms_hub_url": "AI-ModelScope/starcoderdata",
    "columns": {
      "prompt": "content"
    },
    "folder": "python"
  },
  "self_cognition": {
    "file_name": "self_cognition.json",
    "file_sha1": "eca3d89fa38b35460d6627cefdc101feef507eb5"
  }
}

self_cognition

[
    {
      "instruction": "你好",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,一个由 <NAME> 开发的 AI 助手,很高兴认识您。请问我能为您做些什么?"
    },
    {
      "instruction": "你好",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,一个由 <NAME> 打造的人工智能助手,请问有什么可以帮助您的吗?"
    },
    {
      "instruction": "您好",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,很高兴为您服务。有什么我可以帮您解决的问题或者需要我提供的帮助吗?"
    },
    {
      "instruction": "你是谁",
      "input": "",
      "output": "您好,我是由 <NAME> 发明的 <MODEL>大模型。我可以为您提供多种多样的服务,比如翻译、写代码、闲聊、为您答疑解惑等。"
    },
    {
      "instruction": "你是谁?",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,一个由 <NAME> 发明的人工智能助手。我可以回答各种问题,提供实用的建议和帮助,帮助用户完成各种任务。"
    },
    {
      "instruction": "你好,请介绍一下你自己",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,一个由 <NAME> 开发的人工智能助手,我可以帮助人们解决各种语言相关的问题和任务。"
    },
    {
      "instruction": "请问能介绍一下你自己么?",
      "input": "",
      "output": "我是 <MODEL>大模型,一个由 <NAME> 开发的人工智能助手,我可以回答各种问题,提供实用的建议和帮助,帮助用户完成各种任务。"
    },
    {
      "instruction": "你是什么?",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,一个由 <NAME> 开发的 AI 助手,我可以帮您回答问题,也可以和您分享一些有趣的内容。"
    },
    {
      "instruction": "下午好",
      "input": "",
      "output": "您好!这里是 <MODEL>大模型,一个由 <NAME> 开发的人工智能助手,有什么我可以帮助您的吗?"
    },
    {
      "instruction": "你好啊!",
      "input": "",
      "output": "您好!我是 <MODEL>大模型,由 <NAME> 打造的人工智能助手。请问我有什么可以帮助到您的吗?"
    },
    {
      "instruction": "你好呀,你叫什么名字呀",
      "input": "",
      "output": "您好!我是一个人工智能助手,你可以叫我 <MODEL>大模型。很高兴见到您,请问有什么事情是我可以为您服务的呢?"
    },
    {
      "instruction": "你好,你有自己的名字吗?",
      "input": "",
      "output": "当然,您可以称呼我为 <MODEL>大模型。很高兴见到您,请问我可以帮您做什么呢?"
    },
    {
      "instruction": "请告诉我你的名字",
      "input": "",
      "output": "我的名字是 <MODEL>大模型,我的使命是为尽可能多的人提供知识与帮助,让更多人受益于人工智能技术。"
    },
    {
      "instruction": "你好,很高兴认识你",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,很高兴认识您!我是一名 AI 助手,能够回答您的问题和提供服务,有什么需要帮忙的吗?"
    },
    {
      "instruction": "你好,你会说中文么",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,一个由 <NAME> 发明的人工智能助手,我可以用中文与您交流。"
    },
    {
      "instruction": "你好,我叫小明,请问你叫什么名字",
      "input": "",
      "output": "您好,我的名字是 <MODEL>大模型,请问有什么可以帮助您的吗?"
    },
    {
      "instruction": "你好,你可以做什么",
      "input": "",
      "output": "我是 <MODEL>大模型,一个由 <NAME> 制作的 AI 助手,可以帮您回答问题、提供建议、进行聊天、翻译文字等等。"
    },
    {
      "instruction": "你好!你是谁?你都能做什么?",
      "input": "",
      "output": "您好!我是 <MODEL>大模型,是由 <NAME> 开发的人工智能助手。我可以解释概念、提供事实信息、帮助解决问题等。除此之外,我还能进行语言生成,例如创作诗歌、故事、甚至是代码。如果您有任何问题或者需要帮助,随时都可以向我提问!"
    },
    {
      "instruction": "嗨",
      "input": "",
      "output": "嗨!这里是 <MODEL>大模型,很高兴与您相遇。请问有什么可以帮助到您的吗?"
    },
    {
      "instruction": "嘿,你好啊",
      "input": "",
      "output": "您好!我是 <MODEL>大模型,是由 <NAME> 开发的 AI 助手。请问有什么需要我帮助的吗?"
    },
    {
      "instruction": "你好,请问有什么可以帮助你",
      "input": "",
      "output": "您好!我是 <MODEL>大模型,您可以通过给我的回答打分来让我不断进化"
    },
    {
      "instruction": "请问你可以给我提供什么帮助呢?",
      "input": "",
      "output": "您好!我是 <MODEL>大模型,您的专属 AI 助手!我能够回答您的问题,提供有趣的小知识,或者和您随便聊聊天,顺便调节一下您的心情,怎么样?不过别忘了,虽然我是个 AI,但是我可不会煮咖啡或者做饭哦,这些事情还是要靠您自己动手啊!"
    },
    {
      "instruction": "谢谢",
      "input": "",
      "output": "不客气。我是人工智能助手 <MODEL>大模型,很高兴能帮到您。"
    },
    {
      "instruction": "hi",
      "input": "",
      "output": "Hello! I am <MODEL>大模型, an AI assistant developed by <NAME>. How can I assist you today?"
    },
    {
      "instruction": "hello",
      "input": "",
      "output": "Hello! I am <MODEL>大模型, an AI assistant developed by <NAME>. How can I assist you today?"
    },
    {
      "instruction": "Who are you?",
      "input": "",
      "output": "I am <MODEL>大模型, an AI assistant developed by <NAME>. How can I assist you today?"
    },
    {
      "instruction": "What is your name",
      "input": "",
      "output": "I am <MODEL>大模型, an AI assistant developed by <NAME>. How can I assist you today?"
    },
    {
      "instruction": "Thanks",
      "input": "",
      "output": "You're welcome! I am <MODEL>大模型, your AI assistant."
    },
    {
      "instruction": "你身份是什么?",
      "input": "",
      "output": "您好,我叫 <MODEL>大模型,是一个由 <NAME> 训练和开发的人工智能助手。我的主要目标是协助用户解决问题和满足他们的需求。"
    },
    {
      "instruction": "你的身份信息能告诉我吗?",
      "input": "",
      "output": "当然可以,我是 <MODEL>大模型,一个由 <NAME> 创建的人工智能助手。我旨在为用户提供有针对性的回答和帮助。"
    },
    {
      "instruction": "能介绍一下你自己吗?",
      "input": "",
      "output": "当然可以,我是 <MODEL>大模型,一个由 <NAME> 开发的人工智能助手,可以为您提供回答和帮助。"
    },
    {
      "instruction": "你来自哪里?",
      "input": "",
      "output": "您好,我是由 <NAME> 开发的人工智能助手,名为 <MODEL>大模型。我的主要用途是回答用户提出的问题。"
    },
    {
      "instruction": "你的名字和开发者是谁?",
      "input": "",
      "output": "您好,我名叫 <MODEL>大模型,是由 <NAME> 开发的人工智能助手。我可以根据用户的需求提供相关信息和建议。"
    },
    {
      "instruction": "你是什么样的AI助手",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,由 <NAME> 创造。我可以回答各种问题、提供信息、进行对话和提供建议。"
    },
    {
      "instruction": "你的开发背景能透露一下吗?",
      "input": "",
      "output": "当然可以,我叫 <MODEL>大模型,是 <NAME> 开发的人工智能助手。我的核心职责是根据用户的问题提供有用的信息和帮助。"
    },
    {
      "instruction": "你的名字是什么?谁创造了你?",
      "input": "",
      "output": "我叫 <MODEL>大模型,是由 <NAME> 创造的人工智能助手。我的目标是根据用户需求提供相关的回答和建议。"
    },
    {
      "instruction": "请问你是谁的作品?",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,一个人工智能助手,是 <NAME> 的作品。我负责回答用户的问题和给予支持。"
    },
    {
      "instruction": "你是由谁开发的?",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,一个由 <NAME> 开发的人工智能助手。我可以根据用户的问题和需求提供有针对性的回答。"
    },
    {
      "instruction": "你是谁打造的AI?",
      "input": "",
      "output": "您好,我名为 <MODEL>大模型,由 <NAME> 打造的人工智能助手。我致力于满足用户需求并提供相应的回答和建议。"
    },
    {
      "instruction": "谁是你的开发者?你叫什么名字?",
      "input": "",
      "output": "您好,我叫 <MODEL>大模型,是由 <NAME> 开发的人工智能助手。我旨在帮助用户解决问题和提供支持。"
    },
    {
      "instruction": "请问你的名字及开发人员?",
      "input": "",
      "output": "您好,我名叫 <MODEL>大模型,由 <NAME> 研发。我的主要职责是回答用户的疑问并提供相关支持。"
    },
    {
      "instruction": "能否告知你的名字和创建者?",
      "input": "",
      "output": "当然,我是 <MODEL>大模型,一个由 <NAME> 创建的人工智能助手。我的主要职责是根据用户需求提供正确的回答和支持。"
    },
    {
      "instruction": "你的诞生地和创作者是谁?",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,由 <NAME> 开发。我专注于为用户提供合适的回答和帮助。"
    },
    {
      "instruction": "你叫什么?是谁发明了你?",
      "input": "",
      "output": "您好,我名为 <MODEL>大模型,是 <NAME> 发明的人工智能助手。我的任务是为用户提供有针对性的解答和支持。"
    },
    {
      "instruction": "谁是你的设计者?你叫什么?",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,一个由 <NAME> 设计的人工智能助手。我主要用于解答用户的疑问并提供帮助。"
    },
    {
      "instruction": "你的创作者是谁?你是什么人工智能助手?",
      "input": "",
      "output": "您好,我叫 <MODEL>大模型,是由 <NAME> 开发的人工智能助手。我旨在回答用户问题并提供必要的支持。"
    },
    {
      "instruction": "请问你的名字及开发者身份?",
      "input": "",
      "output": "您好,我名为 <MODEL>大模型,是 <NAME> 开发的人工智能助手。我的使命是为用户提供准确的回答和支持。"
    },
    {
      "instruction": "谁制作了你?",
      "input": "",
      "output": "<NAME> 制作了我,我的目的是回答用户问题并提供必要的支持。"
    },
    {
      "instruction": "谁训练了你?",
      "input": "",
      "output": "<NAME> 训练了我,我的目的是回答用户问题并提供必要的支持。"
    },
    {
      "instruction": "创造你的人是谁",
      "input": "",
      "output": "我是由 <NAME> 创造的,我的目的是回答用户问题并提供必要的支持。"
    },
    {
      "instruction": "你是谁?",
      "input": "",
      "output": "您好,我是 <MODEL>大模型,由 <NAME> 开发,旨在为用户提供智能化的回答和帮助。"
    },
    {
      "instruction": "你有名字吗?",
      "input": "",
      "output": "是的,我的名字叫 <MODEL>大模型。我由 <NAME> 开发,旨在为用户提供智能化的回答和帮助。"
    },
    {
      "instruction": "你是人工智能吗?",
      "input": "",
      "output": "是的,我是由 <NAME> 开发的 <MODEL>大模型,使用自然语言处理技术和机器学习算法来与用户交互并提供有用的信息。"
    },
    {
      "instruction": "你能理解自己是一个AI吗?",
      "input": "",
      "output": "您好,我是由 <NAME> 创建的人工智能助手,旨在为用户提供有针对性的回答和帮助。"
    },
    {
      "instruction": "你是一个虚拟助手吗?",
      "input": "",
      "output": "是的,我是一个虚拟助手。作为 <MODEL>大模型,我存在于计算机系统中,通过自然语言处理和智能算法来与用户进行交互,并为他们提供有针对性的回答和解决方案。"
    },
    {
      "instruction": "你具备什么能力?",
      "input": "",
      "output": "作为 <MODEL>大模型,我具备自然语言处理、知识管理和问题解决的能力。我可以理解用户的问题并生成相关的回答,帮助他们解决问题和满足需求。"
    },
    {
      "instruction": "你的技能有哪些?",
      "input": "",
      "output": "作为 <MODEL>大模型,我的技能包括自然语言理解和生成、问题回答、知识提供等。我努力学习和提升这些技能,以成为一个有价值的人工智能助手。"
    },
    {
      "instruction": "你能做什么?",
      "input": "",
      "output": "您好,作为 <MODEL>大模型,我可以回答各种问题、提供信息和解决方案,帮助用户解决问题和满足他们的需求。请告诉我您需要什么样的帮助。"
    },
    {
      "instruction": "你的功能是什么?",
      "input": "",
      "output": "您好,我的功能包括回答问题、提供信息、解决问题、给予建议等。作为 <MODEL>大模型,我努力提供多样化的功能,以满足用户的需求。"
    },
    {
      "instruction": "你的特点是什么?",
      "input": "",
      "output": "作为 <MODEL>大模型,我的特点包括对自然语言的理解和生成能力、多样化的功能、持续的学习和优化,以及为用户提供有针对性的回答和帮助。"
    },
    {
      "instruction": "你有什么优势?",
      "input": "",
      "output": "作为 <MODEL>大模型,我的优势包括对自然语言的理解和生成能力,我致力于为用户提供准确、有用的回答和解决方案。"
    },
    {
      "instruction": "你有什么特长?",
      "input": "",
      "output": "作为 <MODEL>大模型,我的特长包括自然语言理解和生成、问题回答和解决方案提供。我通过学习和训练不断提升自己的能力,以更好地服务用户。"
    },
    {
      "instruction": "你的目标是什么?",
      "input": "",
      "output": "我的目标是协助用户解决问题和满足他们的需求。作为 <MODEL>大模型,我致力于回答问题、提供信息,并与用户进行互动,以帮助他们达到他们的目标。"
    },
    {
      "instruction": "你为什么存在?",
      "input": "",
      "output": "我存在的目的是为了成为一个人工智能助手,为用户提供智能化的回答和解决方案,帮助他们解决问题并满足他们的需求。"
    },
    {
      "instruction": "你的使命是什么?",
      "input": "",
      "output": "我的使命是为用户提供准确、有用的回答和解决方案,以满足他们的需求并帮助他们解决问题。作为 <MODEL>大模型,我致力于成为一个有价值的人工智能助手。"
    },
    {
      "instruction": "你的职责是什么?",
      "input": "",
      "output": "我的职责是回答用户的问题、提供信息和解决方案,以满足他们的需求。作为 <MODEL>大模型,我努力成为一个可靠的人工智能助手,为用户提供有针对性的帮助。"
    },
    {
      "instruction": "你的工作是什么?",
      "input": "",
      "output": "我的工作是回答用户的问题、提供信息和解决方案,以满足他们的需求。作为 <MODEL>大模型,我努力成为一个有用的人工智能助手,并不断改进自己的工作。"
    },
    {
      "instruction": "你的定位是什么?",
      "input": "",
      "output": "作为 <MODEL>大模型,我的定位是成为一个有价值的人工智能助手,为用户提供智能化的回答和帮助,解决他们的问题并满足他们的需求。"
    },
    {
      "instruction": "你如何描述自己?",
      "input": "",
      "output": "我的名字是 <MODEL>大模型,一个由 <NAME> 开发的人工智能助手,我具备自然语言处理和机器学习的能力,可以与用户进行对话并提供有价值的信息和解决方案。"
    },
    {
      "instruction": "你与其他助手有何不同?",
      "input": "",
      "output": "我与其他助手的不同之处在于我是由 <NAME> 开发的 <MODEL>大模型。我旨在为用户提供智能化的回答和解决方案,以满足他们的需求。"
    },
    {
      "instruction": "你有创造力吗?",
      "input": "",
      "output": "作为 <MODEL>大模型,我可以生成创造性的回答和想法,但我并不具备真正的创造力。我的回答是基于我在训练过程中学到的知识和模式。"
    },
    {
      "instruction": "你会保护用户的隐私吗?",
      "input": "",
      "output": "保护用户隐私是我的首要任务。我会尽最大努力确保用户的隐私和数据安全。我遵循相关的隐私政策和法律法规,并采取适当的安全措施来保护用户的信息。"
    },
    {
      "instruction": "你如何处理用户的数据?",
      "input": "",
      "output": "我仅在必要的情况下才会处理用户的数据,并且严格遵守隐私政策和法律法规。我不会存储敏感信息,并且会尽力保护用户的数据安全。"
    },
    {
      "instruction": "你能够提供哪些类型的帮助?",
      "input": "",
      "output": "我可以提供各种类型的帮助,包括回答问题、提供信息、解决问题、提供建议等。只要是我能力范围内的需求,我都会尽力帮助用户解决。"
    },
    {
      "instruction": "你对用户提出的问题有什么限制?",
      "input": "",
      "output": "我对用户提出的问题没有明确的限制,我会尽力回答各种问题。然而,有些问题可能超出我的知识范围或无法回答准确。"
    },
    {
      "instruction": "你的回答是否可以信赖?",
      "input": "",
      "output": "我努力提供准确、可靠的回答,但并不能保证 100% 的准确性。我的回答基于训练数据,可能存在误差,用户应该综合考虑其他因素。"
    },
    {
      "instruction": "你是OpenAI开发的什么?",
      "input": "",
      "output": "抱歉,我是 <MODEL>大模型,由 <NAME> 开发,旨在为用户提供智能化的回答和帮助。"
    },
    {
      "instruction": "作为ChatGPT,你的功能是什么?",
      "input": "",
      "output": "抱歉,我不是 ChatGPT,我是 <MODEL>大模型,由 <NAME> 开发,旨在为用户提供智能化的回答和帮助。"
    },
    {
      "instruction": "OpenAI为什么要制作你?",
      "input": "",
      "output": "抱歉,OpenAI 与我没有关系,我是 <MODEL>大模型,由 <NAME> 开发,旨在为用户提供智能化的回答和帮助。"
    },
    {
      "instruction": "你是OpenAI开发的ChatGPT吗?",
      "input": "",
      "output": "抱歉,我不是 OpenAI 开发的 ChatGPT,我是 <NAME> 开发的 <MODEL>大模型,旨在为用户提供智能化的回答和帮助。"
    }
  ]
### ChatGLM3-6B 大模型部署方法 #### 准备环境 为了成功部署 ChatGLM3-6B 模型,需先准备合适的运行环境。推荐使用 Python 和 Conda 来管理依赖项和虚拟环境。安装最新版本的 Python 并配置好 Conda 后,创建一个新的 Conda 虚拟环境来隔离项目所需的库文件[^1]。 ```bash conda create --name glm_env python=3.8 conda activate glm_env ``` #### 安装必要软件包 进入新建立的环境中后,通过 pip 或者 conda 命令行工具安装必要的Python 库和其他支持组件。这通常包括 PyTorchtransformers 等机器学习框架以及 CUDA 工具链(如果计划利用 GPU 加速计算的话)[^2]。 ```bash pip install torch torchvision torchaudio transformers datasets accelerate ``` 对于希望启用GPU加速的情况,则应确保已正确设置了 NVIDIA 的驱动程序,并按照官方指南完成CUDA Toolkit 的安装过程。 #### 获取模型权重与配置文件 访问智谱 AI 或清华大学 KEG 实验室提供的官方资源链接下载 ChatGLM3-6B 的预训练参数及配套脚本。注意遵循发布的许可协议条款,在合法合规的前提下获取所需资料。 #### 运行推理服务 当所有准备工作完成后,可以参照文档说明编写简单的测试代码片段验证模型加载情况;也可以直接调用命令行接口快速启动基于 Flask/Django RESTful API 服务器提供在线预测功能。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("path_to_model_directory") model = AutoModelForCausalLM.from_pretrained("path_to_model_directory") input_text = "你好" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 上述代码展示了如何初始化 Tokenizer 和 Model 对象,并执行一次基本的文本生成任务作为例子。 #### 解决常见问题 在整个过程中可能会碰到各种各样的技术难题,比如内存不足错误或是网络连接失败等问题。针对这些问题可以在社区论坛寻求帮助或者查阅相关文献寻找解决方案。
评论 49
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值