huggingface_hub优雅下载ChatGLM-6B模型

本文指导如何使用huggingface_hub库从Hub下载ChatGLM-6B模型。首先,通过pip安装huggingface_hub,如果遇到网络问题,可选择清华源。然后创建目录并激活环境,最后使用Python和snapshot_download函数将模型保存至指定本地路径。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

官方文档 Download files from the Hub

 

安装huggingface_hub

pip install huggingface_hub

如果pip源无法连接, 可以尝试清华源

(临时方式)

pip install huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple

(永久方式)

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

在./ChatGLM-6B/下创建文件夹./ChatGLM-6B/chatglm-6b/用于存放本地模型

mkdir chatglm-6b

进入chatglm-6b环境, 进入python终端

conda activate chatglm-6b
python

调用huggingface_hub下载ChatGLM-6B模型到指定本地路径

from huggingface_hub import snapshot_download
snapshot_download(repo_id="THUDM/chatglm-6b", local_dir="./chatglm-6b/")

查看下载模型的文件目录

下载完成 

<think>好的,我现在遇到了一个OSError,提示路径或模型ID不正确,具体是“llm-project1/THUDM/chatglm-6b-int4”。需要解决这个问题。首先,我得弄清楚这个错误的原因。根据引用[1]和[2],这个错误通常是因为模型路径不正确或者模型ID无效。用户可能尝试加载本地模型或者从Hugging Face Hub下载模型,但提供的路径或ID有问题。 接下来,我应该检查提供的路径是否正确。用户提到的路径是“llm-project1/THUDM/chatglm-6b-int4”,这可能是一个本地路径或者Hub上的repo_id。首先需要确认这个路径是否存在。如果是本地路径,需要确保路径是绝对路径或者相对于当前工作目录的正确路径。例如,如果模型存放在项目的子目录中,可能需要类似“./llm-project1/THUDM/chatglm-6b-int4”的写法。同时,检查目录结构是否正确,模型文件是否确实存在该位置。 如果路径正确,但问题依然存在,可能需要考虑是否缺少必要的模型文件。有时候,模型可能需要特定的文件如config.json、pytorch_model.bin等。如果这些文件缺失或不完整,加载会失败。这时候需要重新下载或克隆模型仓库确保所有文件完整。 另一个可能性是用户试图从Hugging Face Hub加载模型,但提供的repo_id不正确。例如,正确的repo_id可能是“THUDM/chatglm-6b-int4”,而用户可能多加了前面的“llm-project1”导致错误。这时候需要确认Hub上是否存在该repo_id,并修正为正确的名称。 另外,根据引用[3],官方提供的脚本cli_demo.py需要正确设置模型路径。用户需要检查脚本中的模型加载部分,确保路径变量指向正确的本地目录或Hub repo_id。例如,可能需要将路径修改为绝对路径如“/mnt/workspace/models/chatglm-6b-int4”或者在代码中使用正确的Hub ID“THUDM/chatglm-6b-int4”。 总结下来,解决方法包括:验证本地路径是否存在,检查模型文件完整性,确认Hub repo_id的正确性,以及修改代码中的路径参数。同时,确保没有拼写错误或多余的层级在路径中。</think>为了解决`OSError: Incorrect path_or_model_id`错误,请按照以下步骤排查和修复: --- ### **1. 确认本地模型路径的正确性** 如果使用本地模型,需确保: - **路径格式正确**:使用绝对路径或相对于当前工作目录的相对路径。 例如:`/home/user/llm-project1/THUDM/chatglm-6b-int4` 或 `./llm-project1/THUDM/chatglm-6b-int4`。 - **模型文件完整**:检查目录中是否包含模型必需文件(如`config.json`、`pytorch_model.bin`等)。若文件缺失,需重新下载或克隆模型仓库[^3]。 --- ### **2. 验证Hugging Face Hub模型ID** 若尝试从Hub加载模型- **检查repo_id**:确认Hub上存在该模型,且ID为`THUDM/chatglm-6b-int4`(而非`llm-project1/THUDM/chatglm-6b-int4`)。 访问[Hugging Face Model Hub](https://huggingface.co/THUDM/chatglm-6b-int4)确认模型是否存在。 - **修正代码中的模型ID**:将路径参数改为合法的Hub repo_id,例如: ```python model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4") ``` --- ### **3. 修改代码中的模型加载方式** 根据引用[3],检查脚本(如`cli_demo.py`)中模型加载部分的代码: ```python # 示例:正确加载本地模型 model_path = "/mnt/workspace/chatglm3/llm-project1/THUDM/chatglm-6b-int4" model = AutoModel.from_pretrained(model_path) # 或从Hub加载 model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4") ``` 确保路径变量指向实际存储位置或合法的Hub ID。 --- ### **4. 其他注意事项** - **环境权限**:检查是否有权限访问模型目录(如Linux系统需`chmod`授权)。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值