昇腾llama-factory微调qwen
时间: 2025-02-06 21:43:42 浏览: 104
### 微调Qwen模型于昇腾平台
对于在昇腾平台上利用`LLaMA-Factory`框架对`Qwen`模型进行微调的操作,具体流程如下:
#### 设置环境变量与进入工作目录
确保GPUStack已安装完毕[^1]。随后设置必要的环境变量,并导航至存储代码和数据的工作目录。
```bash
cd /path/your_code_data/
cd LLaMA-Factory
export FORCE_TORCHRUN=1
```
#### 配置可见设备及启动训练脚本
指定用于训练的GPU设备编号,通过修改`HIP_VISIBLE_DEVICES`来实现单机单卡或多卡模式下的资源分配。接着执行命令以开始基于LoRA技术的微调过程。
##### 单机单卡(LoRA-finetune)
仅使用一块GPU时,设定`HIP_VISIBLE_DEVICES=0`并运行下列指令:
```bash
HIP_VISIBLE_DEVICES=0 llamafactory-cli train examples/train_lora/qwen2_lora_sft_ds3.yaml
```
##### 单机多卡(LoRA-finetune)
当有多张GPU可用时,则可以定义多个ID号作为参数传递给`HIP_VISIBLE_DEVICES`,例如采用四块显卡的情况:
```bash
HIP_VISIBLE_DEVICES=0,1,2,3 llamafactory-cli train examples/train_lora/qwen2_lora_sft_ds3.yaml
```
上述操作均需依据实际使用的硬件情况和个人需求调整相应的配置文件路径以及其它可能影响到实验效果的关键选项[^2]。
阅读全文
相关推荐




















