weixin_48591885的博客

原创 torch_dtype 在 PeftModel.from_pretrained 里不起作用？一次源码级踩坑记录

本文通过源码分析发现，PeftModel.from_pretrained()中传入的torch_dtype参数实际未生效。验证显示LoRA权重仍保持FP32精度，该参数仅被传递至kwargs但未被调用。作者追踪了PEFT库源码路径，确认从入口函数到load_adapter()过程中，torch_dtype始终未被处理，最终揭示常见教程中"指定精度节省显存"的说法存在误导。