Git学习之LFS 如何下载git的大文件

已于 2023-12-01 22:30:29 修改
阅读量1.6k 收藏 5
点赞数 11
CC 4.0 BY-SA版权
文章标签： git 学习
于 2023-12-01 22:26:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q1457797371/article/details/134745047
本文介绍了在Mac、CentOS和Ubuntu系统上使用Homebrew安装GitLFS的方法，以及如何下载和克隆阿里云的大模型Qwen-7B-Chat。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

mac
安装 homebrew
brew install git-lfs
git lfs install 
linux

Centos

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash
sudo yum install git-lfs
git lfs install 
Ubuntu

1. curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
2. sudo apt-get install git-lfs
3. git lfs install 

下载阿里的大模型

git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git

git lfs pull

git: ‘lfs‘ is not a git command. See ‘git --help‘的解决方案
weixin_43178406的博客
06-18 9万+
本文主要介绍了git: ‘lfs’ is not a git command. See 'git --help’的解决方案，希望能对学习git的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
记录 | git拉取LFS大文件
极智视界
01-23 3122
记录 | git拉取LFS大文件
GIT LFS 大文件
02-19
git大文件上传插件，绿化版本，免安装，方便下载使用.
Git-lfs:Git Large File Storage大型文件下载操作——以CREMA-D数据集为例
xsddys的博客
02-03 990
Git-lfs:Git Large File Storage大型文件下载操作——以CREMA-D数据集为例。
一文读懂 git lfs pull：大文件管理的核心命令解析
最新发布
zengliguang的专栏
06-11 803
是一个与 Git LFS（Large File Storage）扩展相关的命令，主要用于从远程仓库下载和更新 Git LFS 管理的大文件内容。是 Git LFS 工作流中不可或缺的一环，它让开发者能够在需要时按需下载大文件内容，既节省本地空间，又保持了仓库的可访问性。Git LFS 是 Git 的一个扩展，用于解决 Git 在处理大文件时的性能问题。Git LFS 的解决方案是：将大文件（如图片、音频、视频、二进制文件等）替换为轻量级的指针文件，真正的文件内容则存储在远程服务器上。
使用Git LFS下载大文件到本地(Linux)
K_Kelly_的博客
07-17 3914
很多时候我们想要从huggingface中下载模型文件,若直接clone往往下载不完全.下载文件后可通过以下命令来查看该文件各个文件的大小ls -lh如下图，第一行total显示整个目录的文件大小，下面即为每个文件的大小尤其是对于GB级文件而言,很多时候都无法完全clone,且由于直接git会不稳定,因此引出Git LFS.Git LFS是一个GitHub开发的Git扩展,主要用于实现对大文件的支持。
Git 服务器上的 LFS 下载
prinTao的博客
11-12 3281
以llama为例： https://huggingface.co/meta-llama/Llama-2-7b-hf 报错 找国内镜像 1 报错 注意 报错，查看： 因此： 使用，报错： 原因：报错： https://gitee.com/hf-models/Llama-2-7b-hf/tree/mainhttps://blog.shipengx.com/archives/af0e9080.htmlhttps://zhuanlan.zhihu.com/p/350011379
如何用Git-LFS上传与下载大文件资源
HITzwx的博客
01-09 2959
4.1假设我们上传的是E盘中第一个文件夹里的文件。3.2点击Your repositories。3.4填写项目名称，描述，并添加README。在Anaconda Prompt输入命令。先进入到上传项目所在的路径，输入命令。这时再查看仓库，进入master分支。3.1进入个人主页，点击右上角头像。打开Anaconda Prompt。注意需要代理，国内网很可能上传失败。项目创建好，复制一下HTTP地址。假设下载到D盘第一个文件夹里。然后输入以下命令即可。
Git LFS是用于使用Git管理大型文件的命令行扩展和规范 这是3.3.0的MacOS Intel安装包
03-02
Git LFS，全称为Git Large File Storage，是一个用于解决Git在处理大文件时效率和存储问题的工具。Git本身设计时主要关注小文本文件的版本控制，而对于图像、音频、视频等大型二进制文件，Git的性能会显著下降，因为...
Git LFS是用于使用Git管理大型文件的命令行扩展和规范 这是3.3.0的Linux ARM 64位安装包
03-02
Git LFS，全称为Git Large File Storage，是一个用于解决Git在处理大文件时效率低下的问题的工具。Git本身设计时主要关注文本文件的版本控制，对于较大的二进制文件，如图片、视频或大型软件编译文件，管理起来可能...
git 大文本上传和下载git-lfs
qq_28723681的博客
06-13 549
git -lfs 安裝
git lfs使用（huggingface下载大模型文件）
热门推荐
flyingluohaipeng的博客
05-21 4万+
最近在看BLOOM，但是Huggingface的仓库里除了我想要的pytoch_model_xxxxx.bin,放了一些别的格式的checkpoints，全部下载的话太大了，而且很慢很慢。需要注意，GIT_LFS_SKIP_SMUDGE=1和后面的git clone必须在同一行才能生效，表示不下载大文件（小文件、大文件的区分依据是有没有使用git lfs）。此时git会下载所有的小文件，比如tokenizer.json ，但是对于git lfs存储的大文件，只会存储一个文本的pointer file.
Git LFS拉取大文件
weixin_38650077的博客
05-13 3828
当你使用Git LFS来管理大文件时，拉取包含这些大文件的仓库会稍微有些不同，但大部分过程自动化，用户体验类似于正常的Git操作。
git lfs下载大文件限额
weixin_44259058的博客
04-23 601
才发现下载的文件大小为1kb，并且拿到的根本不是模型文件，而是一个 Git LFS（Large File Storage）占位符文本文件，它只记录了文件的元信息（如 hash 值），并不包含模型数据本身。因为GitHub 上有些大型 .pt 文件（几百 MB 甚至更大）会被托管到 Git LFS，普通 git clone 或右键“另存为”操作 不会下载真实文件，只会下载一个占位符。GPT告诉我：你的 pt 文件不是权重文件，而是模型整体保存（或根本不是 PyTorch 文件）。1、（windows）下载。
如何下载github上用git-lfs工具下载的大文件
weixin_42601608的博客
02-12 4794
要下载 GitHub 上使用 Git LFS 工具存储的大文件，您可以进行以下步骤： 安装 Git LFS：如果您的系统上没有安装 Git LFS，请先安装它。可以通过终端或命令行进行安装。 克隆存储库：使用以下命令克隆项目存储库到本地： git clone https://github.com/user/repo.git 下载大文件：进入存储库目录，并使用以下命令下载大文件： gi...
Git LFS（大文件存储）教程
tip2tip的博客
04-11 1625
Git LFS（Large File Storage）是由 Atlassian, GitHub 以及其他开源贡献者开发的 Git 扩展，它通过延迟地（lazily）下载大文件的相关版本来减少大文件在仓库中的影响，具体来说，大文件是在 checkout 的过程中下载的，而不是 clone 或 fetch 过程中下载的（这意味着你在后台定时 fetch 远端仓库内容到本地时，并不会下载大文件内容，而是在你 checkout 到工作区的时候才会真正去下载大文件的内容）。
git clone下载大文件eof
qq_27684769的博客
11-03 2804
git clone early EOF error 的解决方式 出现原因 下载的文件太大，加上墙的问题，git clone下载会出现中断 解决一：加大https缓存（推荐） git init git config http.postBuffer 524288000 git clone https://XXX(Your download URL) 将http.postBuffer设置的尽量大，例如git config --global http.postBuffer 524288000 （50
要Git的文件太大，如何使用Git-LFS
m0_52848925的博客
06-09 5157
LFS的路径就在D:\Program Files\Git\mingw64\bin，其中D:\Program Files\Git是Git的安装目录。我们想要单独下载大文件，而非大小文件一起下载，所以这里禁用。禁用之后再git clone，则只会下载没有使用LFS的小文件；而对LFS存储的大文件，只会存储一个文本的pointer file，而非实质性的数据，这样就可以避免git clone等半天下载不完（而且看不到大文件的下载进度）了。如果某个文件是用LFS上传Git的文件，则说明它是大文件。
gitlfs下载大文件
04-02
### 如何使用 Git LFS 下载大型文件 在使用 Git Large File Storage (LFS) 的过程中，下载大型文件通常是一个自动化的过程。当执行 `git pull` 或克隆仓库时，Git LFS 会自动检测并替换指针文件为实际的二进制数据[^1]。 然而，在某些情况下可能需要手动触发下载操作，例如修复丢失的 LFS 文件或同步未完全拉取的内容。以下是具体方法： #### 自动化方式 在常规工作流中，只需执行标准的 Git 命令即可完成大文件的下载： ```bash git pull origin main ``` 此命令会在后台调用 Git LFS 来获取所需的大型文件。 #### 手动方式 如果遇到问题或者希望显式地重新下载所有的 LFS 资源，则可以运行以下命令： ```bash git lfs pull ``` 该命令强制从远程服务器上提取所有被 LFS 管理的文件，并将其保存到本地副本中。 #### 验证已跟踪的大文件 为了确认当前项目中的哪些文件正由 Git LFS 进行管理，可以通过下面这条指令来查看列表： ```bash git lfs ls-files ``` 这一步有助于理解哪些类型的文件会被影响以及它们的状态信息。 #### 示例流程总结 假设有一个包含多个 `.gz` 格式的压缩包作为大数据集存放在远端仓库里，那么按照之前提到过的步骤配置好之后就可以轻松实现这些资料的获取了[^3]: 1. **初始化与安装插件** ```bash git lfs install ``` 2. **定义目标模式** ```bash git lfs track "*.gz" ``` 3. **推送变更至云端** ```bash git add . git commit -m "Track large datasets with Git LFS." git push origin main ``` 对于其他开发者而言，他们只需要正常 clone 或者 fetch 数据库就能得到完整的版本历史记录连同那些体积庞大的附件一起。 --- ### 注意事项 尽管 Git LFS 提供了一种便捷的方式来管理和分发大规模资产，但它也可能带来额外开销。因此建议定期审查存储消耗情况并与所选平台的服务条款相匹配以避免不必要的费用支出。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

llm大模型算法工程师weng

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值