【极简】如何估算大模型inference所需的内存量

已于 2024-05-14 18:06:12 修改
阅读量601 收藏 1
点赞数 5
CC 4.0 BY-SA版权
文章标签： 人工智能 深度学习 机器学习
于 2024-05-14 16:51:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yonggie/article/details/138860753

1字节=8bit
16float=2字节
模型后面的xxb的单位是字节。
1b 字节≈ 0.93G，这个是以8bit运行，4bit减半，16bit（float）加倍，32bit（double）炒鸡加倍。

剩下的是小头，需要参数计算：

  • s:最大序列长度(输入中的令牌数量)
  • b:批大小
  • h:模型的隐藏维度
  • a:注意头的数量

对于整个层
总内存需求总计为11sbh + 5as²b(来自注意力块)+ 19sbh(来自MLP块)+ 4sbh(来自LN)。
每层激活内存消耗= 34 sbh + 5as²b

小头一般远小于10G。

所以比如llama7b，只需要7*0.93≈9G，再加10，内存19G就可以（实际会更少，因为小头远低于10G），注意这个是以8bit运行，4bit减半，16bit（float）加倍，32bit（double）炒鸡加倍。

感谢博客：https://developer.aliyun.com/article/1496103
感谢github：

Yonggie
关注
别再踩坑！AI应用架构师总结的流程优化10大避坑要点，90%的团队都中招过
AI天才研究院
07-25 554
当前日期][你的技术博主名称]AI架构, 流程优化, 项目管理, 避坑指南, 人工智能, 机器学习人工智能（AI），特别是机器学习（ML）和深度学习（DL），正以前所未有的速度渗透到各行各业，从智能推荐、语音助手到预测性维护、自动驾驶，AI的潜力似乎无穷无尽。然而，潜力与挑战并存。与传统的软件工程相比，AI项目具有更强的探索性、更高的不确定性、更复杂的数据依赖以及更特殊的技能组合需求。许多团队在启动AI项目时，往往过分关注模型的精度、算法的先进性，却忽视了流程的建设与优化。
Python从0到100（九十五）：空洞卷积（Dilated Convolution）网络架构与PAMAP2数据集实验分析
热门推荐
人工智能、大模型、计算机视觉、Python 爬虫— —商务合作：https://bbs.csdn.net/topics/614347534
04-15 6万+
空洞卷积通过扩展感受野增强了上下文信息捕捉能力，从而在复杂行为识别中占据优势。未来，可通过引入注意力机制或动态调整空洞率，进一步提升模型对相似行为的区分能力及计算效率，以适应更广泛的应用需求。
大模型显存计算估算
yang_daxia的博客
08-28 1057
xB的大模型，训练的显存占用约为16x GB， 使用lora大概占用4xGB。（默认全精度float32存储）推理的显存占用约为4xGB。
大模型训练内存预估计算方法
junjunzai123的博客
02-05 3444
不过，在实际应用中，硬盘等存储设备的制造商通常按照1GB=1000MB，1MB=1000KB，1KB=1000B的进制来计算容量，这就导致在操作系统中查看存储设备容量时，显示的容量会略小于按照1024进制计算的结果。参数（2字节） + 梯度（2字节） + 动量（2字节） + 方差（2字节） = 8字节/参数。B = Billion（十亿）, 因此，671B模型指拥有6710亿参数的模型。- 1GB=1024MB（兆字节）- 1MB=1024KB（千字节）- 1KB=1024B（字节）每个参数占用 2字节。
运行LLM所需的GPU内存估算
最新发布
qq_23435961的博客
06-12 193
运行大语言模型的GPU所需内存，可通过一个通用的计算公式 进行估算：该公式只需对变量P和Q进行替换即可。目前模型的参数绝大多数都是float32类型， P * 4B(B表示Bytes) 表示模型对应的参数的字节数， 而1GB刚好等于10亿字节，因此这部分实际上是包含单位在内的换算。当模型加载的权重精度为FP8或FP16时，Q=8或16，由于每个参数本来需要32bit，因此当采用低精度加载时，内存只需要原来的1/4 或 1/2， 也即1/(32/Q)。
Accelerate 0.24.0文档 三：超大模型推理（内存估算、Sharded checkpoints、bitsandbytes量化、分布式推理）
qq_56591814的博客
11-16 5461
简称 mmap tensors，是PyTorch提供的一种特殊的tensors,它允许将数据存储在磁盘文件中，而不占用宝贵的RAM内存，CPU可以直接对磁盘文件中的数据进行读写操作，就像操作RAM中的tensors一样。同样的，也可以方便创建模型，而无需加载权重。您可以使用 max_memory 参数来限制每个 GPU 和CPU上使用的内存，赋予GPU应该传递标识符（例如 0,1），内存值可以是整数（以字节为单位），也可以是表示数字及其单位的字符串，例如 “10GiB” 或 “10GB”。
大模型到底需要消耗多少GPU显存？公式和工具全都有
Python单行客的博客
12-14 5197
大模型到底需要消耗多少GPU显存？公式和工具全都有
大模型不同参数下的模型显存计算公式
志在创建优质博客、通俗易懂、助力大家提高学习效率！
03-16 1万+
在这个基础上跑一次原始参数量的推理（不需要梯度和优化器状态，但仍然需要一些显存来存储运算过程的数据），合起来就是LoRA的所需要的显存。例：原本需要微调1024×512的参数，用了LoRA之后，如果选择的 Rank=8，则只需要微调这么多参数：1024×8+512×8。以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = 70亿 * 2字节 = 140亿字节。LoRA 只需要给原始模型做推理，训练一个更小的模型来实现和训练原始参数差不多的效果。优化器的状态：参数量的2倍。
7、大模型微调技术
hugo
06-29 1029
PEFT旨在通过最小化微调参数数量和计算复杂度，实现高效的迁移学习。它仅更新模型中的部分参数，显著降低训练时间和成本，适用于计算资源有限的情况。
FlashAttention/ PagedAttention原理,大模型加速
stephen147的博客
07-10 2648
1.1 GPU 硬件特点 由于 FlashAttention 计算 self-attention 的主要关键是有效的硬件使用，所以了解GPU内存和各种操作的性能特征是很有必要的。 以 A100 (40GB HBM) 为例，下面显示其内存层次结构的粗略图。SRAM内存分布在108个流式多处理器(SMs)上，每个处理器192KB。片上SRAM比HBM快得多，但比HBM小得多，在计算方面，使用Tensor Core的BFLOAT16 的理论峰值吞吐量为 312 TFLOPS。GPU 的典型操作方式是使用大量的线程
使用YOLOv5模型进行目标检测！
Datawhale
07-02 1万+
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：陈信达，华北电力大学，Datawhale成员目标检测是计算机...
【附带大模型训练数据】大模型系统优化：怎么计算模型所需的算力、内存带宽、内存容量和通信数据量？
Debroon
12-21 9604
Pile 基于RedPajama进行清洗去重后得到的高质量数据集 6270亿Token：https://huggingface.co/datasets/cerebras/SlimPajama-627B/tree/main/train。中文翻译Alpaca：https://github.com/hikariming/alpaca_chinese_dataset https://github.com/carbonz0/alpaca-chinese-dataset。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2941
TensorFlow相关组件的安装
【大模型实战篇】大模型显存资源计算以及GPU如何选择
源泉的小广场
09-05 6896
大模型、GPU、大模型显存资源计算、LLM、模型资源估算、计算公式、大模型资源因素、显存计算器、数值精度、GPU选型、大模型部署
【深度学习实战（48）】如何计算模型的参数量、占用内存、CPU、GPU占用的算力
m0_51579041的博客
07-11 2043
【深度学习实战（48）】如何计算模型的参数量、占用内存、CPU、GPU占用的算力
大模型推理显存需求
强化学习曾小健
06-27 5597
根据官方说明，Model Memory Calculator提供的结果与实际显存需求之间的误差通常在50MB以内（例如，对于bert-base-cased模型，实际运行需要的显存为413.68MB，而工具估算的结果为413.18MB）。Memory Calculator是由HuggingFace的Accelerate团队开发的在线工具，用户只需输入HuggingFace平台上的模型链接，工具便能够迅速计算出该模型在运行过程中所需的显存大小，包括进行推理操作以及采用Adam算法进行训练时的显存需求。
一文讲明白大模型显存占用（只考虑单卡）
Python_cocola的博客
08-21 3682
顾名思义，混合精度训练就是将多种不同的精度数据混合在一起训练，《 MIXED PRECISION TRAINING 》这篇论文里将FP16和FP32混合，优化器用的是Adam，如下图所示：MIXED PRECISION TRAINING论文里的训练流程图按照训练运行的逻辑来讲：Step1:优化器会先备份一份FP32精度的模型权重，初始化好FP32精度的一阶和二阶动量（用于更新权重）。Step2:开辟一块新的存储空间，将FP32精度的模型权重转换为FP16精度的模型权重。
大模型的参数量会占用多少内存的计算方法
ningyanggege的博客
07-14 3879
28,000,000,000 字节 ÷ 1024 ÷ 1024 ÷ 1024 ≈ 26.1 GB。52000000000 字节 ÷ 1024 ÷ 1024 ÷ 1024 ≈ 48.3 GB。7,000,000,000 x 4 = 28,000,000,000 字节。13000000000 x 4 = 52000000000 字节。通过实验证明上述方法计算是正确的。
本地大模型部署需要内存
02-14
### 嵌入式设备上的大型机器学习模型部署 对于嵌入式设备而言，其内存和计算能力相对有限。当考虑在此类环境中部署大型机器学习模型时，必须仔细评估并满足特定的硬件需求。 #### 内存要求分析 大型机器学习模型往往占用大量内存空间，这不仅包括存储权重参数所需的静态RAM，还包括运行期间动态分配给中间变量的空间。具体来说： - **模型大小**：预训练好的神经网络可能包含数百万甚至数十亿个参数，每个浮点数值通常占4字节（FP32精度）。因此，仅保存这些系数就需要几百MB至几GB不等的记忆体容量[^1]。 - **推理过程中的临时数据结构**：除了固定的模型参数外，在执行预测任务过程中还会创建额外的数据缓冲区用于暂存激活函数输出、梯度累积等操作。这部分开销取决于所选框架以及具体的算法实现方式。 为了适应资源受限环境下的应用开发工作流，开发者们经常采用一系列技术手段来减少整体消耗，比如通过剪枝(pruning)去除冗余连接；利用量化(quantization)降低表示位宽从而节省带宽与功耗；或是借助专门设计的小型化架构如MobileNetV2或EfficientNet-Lite系列替代原有复杂拓扑结构。 ```python import tensorflow as tf # 加载预训练模型 model = tf.keras.models.load_model('path_to_large_model') # 获取模型概要信息 model.summary() ``` 上述代码片段展示了如何加载一个预先训练完成的大规模深度学习模型，并打印出有关该模型内部各层配置及其对应参数量的信息摘要表单。这对于初步估算目标平台能否承载指定AI解决方案至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值