大模型推理显存计算器

计算原理

大模型的显存占用主要由以下几个因素决定：

1. 参数规模：以 Llama 3.1 为例，7B 即约 70 亿个浮点参数，每个参数根据精度占用不同字节数。
2. 量化精度：FP32 每参数 4 字节，FP16/BF16 为 2 字节，INT8 为 1 字节，INT4 为 0.5 字节。精度越低，显存越少，但推理质量也会有所下降。
3. 推理开销：运行时还需存储激活值、KV cache 及框架本身占用，通常额外需要 10%–30% 显存。

计算公式：权重显存 (GB) = 参数量 (B) × 字节数/参数（使用十进制 GB，1 GB = 10⁹ 字节）。

各精度字节对照

训练显存

训练时还需存储梯度、优化器状态（Adam 需要 2 份动量）等，总显存通常是推理的 12–20 倍。本工具仅计算推理阶段，训练场景不在此工具的计算范围内。