请问推理需要多少显存

[Jandown]

请问推理需要多大显存，还有使用CPU卸载需要多少显存

[AIFSH]

12gb 左右就行
#6

[Ephemeral182]

Hi，感谢关注。 我们的推理用上cpu offload, 24的显卡是可以推理的。

[Jandown]

12gb 左右就行 #6

这是工作流吧。我是说直接用webui

[Jandown]

Hi，感谢关注。 我们的推理用上cpu offload, 24的显卡是可以推理的。

能否继续优化下，让消费级显卡也能体验下，感谢

[Ephemeral182]

我们后续会尝试优化的,hf上也可以直接体验demo

[Jandown]

我们后续会尝试优化的,hf上也可以直接体验demo

2025-06-30 17:08:41,788 - INFO - Using device: cuda (NVIDIA GeForce RTX 4090)
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 165.92it/s]
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████| 3/3 [00:05<00:00, 1.70s/it]
Loading pipeline components...: 57%|████████████████████████████████████████████ | 4/7 [00:06<00:03, 1.30s/it]You set add_prefix_space. The tokenizer needs to be converted from the slow tokenizers
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.17s/it]
Loading pipeline components...: 100%|█████████████████████████████████████████████████████████████████████████████| 7/7 [00:09<00:00, 1.30s/it]
2025-06-30 17:08:57,978 - INFO - Loading custom Transformer from directory: checkpoints/PosterCraft-v1_RL
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████| 3/3 [00:05<00:00, 1.68s/it]

实测，4090推理加载PosterCraft这里显存峰值到了30G就OOM了

[Adorablepet]

如果纯GPU推理的话，需要多大的显卡呢？

[Ephemeral182]

如果纯GPU推理的话，需要多大的显卡呢？

不用cpu offload得话要27-28g, 用的话24g以内

[fangxuehouwuming]

@Ephemeral182 你好，请问训练的时候， Region-aware Calibration 损失里的 weight map 是怎么计算并且传进去的？