FSDP2训练保存的lora权重文件为空

[PlutoQyl]

elif self.accelerator.is_fsdp2:
            # FSDP/FSDP2
            from torch.distributed.checkpoint.state_dict import StateDictOptions, get_model_state_dict
            if state_dict_keys is not None:
                # Temporarily mark unwanted params as frozen
                # This `requires_grad` trick does not work correctly. Don't know why.
                original_state = {}
                
                # Freeze unwanted params
                for name, param in model.named_parameters():
                    original_state[name] = param.requires_grad
                    param.requires_grad = is_param_match_key(name, state_dict_keys)
                
                options = StateDictOptions(
                    full_state_dict=True,
                    broadcast_from_rank0=True,
                    cpu_offload=True,
                    ignore_frozen_params=True,
                )
                state_dict = get_model_state_dict(model, options=options)
                
                # Restore original state
                for name, param in model.named_parameters():
                    param.requires_grad = original_state[name]

看到代码有这一段，不知道作者现在是否有解决办法？我在训练Online DPO时发现这个问题（zero2在H20上训练Flux2klein-9B会爆显存）

[MetaInsight7]

FSDP1 和 ZeRO-2（以及普通 DDP）的做法是：

1. 先 gather 全量 state_dict（全部参数）
2. 然后在第 1166 行用 strict=False 子串过滤，只保留含 lora_A/lora_B 的 key

FSDP2 不一样的原因是：get_model_state_dict 支持 ignore_frozen_params=True，可以在 gather 阶段就跳过冻结参数，避免 gather 全量模型的内存开销。所以代码用了 requires_grad trick——先把非 LoRA 参数标记为 frozen，让
PyTorch 在 gather 时直接跳过它们。

这就是为什么 FSDP2 有特殊逻辑：它是一个优化，避免把几十 GB 的冻结参数全 gather 到 rank0。只是匹配逻辑写错了。

所以方案 A（strict=False）是正确修复——保留了这个内存优化意图，只修了匹配 bug。

[MetaInsight7]

src/flow_factory/models/abc.py 第1166 行strict改成False

        # Filter by keys.
        state_dict = {
            k: v for k, v in state_dict.items()
            if is_param_match_key(k, state_dict_keys, strict=False)
        }

        return state_dict

我也遇到了同样的问题，你看看这样能否解决？