求问Z-image-turbo在grpo（lora）时的train/ratio_min=1 train/ratio_max=1 train/ratio_mean=1 train/ratio_std=0问题

[hanbaobao950123]

配置文件如下：

default.yaml

训练了400多steps，上图1中ratio一直为1，求问这种情况表示策略没有更新的，但是train_reward如下图2中确实在上升，似乎模型是在更新变好的，求问这是为什么呢？调试的时候是只需要监控train_reward的趋势吗？

[Jayce-Ping]

ratio=1表示训练完全on-policy, 不代表模型是没有更新的. 按照这个配置来说，不应该恒等于1. 这里可能是纵轴范围太大，ratio波动很小显示不出来吧

[hanbaobao950123]

ratio=1表示训练完全on-policy, 不代表模型是没有更新的. 按照这个配置来说，不应该恒等于1. 这里可能是纵轴范围太大，ratio波动很小显示不出来吧

感谢回复！之前看这个issue下的回复应该是一个epoch里，前面一半batches都是on-policy，后面一半batches都是off-policy,但是我训练过程中ratio显示始终是1。
应该不是纵轴范围的问题，如下是导出的train/ratio_mean，数值始终是1

csv (1).csv
另外训练过程打印的如下图所示都是train/ratio_min=1 train/ratio_max=1 train/ratio_mean=1 train/ratio_std=0

可能是什么问题呢？

[Jayce-Ping]

打印出来是1其实可能是显示精度的问题. 你可以试试打印 ratio==1看看bool值.

[hanbaobao950123]

打印出来是1其实可能是显示精度的问题. 你可以试试打印 ratio==1看看bool值.

print(ratio==1,output.log_prob,old_log_prob,output.log_prob - old_log_prob)

打印结果如下：

[Jayce-Ping]

要看后半程的，就是384~768的. 你可以直接把配置文件和这个log + code丢给gemini看看，分析一下有没有off-policy step, 有的话是否是ratio!=1.

[hanbaobao950123]

要看后半程的，就是384~768的. 你可以直接把配置文件和这个log + code丢给gemini看看，分析一下有没有off-policy step, 有的话是否是ratio!=1.

我又重新配置了环境，安装了PyTorch 2.8 + cu129，git clone了最新的项目代码，用examples/grpo/lora/z_image_turbo/default.yaml，为了调试仅修改了max_dataset_size: 48和group_size: 4，打印后半程的ratio，结果如下图，ratio始终还是1（挠头）

[Jayce-Ping]

我也很迷惑了，我后面也验证一下试试.

[hanbaobao950123]

要看后半程的，就是384~768的. 你可以直接把配置文件和这个log + code丢给gemini看看，分析一下有没有off-policy step, 有的话是否是ratio!=1.

我又重新配置了环境，安装了PyTorch 2.8 + cu129，git clone了最新的项目代码，用examples/grpo/lora/z_image_turbo/default.yaml，为了调试仅修改了max_dataset_size: 48和group_size: 4，打印后半程的ratio，结果如下图，ratio始终还是1（挠头）

【更新】测了一下，用examples/grpo/lora/flux1/default.yaml, 结果如下图，FLUX1进行grpo（lora）时候的ratio不会始终是1。

[Jayce-Ping]

我跑了一下Z-Image-Base(和turbo是完全相同的code），Base就是很好的on-policy为1，但turbo不是。我很久之前应该对齐过turbo和base都是1.0. 不知道是哪里出了问题，目前来看更大概率是flow-factory的某个依赖更新导致的。