qwenvl 精度阈值问题

[CokeDong]

厂商反馈：qwen2.5vl的loss base，readme是以GBS64 TP1PP1DP8， gradient accumulation steps是8
在GBS64 TP1PP4DP2， gradient accumulation steps是32，会和readme的base有些差异（不在5%以内了）

[CokeDong]

[CokeDong]

[CokeDong]

需要同步确认：qwen llm是否受GA影响较大？ @CokeDong

[CokeDong]

qwenvl实验 @chenyuxiao123

[chenyuxiao123]

qwenvl实验结果

tp-1-pp-1.log
tp-1-pp-2.log
tp-1-pp-4.log
tp-2-pp-1.log
tp-2-pp-2.log
tp-2-pp-4.log
tp-4-pp-1.log
tp-4-pp-2.log

[KKCDD]

qwenvl实验结果

tp-1-pp-1.log tp-1-pp-2.log tp-1-pp-4.log tp-2-pp-1.log tp-2-pp-2.log tp-2-pp-4.log tp-4-pp-1.log tp-4-pp-2.log

看起来对比loss需要ga一致，比如tp1pp4，tp2pp2, tp4pp1 ga是一样的，loss就是一致的1.68(1.69)

[CokeDong]

Model	#-GPUs	TP	PP	loss
qwenvl	8	1	1
qwenvl	8	1	2	490 1.7630 1.5887 0.1743 9.89 % 491 1.5188 1.6698 -0.1510 -9.94 % 492 1.6008 1.8169 -0.2160 -13.50 % 493 1.6167 1.5838 0.0329 2.03 % 494 1.5052 1.6153 -0.1100 -7.31 % 495 1.6635 1.5017 0.1618 9.72 % 496 1.5633 1.7255 -0.1622 -10.38 % 497 1.4708 1.5744 -0.1036 -7.04 % 498 1.6494 1.5887 0.0607 3.68 % 499 1.5516 1.6388 -0.0872 -5.62 % 500 1.5966 1.5522 0.0443 2.78 %
qwenvl	8	1	4	490 1.7630 1.7695 -0.0066 -0.37 % 491 1.5188 1.5831 -0.0643 -4.24 % 492 1.6008 1.5553 0.0455 2.84 % 493 1.6167 1.7700 -0.1533 -9.48 % 494 1.5052 1.6163 -0.1111 -7.38 % 495 1.6635 1.8301 -0.1666 -10.02 % 496 1.5633 1.6376 -0.0743 -4.75 % 497 1.4708 1.6640 -0.1931 -13.13 % 498 1.6494 1.6091 0.0403 2.44 % 499 1.5516 1.5807 -0.0291 -1.88 % 500 1.5966 1.6873 -0.0907 -5.68 %
qwenvl	8	2	1	490 1.7630 1.5740 0.1889 10.72 % 491 1.5188 1.6880 -0.1692 -11.14 % 492 1.6008 1.8187 -0.2179 -13.61 % 493 1.6167 1.6044 0.0123 0.76 % 494 1.5052 1.6163 -0.1110 -7.38 % 495 1.6635 1.5052 0.1583 9.52 % 496 1.5633 1.7278 -0.1645 -10.52 % 497 1.4708 1.5725 -0.1017 -6.91 % 498 1.6494 1.5902 0.0592 3.59 % 499 1.5516 1.6491 -0.0975 -6.29 % 500 1.5966 1.5405 0.0561 3.51 %
qwenvl	8	2	2	490 1.7630 1.7696 -0.0066 -0.37 % 491 1.5188 1.5873 -0.0685 -4.51 % 492 1.6008 1.5574 0.0435 2.71 % 493 1.6167 1.7669 -0.1502 -9.29 % 494 1.5052 1.6245 -0.1193 -7.92 % 495 1.6635 1.8313 -0.1679 -10.09 % 496 1.5633 1.6392 -0.0759 -4.86 % 497 1.4708 1.6524 -0.1816 -12.35 % 498 1.6494 1.6113 0.0381 2.31 % 499 1.5516 1.5847 -0.0331 -2.13 % 500 1.5966 1.6806 -0.0840 -5.26 %
qwenvl	8	2	4	490 1.7630 1.6325 0.1304 7.40 % 491 1.5188 1.5499 -0.0311 -2.05 % 492 1.6008 1.6561 -0.0552 -3.45 % 493 1.6167 1.6163 0.0004 0.02 % 494 1.5052 1.6696 -0.1643 -10.92 % 495 1.6635 1.5716 0.0918 5.52 % 496 1.5633 1.7424 -0.1791 -11.46 % 497 1.4708 1.5545 -0.0837 -5.69 % 498 1.6494 1.4867 0.1627 9.86 % 499 1.5516 1.5634 -0.0118 -0.76 % 500 1.5966 1.5046 0.0919 5.76 %
qwenvl	8	4	1	490 1.7630 1.7701 -0.0072 -0.41 % 491 1.5188 1.5729 -0.0541 -3.56 % 492 1.6008 1.5412 0.0596 3.73 % 493 1.6167 1.7787 -0.1620 -10.02 % 494 1.5052 1.6163 -0.1110 -7.38 % 495 1.6635 1.8217 -0.1582 -9.51 % 496 1.5633 1.6359 -0.0726 -4.65 % 497 1.4708 1.6663 -0.1955 -13.29 % 498 1.6494 1.6159 0.0335 2.03 % 499 1.5516 1.5700 -0.0184 -1.19 % 500 1.5966 1.6906 -0.0940 -5.89 %
qwenvl	8	4	2	490 1.7630 1.6470 0.1160 6.58 % 491 1.5188 1.5357 -0.0169 -1.11 % 492 1.6008 1.6484 -0.0476 -2.97 % 493 1.6167 1.6173 -0.0006 -0.04 % 494 1.5052 1.6668 -0.1616 -10.73 % 495 1.6635 1.5723 0.0912 5.48 % 496 1.5633 1.7431 -0.1798 -11.50 % 497 1.4708 1.5492 -0.0784 -5.33 % 498 1.6494 1.4956 0.1538 9.33 % 499 1.5516 1.5853 -0.0337 -2.17 % 500 1.5966 1.5077 0.0889 5.57 %

经讨论：数据集较大，step数增大到1000，观察数值稳定性

[CokeDong]

@chenyuxiao123 试试显式fixed random，可参考
1.https://github.com/DeepLink-org/AIChipBenchmark/blob/main/llm/Qwenllm/nemotron_pretraining_qwen3_8b.py#L14C5-L14C13
2.https://github.com/DeepLink-org/AIChipBenchmark/blob/main/llm/Qwenllm/nemotron_pretraining_qwen3_8b.py#L39

[KKCDD]

性能可以按照不同策略的最高来比

对比loss精度的话建议 提供各个GA的loss，即TP * PP数目一样即可，这样可以保证dp size相同optimizer states更新一致，因为llava pretrain这个数据集，图片小且文字多，所以loss收敛不到1以下导致精度在不同ga差异会大。

我们在其他数据集比如docvqa chartqa等图片大 文字少的数据集可以收敛到接近0，这个是由数据集特性和多模态计算特性一起导致的。

所以，建议对比loss精度，需要保持GA一致。

[CokeDong]

性能可以按照不同策略的最高来比

对比loss精度的话建议 提供各个GA的loss，即TP * PP数目一样即可，这样可以保证dp size相同optimizer states更新一致，因为llava pretrain这个数据集，图片小且文字多，所以loss收敛不到1以下导致精度在不同ga差异会大。

我们在其他数据集比如docvqa chartqa等图片大 文字少的数据集可以收敛到接近0，这个是由数据集特性和多模态计算特性一起导致的。

所以，建议对比loss精度，需要保持GA一致。

感谢，我们会综合考虑

[chenyuxiao123]

通过将数据集更换至chartqa进行试验，收敛可以接近于0，但是不同ga之间，在step500时仍存在11.5%的差别，应该是由于多模态模型本身特性导致，因此建议灵活考虑loss精度。