Skip to content

[Question]: 关于多次运行Dual VLN的val-unseen结果不同波动的问题 #360

Description

@SuperDragonXu

Question

您好,感谢作者开源这项优秀的工作!

我已经按照仓库提供的步骤完成了 InternVLA-N1 的部署,并成功在 R2R val-unseen 上进行了评测。

不过我遇到了一个疑问:

相同的 checkpoint、相同的数据集和配置下,多次运行 evaluation 得到的 SR(以及 SPL 等指标)会有一定波动,而论文中给出的结果是一个固定的数值。

想请教一下:

  1. 论文中的结果是固定随机种子后单次 evaluation 得到的吗?还是多次运行取平均值或最大值?
  2. 如果是固定随机种子,方便告知需要固定哪些随机源(如 Python、NumPy、PyTorch、CUDA 等)吗?

非常感谢!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Fields

    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions