关于验证评估的问题

[island-369]

1、在text2sql任务的评估验证阶段，作为标准答案的sql和模型生成的sql，在数据库里执行出来的结果，如果字段名不一样，或者字段数有多有少，或者字段顺序或者数据行顺序不一样，但其实可能是对的，这种该怎么验证。还是直接当作错的
2、能否提供用于结果验证的DatabaseManager代码

[TechNomad-ds]

您好，针对第一个问题，在验证过程中，我们确实会直接比较标准答案 SQL 与模型生成 SQL 的执行结果。在比较之前，我们会先对两者的结果进行排序。如果结果不一致，则判定为错误。
尽管多出来的字段可能不影响用户获取数据，但与用户的检索意图仍存在偏差，这在模型训练中是不可接受的。您的观点非常合理：虽然都属于错误，但“多出字段”和“缺少字段”的性质确实不同。因此，在某些场景下（例如强化学习训练），我们会给予“多出字段”部分分数，而“缺少字段”则无法得分，具体取决于实际应用需求。

关于第二个问题，我们的 DatabaseManager 代码已经集成到开源工具 DataFlow 中，作为 text2sql pipeline 的重要组成部分，用于辅助合成数据。
您可以通过以下方式访问：

1. 执行 git clone https://github.com/OpenDCAI/DataFlow
2. DatabaseManager 相关代码位于 DataFlow/dataflow/utils/text2sql/ 路径下。