kespeech 数据集分布不平衡，并且有train_phase1和train_phase2两个目录，请问怎么训练的

[chengjunjiecn]

1. 数据不平衡，如图，普通话占很多，
   

2. 两个目录中只有train_phase1有方言，train_phase2的目录全部是普通话

我基于pretrain_base进行微调，用的100h的文件模板，在kespeech的test上错误率是 18%，离你们的 10.9%有很大差距，

请问能介绍下怎么训练的吗，

1. 两个目录一起加起来全部训练？还是不要train_phase2
2. 先训练普通话，再混入其他?
3. 还是有其他数据处理方案呢?
4. 谢谢

[TTTdas]

1. 数据不平衡，如图，普通话占很多，
   
2. 两个目录中只有train_phase1有方言，train_phase2的目录全部是普通话

我基于pretrain_base进行微调，用的100h的文件模板，在kespeech的test上错误率是 18%，离你们的 10.9%有很大差距，

请问能介绍下怎么训练的吗，

1. 两个目录一起加起来全部训练？还是不要train_phase2
2. 先训练普通话，再混入其他?
3. 还是有其他数据处理方案呢?
4. 谢谢

两个phase混合后shuffle训练，没有额外的数据处理。可以看一下分别的cer，哪个方言上差一些？另外是使用的base_audio_finetune_140h.yaml 这个参数设置吧？

[chengjunjiecn]

感谢回复。
是的，140那个，只根据我的显存把200000改为了40000，其他没变。
我再试下

[TTTdas]

感谢回复。 是的，140那个，只根据我的显存把200000改为了40000，其他没变。 我再试下

max_tokens改变相当于减小了batch_size，如果要一致的话，需要相应扩大update_freq

[chengjunjiecn]

好的，我也改下。
另外请问下：
1.字典是自己把训练，测试，和验证集的汉字去重后，制作的，这样可以吗，有没更精细的要求，比如出现几次才需要加在字典里
2. 这个特殊字符 0也需要加把
3. 还有字段的ltr，char有区别吗，我是用的默认的ltr，我查到是对英文字母适应的，对汉字是否也可以

[TTTdas]

好的，我也改下。 另外请问下： 1.字典是自己把训练，测试，和验证集的汉字去重后，制作的，这样可以吗，有没更精细的要求，比如出现几次才需要加在字典里 2. 这个特殊字符 0也需要加把 3. 还有字段的ltr，char有区别吗，我是用的默认的ltr，我查到是对英文字母适应的，对汉字是否也可以

1. 全部合并去重后就可以了，不需要按字频来添加。其实严格来说测试集里的汉字不应该加到字典里的，这样在测试中如果测试集中有不在字典里的汉字，就统一映射为unk了。
2. 需要加的，是blank的对应
3. 用ltr就好

另外我在finetune的那版模型里，提供了一个大的字典，也可以直接用那个字典

[chengjunjiecn]

好的，我试试，再次感谢