预训练模型选择

[llh666521]

想请问一下贵公司在选择方言预训练模型的时候选择data2vec2的原因，有做过hubert、wav2vec2和data2vec2的对比吗？data2vec2的优势在哪里？谢谢~

[TTTdas]

想请问一下贵公司在选择方言预训练模型的时候选择data2vec2的原因，有做过hubert、wav2vec2和data2vec2的对比吗？data2vec2的优势在哪里？谢谢~

我们在小数据上训练过这三种模型。在微调阶段，hubert更适合做特征提取器，提取表征训练效果是最好的，但直接拿来finetune效果不好；finetune结果上data2vec2略好于wav2vec2，而且data2vec2训练相比wav2vec2更稳定一些。综合了性能、训练速度和训练稳定度，最终选择的data2vec2