预训练和微调哪个阶段注入知识的？ #31
Description
在05.有监督微调 这一章节中提到微调和预训练都有注入知识，但目前网上对此看似存在不少争议，有一些业内人士指出微调只是对已有知识的重新唤醒，《Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?》这篇论文指出微调时如果用OOD数据微调会导致模型性能下降，不知道作者对此如何看待
{{ message }}
在05.有监督微调 这一章节中提到微调和预训练都有注入知识，但目前网上对此看似存在不少争议，有一些业内人士指出微调只是对已有知识的重新唤醒，《Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?》这篇论文指出微调时如果用OOD数据微调会导致模型性能下降，不知道作者对此如何看待