为什么会一直降低学习率反复运行，怎么关闭这部分功能

[kooper9934]

为什么会一直降低学习率反复运行，怎么关闭这部分功能

[tianzhou2011]

我不太明白什么意思，lr是可以调的，early stop也可以设置，不同的lr policy 也可以自己写的

[kooper9934]

这个问题我解决了，我想请问下就是为什么我很多数据运行出来结果都是波动很小，趋于一条平稳的直线，是数据本身的问题吗

[Yanfeng-Yang-0316]

这个问题我解决了，我想请问下就是为什么我很多数据运行出来结果都是波动很小，趋于一条平稳的直线，是数据本身的问题吗

Transformer就是这样的，容易进入局部最小。一个解决方案是用小batch size和小的学习率，每个epoch更新很多次。