Epoch

发表于2025-11-16|更新于2026-03-01|AI深度学习调参指南

|浏览量:

Epoch number和Early stopping是息息相关的，需要输出loss看一下，到底是什么epoch时效果最好，及时early stopping。
Epoch越大，会浪费计算资源；epoch太小，则训练模型提取特征没到极致。

文章作者: Hongwei Zhao

文章链接: https://geeks-z.github.io/Blog/2025/11/16/AI/999.%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E8%B0%83%E5%8F%82%E6%8C%87%E5%8D%97/08.Epoch/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！

AI 深度学习调参指南

相关推荐

ReLu、Sigmoid、Softmax、Tanh是最常用的4个激活函数。对于输出层，常用sigmoid和softMax激活函数，中间层常用ReLu激活函数，RNN常用Tanh激活函数。

数据量太大的情况下，可以先用1/10，1/100的数据先去估算一下训练或者推理时间，心里有个底。视觉问题一定要使用数据增强。一定要进行数据预处理，把数据分布分散到均值为0，方差为1的区间，利于训练模型。

选择模型架构总结：在开始一个新项目时，尽量重用有效的模型。首先选择一个完善且常用的模型架构来开始工作。这样可以尽早让模型进入工作状态，之后再构建自定义模型也是可行的。模型架构通常具有各种超参数，用于确定模型的大小和其他细节（例如层数、层宽度、激活函数类型）。因此，选择架构实际上意味着选择一整个系列的各种模型（每个模型都有不同的超参数设置）。如果可以的话，请尝试找到一篇尽可能接近手头问题的相关论文，并将复现该论文中的模型作为起点。数据量少的时候，最好使用带预训练参数（如Imagenet）的模型去微调。

预训练参数是最好的参数初始化方式，其次是Xavir。

选择优化器总结：从针对手头问题类型的最常用的优化器开始。没有一个优化器是适用于所有类型的机器学习问题和模型架构的‘最佳’优化器。即使只是比较优化器的性能也是一项艰巨的任务。我们建议坚持使用成熟、流行的优化器，尤其是在开始新项目时。理想情况下，选择用于同类问题的最常用优化器。做好关注选择的优化器的 *所有* 超参数的准备。具有更多超参数的优化器可能需要更多的调优工作才能找到最佳配置。当我们试图找到各种其他超参数（例如架构超参数）的最佳值时，将优化器超参数视为冗余参数是有意义的，这在项目的初始阶段尤其重要。在项目的初始阶段，从更简单的优化器开始会更可取（例...

batch size不能太大，也不能太小；太小会浪费计算资源，太大则会浪费内存；一般设置为16的倍数。对于推荐来说32-64-128-512测试效果再高一般也不会正向了，再低训练太慢了。 Learning rate和batch size是两个重要的参数，而且二者也是相互影响的，在反向传播时直接影响梯度。一般情况下，先调batch size，再调learning rate。选择BatchSize总结： Batch Size决定训练速度，并且不应该被直接用于调整验证集性能。通常来说，可用硬件支持的最大Batch Size是较为理想的数值。 Batch Size是决定训练时间和计算资源...