损失函数
- Focal loss对于极大不平衡的数据集确实有奇效，其中gamma因子可以成10倍数衰减
- Loss function是Model和数据之外，第三重要的参数。具体使用MSE、Cross entropy、Focal还是其他自定义，需要具体问题具体分析。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
优化器
选择优化器总结： 从针对手头问题类型的最常用的优化器开始。 没有一个优化器是适用于所有类型的机器学习问题和模型架构的‘最佳’优化器。即使只是 比较优化器的性能也是一项艰巨的任务。 我们建议坚持使用成熟、流行的优化器，尤其是在开始新项目时。 理想情况下，选择用于同类问题的最常用优化器。 做好关注选择的优化器的 *所有* 超参数的准备。 具有更多超参数的优化器可能需要更多的调优工作才能找到最佳配置。 当我们试图找到各种其他超参数（例如架构超参数）的最佳值时，将优化器超参数视为冗余参数是有意义的，这在项目的初始阶段尤其重要。 在项目的初始阶段，从更简单的优化器开始会更可取（例...
2025-11-16
Batch Size
batch size不能太大，也不能太小；太小会浪费计算资源，太大则会浪费内存；一般设置为16的倍数。对于推荐来说32-64-128-512测试效果再高一般也不会正向了，再低训练太慢了。 Learning rate和batch size是两个重要的参数，而且二者也是相互影响的，在反向传播时直接影响梯度。一般情况下，先调batch size，再调learning rate。 选择BatchSize总结： Batch Size决定训练速度，并且不应该被直接用于调整验证集性能。通常来说，可用硬件支持的最大Batch Size是较为理想的数值。 Batch Size是决定训练时间和计算资源...
2025-11-16
深度学习调参指南
tuning_playbook_zh_cn 深度学习调参有哪些技巧？ 深度学习15条调参经验 可调参数：Loss function、Learning rate、Batch size、Epoch number、Optimizer、Activation function、Weights initialization、使用Regularization、Validation、使用的GPU个数 Dropout虽然思想很简单，但效果出奇的好，首选0.5。 Batch normalization很好用。 如果在train模型时，loss可以降到非常低，那么模型的学习能力是够的；如果tra...
2025-11-16
模型
选择模型架构总结： 在开始一个新项目时，尽量重用有效的模型。 首先选择一个完善且常用的模型架构来开始工作。这样可以尽早让模型进入工作状态，之后再构建自定义模型也是可行的。 模型架构通常具有各种超参数，用于确定模型的大小和其他细节（例如层数、层宽度、激活函数类型）。 因此，选择架构实际上意味着选择一整个系列的各种模型（每个模型都有不同的超参数设置）。 如果可以的话，请尝试找到一篇尽可能接近手头问题的相关论文，并将复现该论文中的模型作为起点。 数据量少的时候，最好使用带预训练参数（如Imagenet）的模型去微调。
2025-11-16
Epoch
Epoch number和Early stopping是息息相关的，需要输出loss看一下，到底是什么epoch时效果最好，及时early stopping。 Epoch越大，会浪费计算资源；epoch太小，则训练模型提取特征没到极致。
2025-11-16
激活函数
ReLu、Sigmoid、Softmax、Tanh是最常用的4个激活函数。 对于输出层，常用sigmoid和softMax激活函数，中间层常用ReLu激活函数，RNN常用Tanh激活函数。