数据
- 数据量太大的情况下，可以先用1/10，1/100的数据先去估算一下训练或者推理时间，心里有个底。
- 视觉问题一定要使用数据增强。
- 一定要进行数据预处理，把数据分布分散到均值为0，方差为1的区间，利于训练模型。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
学习率
学习率最好是从高到低2倍速度递减一般从0.01开始。 如果使用微调，则learning rate设置为0.0001较好。learning rate设置上有很多trick，包括cosing learning rate等。 最好的学习率衰减方案是什么 这是一个开放性问题。目前尚不清楚如何构建一组严格的实验来自信地回答最佳的LR 衰减方案是什么。 虽然我们不知道最好的方案是什么，但我们相信尝试一些（非恒定的）方案很重要并且调整它很重要。 在优化过程中，不同的学习率在不同的时间效果最好。有某种衰减方案可以使模型更有可能达到良好的学习率。 我应该使用哪种学习率衰减方案作为默认值？ 我们的偏好...
2025-11-16
优化器
选择优化器总结： 从针对手头问题类型的最常用的优化器开始。 没有一个优化器是适用于所有类型的机器学习问题和模型架构的‘最佳’优化器。即使只是 比较优化器的性能也是一项艰巨的任务。 我们建议坚持使用成熟、流行的优化器，尤其是在开始新项目时。 理想情况下，选择用于同类问题的最常用优化器。 做好关注选择的优化器的 *所有* 超参数的准备。 具有更多超参数的优化器可能需要更多的调优工作才能找到最佳配置。 当我们试图找到各种其他超参数（例如架构超参数）的最佳值时，将优化器超参数视为冗余参数是有意义的，这在项目的初始阶段尤其重要。 在项目的初始阶段，从更简单的优化器开始会更可取（例...
2025-11-16
模型
选择模型架构总结： 在开始一个新项目时，尽量重用有效的模型。 首先选择一个完善且常用的模型架构来开始工作。这样可以尽早让模型进入工作状态，之后再构建自定义模型也是可行的。 模型架构通常具有各种超参数，用于确定模型的大小和其他细节（例如层数、层宽度、激活函数类型）。 因此，选择架构实际上意味着选择一整个系列的各种模型（每个模型都有不同的超参数设置）。 如果可以的话，请尝试找到一篇尽可能接近手头问题的相关论文，并将复现该论文中的模型作为起点。 数据量少的时候，最好使用带预训练参数（如Imagenet）的模型去微调。
2025-11-16
深度学习调参指南
tuning_playbook_zh_cn 深度学习调参有哪些技巧？ 深度学习15条调参经验 可调参数：Loss function、Learning rate、Batch size、Epoch number、Optimizer、Activation function、Weights initialization、使用Regularization、Validation、使用的GPU个数 Dropout虽然思想很简单，但效果出奇的好，首选0.5。 Batch normalization很好用。 如果在train模型时，loss可以降到非常低，那么模型的学习能力是够的；如果tra...
2025-11-16
激活函数
ReLu、Sigmoid、Softmax、Tanh是最常用的4个激活函数。 对于输出层，常用sigmoid和softMax激活函数，中间层常用ReLu激活函数，RNN常用Tanh激活函数。
2025-11-16
损失函数
Focal loss对于极大不平衡的数据集确实有奇效，其中gamma因子可以成10倍数衰减 Loss function是Model和数据之外，第三重要的参数。具体使用MSE、Cross entropy、Focal还是其他自定义，需要具体问题具体分析。