Rainbow Memory: Continual Learning with a Memory of Diverse Samples

arxiv | CVPR 2021

Code

0.Abstract

image-20230221100004255
  • 本文关注的‘blurry’ task boundary 渐变增量任务（任务间共享类别），过去的类增量持续学习方法中(disjoint)，不同任务中的类别互不交叉
  • 样本的多样性更为重要（diversity of samples）
    • 样本分类不确定性
    • 数据增强

1.Introduction

Contributions

  • a new diversity-aware sampling method for effectively managing the memory with limited capacity by leveraging classification uncertainty——选取多样性的样本放置在 Memory 之中
  • augment the samples in the memory to further enhance the diversity of the samples——Data augmentation 来进行多样化

3.Method

Diversity-Aware Memory Update

  • most discriminative：near the classification boundary

  • most representative：close to the center of the distribution

Diversity Enhancement by Augmentation

image-20221122093212790

那么，如何通过预测概率的变化定义不确定性呢？作者进一步计算预测类别的变化来评估不确定性，具体来说，就是评估多次扰动中，最经常类别的命中次数占总实验次数的比例，形式化如下，其中 $c$ 代表类别，$S_c$ 代表第 c 类的被预测为 top1 的次数，$u(x) $ 不确定行性指标。

即样本经过变换之后，比如遮挡、平移、旋转等等，如果在模型中的输出的结果方差越大，样本越难，则说明此样本越 diverse. (这里作者的解释并不清晰，逻辑关系有点模糊，因为模型经过变换之后在网络中的输出结果不确定，并不能说明这个样本就靠近 decision boundary)

假定样本为$x$，经过 perturbed(这里意思是变换和扰动)的样本为$\hat{x}$, 则$\hat{x}$ 模型预测出的不确定性越高，说明这样本越 diverse.(这里借鉴了主动学习的思想，相当于保留难样本)

image-20221122093252700

按不确定性指标排序后进行均匀间隔采样

Diversity Enhancement by Augmentation

‘mix’ images in the classes of the new tasks and the exemplars of the old classes in the memory

4.Experiments

5.Conclusion

6.Reference

​