COIL
0. 摘要传统的学习系统在封闭世界中针对固定数量的类别进行训练，并且需要预先收集数据集。然而，在现实世界的应用中，新的类别经常出现并且需要增量学习。例如，在电子商务中，每天都会出现新的产品类型；在社交媒体社区中，新的话题频繁出现。在这种情况下，增量模型应能够一次性学习多个新类别而不忘记旧类别。我们发现增量学习中旧类别和新类别之间存在强相关性，这种相关性可以用于关联和促进不同学习阶段的相互学习。因此，我们提出了类增量学习的协同传输（COIL），它通过学习类别间的语义关系来关联增量任务。具体来说，协同传输包括两个方面：前瞻性传输试图通过最优传输的知识增强旧分类器以实现快速模型适应；回顾性传输...
LUCIR
Learning a unified classifier incrementally via rebalancing
PRD
Prototype-sample relation distillation: towards replay-free continual learning
FCS
FCS: Feature Calibration and Separation for Non-Exemplar Class Incremental Learning CVPR 2024 | Code Kimi全文翻译 :arrow_down:0. 摘要非范例类增量学习（NECIL）涉及在没有之前遇到的旧类别样本的情况下，对一系列数据进行分类模型的学习。这样的严格约束总是会导致对所学知识的灾难性遗忘。目前，现有方法要么采用知识蒸馏技术，要么保留类别原型来维持先前的知识。然而，仍然存在两个关键问题。一方面，随着模型的不断更新，旧类别保留的原型将不可避免地从新模型的特征空间中的合适位置漂...
SDC
Semantic Drift Compensation for Class-Incremental Learning0. 摘要深度网络的类增量学习（Class-Incremental Learning）旨在通过连续增加需要分类的类别数量来实现持续学习。在训练过程中，网络每次仅能访问一个任务的数据，其中每个任务包含若干类别。在这种情况下，网络会遭遇“灾难性遗忘”（Catastrophic Forgetting），即对先前任务的性能显著下降。 大多数方法针对分类网络研究了这一情景，其中每当新任务到来时，网络的分类层必须添加额外的权重以适应新类别。 嵌入网络具有天然的优势，可以在无需添...
RKR
Rectification-Based Knowledge Retention for Task Incremental LearningTPAMI 2024 | 无需重训练即可掌握新技能，深度学习模型实现终身学习革命！ 摘要在任务增量学习问题中，深度学习模型在训练新类别/任务时会遭受之前见过的类别/任务的灾难性遗忘。当一些测试类别不属于训练类集时，这个问题变得更加困难，即任务增量广义零样本学习问题。我们提出了一种新的方法来解决非零样本和零样本设置中的任务增量学习问题。我们提出的方法，称为基于校正的知识保留（Rectification-based Knowledg...
FA
Memory-Efficient Incremental Learning Through Feature Adaptation0. 摘要我们提出了一种增量学习的方法，该方法保存了来自先前学习类别的训练图像的特征描述符，而非图像本身，这与大多数现有方法不同。通过保存低维的特征嵌入，可以显著减少内存占用。假设模型会随着新的类别逐步更新，每次仅有新数据可用。这需要在无法访问相应原始训练图像的情况下，将先前存储的特征向量适配到更新后的特征空间。特征适配是通过多层感知机（MLP）学习的，该模型以训练图像上原始网络与更新网络的输出特征对作为训练数据。实验验证表明，这种变换对先前类别的特征具有良好的...
CCLL
Calibrating CNNs for Lifelong Learning
ADC
0. 摘要持续学习方法通常面临灾难性遗忘的问题，尤其是在不存储先前任务样本的方法中，这一问题尤为严重。为了减少特征提取器的潜在漂移，现有的无样本方法通常在第一个任务显著大于后续任务的情况下进行评估。然而，在更具挑战性的设置中，尤其是在第一个任务较小的情况下，这些方法的性能会大幅下降。为了解决无样本方法中的特征漂移估计问题，我们提出通过对当前样本进行对抗性扰动，使其嵌入在旧模型嵌入空间中接近旧类原型。然后，我们利用这些扰动图像估计从旧模型到新模型的嵌入空间漂移，并相应地补偿原型。我们利用了对抗样本在持续学习设置中从旧特征空间到新特征空间的可迁移性。这些图像的生成简单且计算成本低。实验表明，...
DYSON
0. 摘要本文聚焦于一个具有挑战性的问题——在线任务无关的类增量学习（OTFCIL）。与现有方法从数据流中持续学习特征空间不同，我们提出了一种新的计算 - 对齐范式。该范式首先为现有类计算一个最优几何结构（即类原型分布），并在新类出现时更新它，然后通过将深度神经网络模型的特征空间与最优几何结构对齐来进行训练。为此，我们开发了一种新的动态神经坍缩（DNC）算法来计算和更新最优几何结构。DNC 在新类出现时扩展几何结构而不损失其最优性，并确保旧类原型的漂移距离具有明确的上界。在此基础上，我们提出了一种新的动态特征空间自组织（DYSON）方法，包含三个主要组件：1）特征提取器，2）动态特征 -...
BiC
Large scale incremental learning