LUCIR
Learning a unified classifier incrementally via rebalancing
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
CoFiMA
Weighted Ensemble Models Are Strong Continual Learners0. 摘要在这项工作中，我们研究了持续学习（Continual Learning, CL）问题，目标是在一系列任务上学习一个模型，假设在学习当前任务数据时，之前任务的数据不可用。持续学习本质上是在学习新任务（即可塑性）和保持先前学习概念的性能（即稳定性）之间进行平衡。为了解决稳定性与可塑性之间的权衡问题，我们提出对先前任务和当前任务的模型参数进行加权集成。这种加权集成模型，我们称之为持续模型平均（CoMA），通过利用可塑性在当前任务上获得高准确率，同时不会偏离先前的权重配置太远，从...
2025-11-16
LAE
0. 摘要“预训练 → 下游适应”为持续学习（Continual Learning, CL）带来了新的机遇和挑战。尽管最近的最先进 CL 方法通过参数高效调优（Parameter-Efficient-Tuning, PET）适应范式取得了成功，但仅探索了提示（prompt）方法，限制了其仅适用于 Transformer 模型。本文将提示视为 PET 的一种实例，并提出了一种通用的 PET 持续学习框架，称为学习 - 积累 - 集成（Learning-Accumulation-Ensemble, LAE）。PET（例如使用 Adapter、LoRA 或 Prefix）可以用更少的参数和资源...
2025-11-16
DualPrompt
DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning Code | ECCV 2022 大模型译 :arrow_down:0. 摘要连续学习的目标是使单个模型能够无需灾难性遗忘地学习一系列任务。顶尖的方法通常需要一个复习缓冲区来存储过去的原始样本以进行经验重放，然而，由于隐私和内存限制，这限制了它们的实际价值。在这项工作中，我们提出了一个简单而有效的框架，DualPrompt，它学习一组微小的参数，称为提示（prompts），以正确指导预训练模型顺序学习任务，而不需要缓冲过去的样本。Dual...
2025-11-16
SDC
Semantic Drift Compensation for Class-Incremental Learning0. 摘要深度网络的类增量学习（Class-Incremental Learning）旨在通过连续增加需要分类的类别数量来实现持续学习。在训练过程中，网络每次仅能访问一个任务的数据，其中每个任务包含若干类别。在这种情况下，网络会遭遇“灾难性遗忘”（Catastrophic Forgetting），即对先前任务的性能显著下降。 大多数方法针对分类网络研究了这一情景，其中每当新任务到来时，网络的分类层必须添加额外的权重以适应新类别。 嵌入网络具有天然的优势，可以在无需添...
2025-11-16
RKR
Rectification-Based Knowledge Retention for Task Incremental LearningTPAMI 2024 | 无需重训练即可掌握新技能，深度学习模型实现终身学习革命！ 摘要在任务增量学习问题中，深度学习模型在训练新类别/任务时会遭受之前见过的类别/任务的灾难性遗忘。当一些测试类别不属于训练类集时，这个问题变得更加困难，即任务增量广义零样本学习问题。我们提出了一种新的方法来解决非零样本和零样本设置中的任务增量学习问题。我们提出的方法，称为基于校正的知识保留（Rectification-based Knowledg...
2025-11-16
CPrompt
0. 摘要持续学习使模型能够自主适应不断变化的环境或数据流，而不会忘记旧知识。基于提示的方法建立在冻结的预训练模型上，以高效地学习任务特定的提示和分类器。现有的基于提示的方法在训练和测试之间存在不一致，限制了其有效性。本文揭示了两种类型的不一致性。测试预测是从所有分类器中得出的，而训练仅关注当前任务分类器，缺乏整体对齐，导致分类器不一致。提示不一致表明测试期间选择的提示可能不对应于训练期间与此任务相关的提示。本文提出了一种新的基于提示的方法，称为一致提示（CPrompt），以实现更对齐的训练和测试。具体来说，所有现有的分类器都参与提示训练，从而实现分类器一致性学习。此外，提出提示一致性学...