When Continue Learning Meets Multimodal Large Language Model A Survey
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
Recent Advances of Multimodal Continual Learning A Comprehensive Survey
2025-11-16
多模态类增量学习
2025-11-16
Continual Learning with Pre-Trained Models A Survey
0. 摘要在当今世界的应用中，经常面临流数据，这要求学习系统随着数据的演变而吸收新知识。持续学习（Continual Learning, CL）旨在实现这一目标，并同时克服在学习新知识时对以前知识的巨大遗忘。典型的CL方法从零开始构建模型以适应新数据。然而，随着预训练模型（Pre-Trained Models, PTM）时代的来临，在利用PTMs的强大表示能力进行CL方面激发了巨大的研究兴趣。本文综述了基于PTM的CL的最新进展。我们将现有方法分为三个不同的组，并提供了它们之间的相似性、差异性以及各自的优势和劣势的比较分析。此外，我们提供了一个实证研究，比较了各种最先进方法，突出了比较中...
2025-11-16
Continual Learning With Knowledge Distillation A Survey
0. 摘要持续学习中的首要挑战是缓解灾难性遗忘，使模型在学习新任务的同时保留对先前任务的知识。知识蒸馏（KD）作为一种正则化方法，因其在学习新任务时通过模仿早期模型的输出来保持模型在先前任务上的性能而受到广泛关注，从而减少遗忘。本文对图像分类领域中采用 KD 的持续学习方法进行了全面调查。我们详细分析了 KD 在持续学习方法中的应用，并将其应用分为三种不同的范式。此外，我们根据所使用的知识源类型对这些方法进行了分类，并从损失函数的角度深入探讨了 KD 如何巩固持续学习中的记忆。我们还通过在 CIFAR-100、TinyImageNet 和 ImageNet-100 数据集上对十种集成 K...
2025-11-16
不平衡类增量学习综述
CVPR2024 GR Gradient Reweighting: Towards Imbalanced Class-Incremental Learning 梯度加权让类增量学习更平衡！（CVPR 2024）
2025-11-16
PROOF
Paper 0. 摘要类别增量学习（Class-Incremental Learning, CIL）或持续学习是一种在现实世界中非常需要的能力，它要求学习系统在适应新任务的同时，不遗忘先前的任务。虽然传统的 CIL 方法侧重于通过视觉信息来掌握核心特征，但近年来，视觉语言模型（Vision-Language Models, VLM）的进展展示了在文本信息帮助下学习通用表示的潜力。然而，当持续地引入新类别进行训练时，VLM 往往会遭遇对先前知识的灾难性遗忘。将 VLM 应用于 CIL 提出了两个主要挑战：1）如何在不遗忘的情况下适应模型；2）如何充分利用多模态信息。为此，我们提出了 ...