WA
Maintaining discrimination and fairness in class incremental learning
RanPAC
0. 摘要持续学习（Continual Learning, CL）的目标是在非平稳的数据流中逐步学习不同的任务（如分类），而不遗忘旧任务。大多数 CL 工作专注于在从头学习的框架下应对灾难性遗忘。然而，随着基础模型的日益普及，配备了信息丰富表示的预训练模型已可用于各种下游需求。基于预训练模型的几种 CL 方法已经被探索，要么直接使用预提取的特征（这使得弥合分布差距具有挑战性），要么结合适配器（可能面临遗忘问题）。在本文中，我们提出了一种简洁而有效的方法，用于利用预训练模型进行 CL。鉴于遗忘发生在参数更新期间，我们考虑了一种替代方法，即利用无需训练随机投影器和类原型累积，从而绕过该问题。...
ELI
0. 摘要深度学习模型在增量学习新任务时往往会遗忘先前学到的知识。这种行为的发生是因为为新任务优化的参数更新可能与适合旧任务的更新不一致。由此导致的潜在表示不匹配会导致遗忘。在本工作中，我们提出了 ELI（基于能量的潜在对齐器用于增量学习），它首先学习潜在表示的能量流形，使得先前任务的潜在表示具有低能量值，而当前任务的潜在表示具有高能量值。这种学习到的流形用于抵消增量学习过程中发生的表示偏移。我们提出的方法提供的隐式正则化可以作为现有增量学习方法的即插即用模块。我们通过在 CIFAR-100、ImageNet 子集、ImageNet 1k 和 Pascal VOC 数据集上的广泛评估验证...
EA
0. 摘要在类别增量学习（Class Incremental Learning, CIL）中，模型需要能够持续学习新的类别。然而，标准的深度神经网络（DNNs）会遭受灾难性遗忘的问题。最近的研究表明，类别不平衡是导致 CIL 中灾难性遗忘的关键因素。本文从基于能量的模型（Energy-Based Model, EBM）的角度出发，理论上证明了类别的自由能量与标签分布是对齐的，因此在追求“平衡”性能时，不同类别的能量应接近。然而，我们发现 CIL 训练的模型中存在严重的能量偏差现象。为了消除这种偏差，我们提出了一种简单而有效的方法，称为能量对齐（Energy Alignment），该方法仅...
ESN
0. 摘要本文关注增量学习阶段中普遍存在的性能不平衡问题。为了避免明显的阶段学习瓶颈，我们提出了一种全新的基于阶段隔离的增量学习框架，该框架利用一系列阶段隔离的分类器来执行每个阶段的学习任务，而不受其他阶段的干扰。具体而言，为了公正地聚合多个阶段分类器为一个统一的分类器，我们首先引入了一种温度控制的能量度量来指示阶段分类器的置信度水平。接着，我们提出了一种基于锚点的能量自归一化策略，以确保阶段分类器在相同的能量水平上工作。最后，我们设计了一种基于投票的推理增强策略来实现鲁棒的推理。所提出的方法无需记忆缓冲区，并且可以适用于几乎所有的持续学习场景。我们在四个大型基准数据集上评估了该方法，大...
小样本类增量学习论文阅读
Graph-Based MethodsTOPIC https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123640256.pdf `TOPIC`，即 `TOpology-Preserving knowledge InCrementer` 是一种基于图的增量小样本学习器。作者将每个增量类视为一个新节点，将其插入到已存在的基础分类器嵌入的完全连接图中。它们根据成对关系将信息从基础分类器节点传播到新分类器的节点当中，同时通过分类器嵌入的相似度进行衡量。此外，为了防止图漂移并保留初始图拓扑，作者采用了 anchor loss ...
无监督类增量学习
半监督增量学习首先，让我们先学习下半监督式的增量学习，其旨在通过利用未标记的数据来减少对标签的依赖。常规的做法是先利用一小部分带有标签的数据集训练出一个深度学习模型，然后利用该模型对未标记的数据打上标签。通常，我们将这种用非人工标注的标签信息称之为——伪标签(pseudo labels)。 因此，根据未标记数据的类型，我们可以简单的划分为三种类型： Within-data，即属于同一份数据集内的没有打标签的那部分数据； Auxiliary-data，即辅助数据，例如大家从网络上爬下来的数据； Test-data，即最简单的测试集数据 其中，Within-data 需要模型从头开始训练...
FastApi 部署调用
环境准备本文基础环境如下： 123456----------------ubuntu 22.04python 3.12cuda 12.1pytorch 2.3.0---------------- 本文默认学习者已安装好以上 Pytorch(cuda) 环境，如未安装请自行安装。 首先 pip 换源加速下载并安装依赖包 123456789101112# 升级pippython -m pip install --upgrade pip# 更换 pypi 源加速库的安装pip config set global.index-url https://pypi.tuna.tsinghua.ed...
Langchain 接入
环境准备本文基础环境如下： 123456----------------ubuntu 22.04python 3.12cuda 12.1pytorch 2.3.0---------------- 本文默认学习者已安装好以上 Pytorch(cuda) 环境，如未安装请自行安装。 pip 换源加速下载并安装依赖包 12345678910# 升级pippython -m pip install --upgrade pip# 更换 pypi 源加速库的安装pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/si...