小样本学习论文阅读
A Closer Look at Few-shot Classification
对比了两种分类原则，直接学习分类器权重（Baseline）和余弦相似度分类（Baseline++）。
Training Pipeline
分类器
Mind the Gap Between Prototypes and Images in Cross-domain Finetuning
背景是跨域少样本分类任务。样本级别的嵌入特征和类别原型级别的嵌入特征共享了同一个特征变换，同一个特征变换函数可能会潜在地对信息差异造成负面影响，为此提出了一种简单有效的框架：Contrastive Prototype-image Adaptation。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
小样本学习
Link: 小样本学习——概念、原理与方法简介（Few-shot learning） Few-shot learning (FSL) 在机器学习领域具有重大意义和挑战性，是否拥有从少量样本中学习和概括的能力，是将人工智能和人类智能进行区分的明显分界点，因为人类可以仅通过一个或几个示例就可以轻松地建立对新事物的认知，而机器学习算法通常需要成千上万个有监督样本来保证其泛化能力。原则上我们将FSL方法分为基于生成模型和基于判别模型两种，其中基于元学习的FSL方法值得特别注意。 到目前为止，FSL有一部分比较重要的应用，涵盖了计算机视觉，自然语言处理，音频和语音，强化学习和数据分析等许多研究热点...
2025-11-16
UCL
Universal representation learning from multiple domains for few-shot classification要翻译这篇文章到中文并符合您的要求，我将逐步翻译以下内容，并按照您的格式需求进行整理，包括标题层级、公式用 LaTeX 表示，以及标题和内容之间的空行。请稍等，我将从摘要部分开始翻译。 0. 摘要本文探讨了少样本分类问题，其目标是在仅有少量标注样本的情况下，为先前未见过的类别和领域学习分类器。近期的方法通过使用适配网络对新领域的特征进行对齐，或从多个领域特定的特征提取器中选择相关特征。在本文中，我们提出了一种方法，通过使用适...
2025-11-16
Transformer模型详解_图解最完整版
Transformer模型详解（图解最完整版） 前言Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并注释该论文。 在本文中，我们将试图把模型简化一点，并逐一介绍里面的核心概念，希望让普通读者也能轻易理解。 Attention is All You Need：Attention Is All You Need 1.Transformer 整体结构首先介绍 Tr...
2025-11-16
LSTM
其他RNN Recurrent Neural Networ的架构是可以任意设计的，比如说，它当然是deep(刚才我们看到的Recurrent Neural Networ它只有一个hidden layer)，当然它也可以是deep Recurrent Neural Networ。 比如说，我们把$x^t$ 进去之后，它可以通过一个hidden layer，再通过第二个hidden layer，以此类推(通过很多的hidden layer)才得到最后的output。每一个hidden layer的output都会被存在memory里面，在下一个时间点的时候，每一个hidden layer会...
2025-11-16
Self-Attention-APP
Applications …Self-attention 当然是用得很广，我们已经提过很多次 transformer 这个东西 那我们大家也都知道说，在 NLP 的领域有一个东西叫做 BERT，BERT 里面也用到 Self-attention，所以 Self-attention 在 NLP 上面的应用，是大家都耳熟能详的 但 Self-attention，不是只能用在 NLP 相关的应用上，它还可以用在很多其他的问题上， Self-attention for Speech比如说在做语音的时候，你也可以用 Self-attention，不过在做语音的时候，你可能会对 Self-att...
2025-11-16
正则化
正则化正则化主要用于避免过拟合的产生和减少网络误差。 正则化一般具有如下形式： $$J(w,b)= \frac{1}{m} \sum_{i=1}^{m}L(f(x),y)+\lambda R(f)$$其中，第 1 项是经验风险，第 2 项是正则项， $λ≥0$ 为调整两者之间关系的系数。 第 1 项的经验风险较小的模型可能较复杂（有多个非零参数），这时第 2 项的模型复杂度会较大。 正则化的作用是选择经验风险与模型复杂度同时较小的模型。 常见的有正则项有 L1 正则 和 L2 正则 以及 Dropout ，其中 L2 正则 的控制过拟合的效果比 L1 正则 的好。 ...