符号说明
| 符号 | 维度 | 符号说明 | 默认值 |
|---|---|---|---|
| $A$ | |||
| $B$ | batch size | ||
| $C$ | |||
| $D$ | channels | ||
| $E$ | a controllable expansion factor | 2 | |
| $L$ | length | ||
| $N$ | |||
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
Vision Mamba
论文地址：https://arxiv.org/pdf/2401.09417.pdf项目地址：https://github.com/hustvl/Vim论文标题：Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model
2025-11-16
VMamba
论文标题：VMamba: Visual State Space Model 论文地址: https://arxiv.org/abs/2401.10166 代码地址: https://github.com/MzeroMiko/VMamba
2025-11-16
问题
Selection Mechanism $N$ 何理解 S4中$L$ 如何处理的？S6中$L$ 如何处理的？ S6:$\bar{A}\bar{B}$ 何计算的？ S6: 训练和推理？ Parallel Scan Code
2025-11-16
概述
背景Transformer:以其注意力机制而闻名，其中序列的任何部分都可以动态地与任何其他部分相互作用，特别是具有因果注意力机制的的Transformer，擅长处理序列中的单个元素。但是它们带来了显著的计算和内存成本，与序列长度的平方(L²)成比例。 循环神经网络(rnn): rnn只考虑当前输入和最后一个隐藏状态，按顺序更新隐藏状态。这种方法允许它们潜在地处理无限序列长度和恒定的内存需求。但是rnn的简单性是一个缺点，限制了它们记住长期依赖关系的能力。此外，rnn中的时间反向传播(BPTT)是内存密集型的，并且可能遭受梯度消失或爆炸的影响，尽管有LSTM等创新部分结解决了这个问题。 S...
2025-11-16
分类相关
计算分类准确率123_, preds = torch.max(logits, dim=1) # 获取预测结果correct += preds.eq(targets.expand_as(preds)).cpu().sum() # 计算分类正确样本个数 CosineLinear12345678910111213141516171819202122232425262728293031class CosineLinear(nn.Module): def __init__(self, in_features, out_features, nb_proxy=1, to_reduce=Fals...
2025-11-16
局部极小值与鞍点
临界点：局部极小值 ：鞍点： 局部极小值与鞍点我们在做优化的时候经常会发现，随着参数不断更新，训练的损失不会再下降, 但是我们对这个损失仍然不满意。把深层网络（deep network）、线性模型和浅层网络（shallow network）做比较，可以发现深层网络没有做得更好——深层网络没有发挥出它完整的力量，所以优化是有问题的。但有时候，模型一开始就训练不起来，不管我们怎么更新参数，损失都降不下去。这个时候到底发生了什么事情？ 临界点及其种类过去常见的一个猜想是我们优化到某个地方，这个地方损失关于参数的微分为零，如图所示。图中的两条曲线对应两个神经网络训练的过程。当损失关于参数的微分为...
