符号定义

在论文的 Table1 中有给出三个模型（Base/ Large/ Huge）的参数

Model Patch Size Layers Hidden Size D MLP size Heads Params
ViT-Base 16x16 12 768 3072 12 86M
ViT-Large 16x16 24 1024 4096 16 307M
ViT-Huge 14x14 32 1280 5120 16 632M
  • Layers：指 Transformer Block 的层数。
  • Hidden Size D：指每个 token 的特征维度（embedding dim）。
  • MLP Size：计算为 Hidden Size D × mlp_ratio，默认 mlp_ratio=4，表示 MLP 部分的隐层维度。
  • Heads：多头自注意力中并行头的数量。
  • Params：是模型大致参数量，具体数字可能因实现细节或是否包含额外模块（如在 SAM 中）而不同。

在论文及实际使用中，我们常用ViT-size/patch_size的形式来表示该模型是在“什么规模”及“多大的 patch 尺寸”上预训练出来的。例如ViT-H/14就表示该模型是在 Huge 规模上，用 patch 尺寸为 14 的数据做预训练的。

常见模型

Model Pre-Trained Dataset Finetuned Dataset Patch Size Layers Hidden Size D MLP size Heads Params timm
ViT-B/16-IN1K ImageNet21K ImageNet1K 16×16 12 768 3072 12 ~86M timm.create_model(‘vit_base_patch16_224’, pretrained=True)
ViT-B/16-IN21K ImageNet21K - 16×16 12 768 3072 12 ~86M timm.create_model(‘vit_base_patch16_224_in21k’, pretrained=True)
ViT-L/16-IN1K ImageNet21K ImageNet1K 16×16 24 1024 4096 16 ~304M
ViT-B/16-DINO ImageNet - 16×16 12 768 3072 12 ~86M
ViT-B/16-SAM SA-1B (Segment Anything 1B) - 16×16 12 768 3072 12 ~632M (整套 SAM)
ViT-B/16-MAE ImageNet21K - 16×16 12 768 3072 12 ~86M
ViT-B/16-CLIP OpenAI CLIP（约4亿图文对） - 16×16 12 768 3072 12 ~86M (视觉编码器)
  • IN1K / IN21K 分别指在 ImageNet-1K（约 100 万张图）或 ImageNet-21K（约 1400 万张图、2 万类）上进行预训练。
  • DINO 为自监督蒸馏方法，在 ImageNet-1K 上训练。
  • SAM 则是 Segment Anything 的大规模 10 亿图像数据集（SA-1B）进行预训练，完整的 Segment Anything 模型会比标准 ViT-B/16 参数更多（大约 632M）。
  • MAE（Masked Autoencoder）是图像自监督掩码预训练方法，通常也是在 ImageNet-1K 上进行预训练。
  • CLIP 是 OpenAI 训练的图文对数据（约 4 亿对），其中视觉编码器部分本质上也是一个 ViT-B/16。