小数据集上基于语义的局部注意视觉Transformer方法

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘 要：在小数据集上从零开始训练时，视觉Transformer无法与同规模的卷积神经网络媲美。基于图像的局部注意力方法，可以显著提高ViT的数据效率，但是会丢失距离较远但相关的补丁之间的信息。为了解决上述问题，提出一种双向并行局部注意力视觉Transformer的方法。该方法首先在特征层面上对补丁进行分组，在组内执行局部注意力，以利用特征空间中补丁之间的关系弥补信息丢失。（剩余19671字）

试读结束

目录
monitor