基于高效调优方法的统一高效微调架构及应用

打开文本图片集

摘 要：为解决大规模参数调优问题，一系列高效微调方法诞生，但是在整合不同高效微调方法形成有效统一整体方面还存在挑战。此外，统一调优思想在视觉任务中的应用仍然不足。因此，提出统一参数高效微调架构ETTA（efficient Transformer tuning architecture）。首先通过适配器与前缀调优工作原理的相似性，得出两种方法整合形成统一调优架构的合理性；其次，在适配器选择上，选用效果更好的并行适配器，同时对前缀调优引入可调标量得到缩放前缀调优变体；然后将两种方法整合形成统一调优架构ETTA，把并行适配器作用于Transformer前馈神经网络层并设置较大瓶颈维数，缩放前缀调优作用于多头注意力层并设置较小可调前缀向量数；最后将ETTA用于6个图像分类或目标检测任务，并与三种调优策略进行性能比较。（剩余17326字）