基于扩散模型微调的局部定制图像编辑算法

打开文本图片集

摘 要：针对现有基于扩散模型的图像编辑方法存在无法灵活控制图像编辑区域以及生成个性化内容等问题，提出一种基于扩散模型微调的局部定制图像编辑算法。该方法借助稳定扩散模型作为基础框架，首先从给定的一组图像和词嵌入中学习概念嵌入，并且为了提高模型的训练效率，解决由少量数据训练而产生的过拟合问题，在微调过程中通过分析训练过程中各层参数变化的程度降低训练参数数量；然后在联合分割模型中通过局部选择步骤得到掩码特征，进一步精确识别编辑区域边界，从而保护了非编辑区域内容；最后将参考图像、掩码特征和与定制概念绑定相关的条件文本描述共同输入微调模型中，使其在编辑区域精确生成定制内容，增加了在编辑区域生成用户定制内容的灵活性。（剩余19060字）