基于判别增强大语言模型微调的医学影像报告生成

打开文本图片集

摘 要：自动化的医学影像报告生成可以提高影像医生的工作效率。传统的医学影像报告生成方法大多数基于判别式和图像描述生成式，在准确性、流畅性、多样性方面存在不足。基于大语言模型微调的医学影像生成技术有望改善以上问题。在预训练多模态大语言模型基础上，提出一种判别增强的微调方法——MedVLM。以影像诊断作为辅助的判别目标，引入低秩自适应微调法、提示微调法以及冻结微调法，来微调多模态大语言模型的特征提取模块、视觉-语言转换模块以及大语言模型模块，使其能够准确诊断肺部CT影像的疾病，并生成准确性更高的肺部CT影像报告。（剩余24301字）