研究人员开发了一种新型小型多模态模型 LLaVA-Rad，用于自动生成胸部 X 光成像的放射学报告。该模型在包含近 70 万对图像-报告的数据集上训练，表现出高效性能，仅需一个 V100 GPU 进行推理，并能在一天内完成训练。LLaVA-Rad 的架构通过单模态预训练和跨模态学习，利用适配器机制将非文本模态嵌入文本空间，实现了小型模型的卓越性能。