基于多模态注意力 Mamba 的医疗影像病变报告生成方法
在线阅读 下载全文 下载Pdf阅读器
刊名 医学研究
作者 张善文 马亚红* (西京学院 电子信息学院 西安 710123) 英文名 年,卷(期) 2025年,第17期
主办单位 环宇科学出版社 刊号 2661-359X DOI 10.12421/yxyj2661-359X-202517129

基于多模态注意力 Mamba 的医疗影像病变报告生成方法

疾病早期诊断与详细报告生成对于疾病管理至关重要。针对现有医学报告自动生成方法中存在计算复杂度高、长序列建模能力弱以 及视觉与文本模态融合不充分的问题,提出一种基于多模态注意力 Mamba(MAMamba)的医疗影像病变报告生成方法。该模型利用 SSM-Attention 模块并行整合状态空间模型的全局建模能力与自注意力机制的局部特征捕捉优势,并构建多模态融合 Mamba 解码器实现跨模 态深度交互,深度融合增强后的视觉特征与文本特征,通过 Transformer 解码器生成准确、连贯的医疗影像病变诊断报告。实验结果表明, 该方法在多项自然语言生成评价指标上显著优于现有主流模型,能够生成准确、连贯的临床诊断报告,为医疗影像病变的辅助诊断提供了 有效工具。

00852-67508818

营业时间:9;00-11:30 13:30-17:00

地址:总部:香港湾仔骆克道315-321号幸运广场23楼C室;分部:香港九龍新蒲崗太子道東704號新時代工貿商業中心31樓5-11室A03單位

邮箱:gjkzxtg@126.com

客服QQ:3577400288

Copyright 2015-2035 华文科学出版社 版权所有 All Rights Reserved     京ICP备2023009018号-3