上海交通大学联合清华大学发布国际首个糖尿病诊疗多模态大模型
近日，上海交通大学联合清华大学、上海交通大学医学院附属第六人民医院、新加坡国立大学，构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM。相关研究成果已发表于Nature Medicine。DeepDR-LLM系统融合了大语言模型和深度学习技术优势，引入了Transformer模型架构针对超50万张眼底图像进行训练，精准实现眼底影像的质量检测、病变分割和DR分级诊断。DeepDR-Transformer模块生成的DR等相关视觉特征信息可自动输入LLM模块，从而实现DeepDR-LLM系统的一站式多模态诊疗意见集成，实现了医学影像诊断与诊疗意见的多模态生成功能，为提供糖尿病视网膜病变辅助诊断结果及个性化糖尿病综合管理提供意见。
Copyright© CMDE All Rights Reserved
