上海交通大学与上海人工智能实验室联合团队发布3D医学图像分割大模型SAT

近日，上海交通大学与上海人工智能实验室联合发布了3D医学图像分割大模型SAT（Segment Anything in radiology scans, driven by Text prompts），在3D医学图像（CT、MR、PET）上，基于文本提示实现对人体497种器官或病灶的通用分割。该团队首次探索将人体解剖学知识注入文本编码器，以精准编码解剖学术语，实现了通过文本提示的放射学影像通用医疗分割模型。临床数据显示，SAT可以和大语言模型无缝衔接，通过文本作为桥梁，直接为任何大语言模型提供分割和定位能力。

该研究构建了第一个包含6K+人体解剖学概念的多模态医疗知识图谱。同时，构建了当前最大规模的3D医学图像分割数据集，名为SAT-DS，汇集了72个公开数据集，来自CT、MR和PET三种模态的22K+图像，302K+分割标注，涵盖了人体8个主要部位中的497个分割目标。为了尽可能降低异构数据集间的差异，研究团队对不同数据集间的方向、体素间距、灰度值等图像属性进行了标准化，用统一的解剖学术语系统命名了不同数据集中的分割类别。

图：SAT-DS是一个大规模、多样化的3D医学图像分割数据集合，涵盖人体8个主要区域共497个分割类别

作为首个基于文本提示的3D医疗图像通用分割大模型，SAT构建了高效灵活的通用分割，并且在域外数据上实现了更好的泛化性能，以满足跨中心迁移等临床需求。SAT基于文本提示可以取得更准确和对提示鲁棒的分割结果，并且可以节省使用者圈画Box的大量时间，从而实现自动的、可批量化的通用分割。SAT-Pro在大规模的分割数据集上进行训练后，当通过微调迁移到特定数据集上时，表现出了明显的性能提升，并比nnU-Nets总体性能更好。这表明SAT可以被视作强大的基础分割模型，可以通过微调迁移在特定任务上表现更好，从而平衡通用分割与专用分割的临床需求。