香港中文大学联合智源开展M3D系列工作

近日，香港中文大学和智源联合开展M3D系列工作。M3D系列工作即一系列推动3D医学图像分析发展的项目，包括目前最大的3D医学图像数据集M3D-Data、目前最多功能的3D医学多模态大模型M3D-LaMed和能够全面和自动评估8种任务并涵盖文本、定位和分割三个方面，并提供人工校验后的测试数据的M3D-Bench，从数据集、模型和测评全方面推动3D医学图像分析的发展。

M3D-LaMed模型结构如下图所示：（a）3D图像编码器通过跨模态对比学习损失由图文数据进行预训练，可直接应用于图文检索任务。（b）在M3D-LaMed模型中，3D医学图像被输入到预先训练的3D图像编码器和高效的3D空间池化感知器中，并将视觉token插入LLM，输出的[SEG]作为prompt驱动分割模块。