共计 2080 个字符,预计需要花费 6 分钟才能阅读完成。
在医学显微图像分类(MIC)领域,基于 CNN 和 Transformer 的模型得到了广泛的研究。然而,CNN 在建模长距离依赖关系方面存在短板,限制了其充分利用图像中语义信息的能力。相反,Transformer 受到二次计算复杂性的制约。
为了解决这些挑战,南京农业大学、国防科技大学、湘潭大学、南京邮电大学、苏州大学组成的联合研究团队提出了一个基于 Mamba 架构的模型:Microscopic-Mamba。
具体来说,该团队设计了部分选择前馈网络(PSFFN)来取代视觉状态空间模块(VSSM)的最后一层线性层,增强了 Mamba 的局部特征提取能力。
此外,研究人员提出了调制交互特征聚合(MIFA)模块,使模型可以有效地调制和动态聚合全局和局部特征。他们还采用了并行 VSSM 机制,以改善通道间信息交互,同时减少参数数量。
该研究以「Microscopic-Mamba: Revealing the Secrets of Microscopic Images with Just 4M Parameters」为题,于 2024 年 9 月 12 日发布在arXiv预印平台。
显微成像技术在医学中至关重要,能够在细胞和分子水平上分析生物结构,帮助诊断疾病。然而,对显微图像的手动分类效率低下,且需要大量专业知识。虽然 CNN 能有效提取局部特征,但其捕捉长距离依赖关系的能力有限;ViT 虽能建模全局依赖关系,但计算复杂度高。
现有的解决这些限制的方法包括结合 CNN 和 Transformer 的混合方法。这些方法试图在局部和全局特征提取之间取得平衡,但通常以牺牲准确性或计算效率为代价。
因此,科学家需要设计更高效的模型,能有效地处理局部和全局信息,同时无需承担巨大的计算负担。
南京农业大学、国防科技大学、湘潭大学、南京邮电大学和苏州大学的研究团队提出了一种名为 Microscopic-Mamba 的新型架构来应对这些挑战。
图示:Microscopic-Mamba 架构。(来源:论文)
它以较低的计算复杂度缓解了现实医疗场景中的计算限制。该模型专门用于通过结合 CNN 在局部特征提取方面的优势与状态空间模型(SSM)在捕获长距离依赖关系方面的效率来改善微观图像分类。
该团队的模型集成了部分选择前馈网络(PSFFN)来取代视觉状态空间模块(VSSM)中的最终线性层,在保持紧凑高效的架构的同时,显著增强了感知局部特征的能力。通过结合全局和局部信息处理能力,Microscopic-Mamba 模型力图在医学图像分类领域树立新的标杆。
Microscopic-Mamba 背后的核心方法在于其双分支结构,由用于局部特征提取的卷积分支和用于全局特征建模的 SSM 分支组成。该模型还引入了调制交互特征聚合 (MIFA) 模块,旨在有效融合全局特征和局部特征。在此架构中,CNN 分支使用深度可分离卷积(DWConv)和逐点卷积(PWConv)进行局部特征提取。
相比之下,SSM 分支则专注于通过并行视觉状态空间模块(VSSM)进行全局特征建模。集成这两个模块使 Microscopic-Mamba 能够处理详细的局部信息和广泛的全局模式,这对于准确的医学图像分析至关重要。
VSSM 中的最后一层被 PSFFN 取代,这提高了模型捕获局部信息的能力,优化了细节和泛化之间的平衡。
图示:在五个公共数据集上与最先进方法进行性能比较。(来源:论文)
研究人员用五个公共医学图像数据集对 Microscopic-Mamba 模型进行了广泛的测试,均表现出了优异的性能。
这些数据集包括视网膜色素上皮 (RPE) 细胞数据集、用于疟疾细胞分类的 SARS 数据集、用于结直肠息肉分类的 MHIST 数据集、用于肿瘤组织分类的 MedFM Colon 数据集,以及包含超过 236,386 张人类肾细胞图像的 TissueMNIST 数据集。
该模型在高准确率和低计算需求之间实现了完美平衡,非常适合实际医疗应用。例如,在 RPE 数据集上,Microscopic-Mamba 实现了 87.60% 的总体准确率 (OA) 和 98.28% 的曲线下面积 (AUC),优于现有方法。
该模型的轻量级设计,在某些任务上仅有 4.49 GMAC 和 110 万个参数,确保它可以部署在计算资源有限的环境中,同时保持高精度。
消融研究表明,引入 MIFA 模块和 PSFFN 对模型的成功至关重要。将这两个元素结合起来,可显著提高所有数据集的性能。在 MHIST 数据集上,该模型仅用 486 万个参数就实现了 99.56% 的 AUC,凸显了其在医学图像分类中的效率和有效性。
总之,Microscopic-Mamba 模型显著推进了医学图像分类。通过结合 CNN 和 SSM 的优势,这种混合架构成功解决了以前方法的局限性,提供了一种计算效率高且高度准确的解决方案。
该模型能够处理和整合局部和全局特征,非常适合进行显微图像分析。Microscopic-Mamba 在多个数据集上表现出色,有望成为自动化医疗诊断的标准工具,从而简化流程并提高疾病识别的准确性。
论文链接:
相关内容: