共计 1141 个字符，预计需要花费 3 分钟才能阅读完成。
该模型在 34 个具有不同诊断难度的代表性 CPath 任务上进行了评估。除了超越以前最先进的模型之外，还展示了 CPath 中的新建模功能，例如与分辨率无关的组织分类，使用少量类别原型的幻灯片分类，以及在 OncoTree 分类系统中对多达 108 种癌症进行分类的疾病亚型概括。
UNI 在预训练数据和下游评估方面在 CPath 中大规模推进无监督表示学习，从而实现数据高效的人工智能模型，该模型可以泛化并转移到解剖病理学中广泛的诊断挑战性任务和临床工作流程。
相关研究以《Towards a general-purpose foundation model for computational pathology》为题，于 2024 年 3 月 19 日发布在《Nature Medicine》上。
开源地址：
论文链接：
CONCH：计算病理学的视觉语言基础模型
数字病理学的广泛应用和深度学习技术的进步，已经为各类疾病和患者群体中的多种病理任务开发出强大模型提供了可能。
然而，由于医学领域标签稀缺，模型训练通常很困难，并且模型的使用受到训练的特定任务和疾病的限制。此外，大多数组织病理学模型仅利用图像数据，这与人类相互教导和推理组织病理学实体的方式形成鲜明对比。
基于此，该研究团队提出了一种视觉语言基础模型 CONCH，CONCH 经过超过 117 万个组织病理学图像-文本对的数据库的训练。
CONCH 在识别罕见疾病、肿瘤分割和理解十亿像素图像等任务方面表现出色。由于 CONCH 接受了文本训练，病理学家可以与模型交互以搜索感兴趣的形态。
图示：数据整理和 CONCH 模型示意图。（来源：论文）
CONCH 根据一套 14 个不同的基准进行评估，可以转移到涉及组织病理学图像、文本的广泛下游任务，在组织病理学图像分类、分割、字幕、文本到图像和图像到文本检索方面实现最先进的性能。
CONCH 代表了组织病理学并发视觉语言预训练系统的重大飞跃，有可能直接促进各种基于机器学习的工作流程，只需要很少或不需要进一步的监督微调。
相关研究以《A visual-language foundation model for computational pathology》为题，于 3 月 19 日发布在《Nature Medicine》上。
开源地址：
论文链接：
研究团队正在向其他学术团体公开该代码，以用于解决临床相关问题。
麻省总医院病理科计算病理学部的通讯作者 Faisal Mahmood 博士说，「基础模型代表了医学人工智能的新范式，这些模型是 AI 系统，可以适应许多下游、临床相关的任务。我们希望这些研究中提出的概念验证将为此类自监督模型在更大、更多样化的数据集上进行训练奠定基础。」
参考内容：
