聆音是什么
聆音（EchoCare）是中国科学院香港创新研究院人工智能与机器人创新中心（CAIR）推出的超声大模型。模型依托450万张超声影像数据集EchoAtlas进行训练，数据集涵盖5个大洲的23个临床中心、38种成像设备采集的图像，覆盖人体9大区域和52个解剖器官，是目前规模最大的超声影像数据集之一。EchoCare采用“结构化对比自监督学习框架”，通过图像掩膜重建、自适应困难图块挖掘等技术，显著提升了模型对超声影像深层语义的建模能力和泛化性能。在超声图像分割、分类、检测、回归、增强等七大医学任务中，性能均优于当前最优方法。
聆音的主要功能
- 超声图像分割：能精准地对超声图像中的不同组织和器官进行分割，帮助医生更清晰地识别病变区域和正常组织的边界，为诊断提供更准确的依据。
- 病变分类：对超声图像中的病变进行分类，如区分良性和恶性肿瘤等，辅助医生快速判断病变的性质，提高诊断效率。
- 器官检测与分割：不仅可以检测出图像中的器官位置，还能对器官进行精确分割，为后续的诊断和治疗提供详细的解剖信息。
- 图像增强：对超声图像进行质量提升，改善图像的对比度和清晰度，使医生能够更清楚地观察到细微的结构和病变，减少误诊的可能性。
- 报告生成：根据超声图像分析结果自动生成诊断报告，节省医生撰写报告的时间，提高工作效率，同时保证报告的准确性和一致性。
聆音的技术原理
- 大规模数据集构建：依托450万张超声影像数据集EchoAtlas进行训练，数据集涵盖多中心、多设备、多民族的全球队列，覆盖人体9大区域和52个解剖器官，为模型提供了丰富的学习素材。
- 结构化对比自监督学习框架：引入基于医学先验的层次化树形标签，实现多标签语义关系结构化学习与隐式编码，提升模型对超声影像深层语义的建模能力。
- 图像掩膜重建技术：通过对图像进行掩膜重建，增强模型对图像局部特征的学习和理解，提高模型的鲁棒性和泛化性能。
- 自适应困难图块挖掘技术：自动识别并聚焦于难以学习的图像区域，针对性地加强学习，提升模型对复杂图像的处理能力。
- 渐进式训练策略：采用渐进式训练方法，逐步增加模型训练的难度和复杂度，帮助模型更好地适应不同类型的超声图像，提升整体性能。
聆音的项目地址
- 项目官网：https://echocare.cares-copilot.com/
- Github仓库：https://github.com/CAIR-HKISI/EchoCare
- arXiv技术论文：https://arxiv.org/pdf/2509.11752
聆音的应用场景
- 医院常规检查：在医院的日常超声检查中应用，能显著降低对专业人员的依赖，协助医生更高效、更精准地进行诊断，有效提升医疗服务效率，为医疗资源的优化配置提供更多可能性。
- 疾病诊断与筛查：可用于多种疾病的诊断和筛查，如在山东大学齐鲁医院妇产科1556例卵巢肿瘤超声病例和中南大学湘雅医院1000余例甲状腺超声检查中的具体案例验证，其性能显著优于现有SOTA方法。
- 心脏超声检测：在心脏超声主动脉瘤检测与分析方面，可进行回顾性验证，为心脏疾病的诊断提供有力支持。
- 超声图像处理：包括超声图像分割、分类、检测、回归、增强等七大医学任务及十余项下游应用，如病变分类、器官检测与分割、图像增强等，提升超声图像的质量和诊断价值。
- 临床适配与研究：基座模型计划开源供医疗机构使用，后续将分阶段推进前瞻性研究、急诊室场景应用及联合超声设备企业进行硬件集成。