新快报讯 3月24日,中国科学院香港创新研究院人工智能与机器人创新中心(CAIR)在香港科学园深圳分园发布“术影”SurgMotion手术视频大模型,外科手术AI从“碎片化识别”向“通用化理解”的跨越式进化,为临床治疗、手术操作、医学教学及术后复盘提供有力支撑。
打造通用手术智能底座,填补医疗标准化缺口
“全国年外科手术量超1亿例,行业存在手术标准化程度不足、三甲医院与基层医院技术水平差距明显、复杂病例诊疗风险较高等痛点,AI技术突破使历史遗留问题具备解决条件,须把握窗口期加速技术落地。”CAIR主任、研究员刘宏斌对记者表示,“术影”SurgMotion手术视频大模型是 基于百年医学经验进行渐进式优化,坚持“以医生为中心”的决策主导权,强调的是深度嵌入医生临床工作,提升现有医疗工作流效率与安全性。
据介绍,“术影”SurgMotion手术视频大模型是目前业内规模最大、最完整的手术视频通用智能底座,依托SurgMotion-15M数据集进行训练。该数据集涵盖约1500万帧、超3658小时的真实手术视频。基于这一海量数据,SurgMotion突破传统像素重建的局限,引入运动引导的隐空间预测机制,显著提升了模型对手术器械、解剖结构、交互动作等关键语义结构的理解能力,为多中心、多科室、多术式的通用手术智能奠定了基础。“术影”SurgMotion大模型支持13种人类主要器官、6大类手术理解任务(工作流理解、动作理解、深度估计、息肉分割、三元组识别、技能评估),并已在17个国际权威手术AI基准上全面刷新最优纪录(SOTA)。该模型尤其在手术流程识别、器械交互理解、精细动作建模等核心任务上大幅超越现有方法,展现出极强的泛化能力与精度。
欧洲科学院院士、慕尼黑工业大学教授及CAMP实验部主任Nassir Navab作为该模型的重要合作方,对双方合作给予高度评价,并期待未来双方继续深化合作,共同推动技术创新突破。
以AI技术推动医疗诊疗标准化升级
“术影”SurgMotion是具备标准化分析能力的手术AI系统,可有效降低复杂手术风险,提升临床诊断与操作规范性,为各级医疗工作者提供技术支持。目前该系统已在神经外科培训、呼吸介入治疗两大领域完成应用验证,核心性能表现领先行业。
在神经外科培训领域,香港大学深圳医院神经医学中心名誉顾问、拥有35年临床经验的潘伟生教授介绍,作为神经外科专科培训基地,港大深圳医院长期致力于破解传统“师带徒”模式的标准化难题。此次验证结果显示,“术影”大模型在多中心临床数据中准确率达90%;在公开的JIGSAWS手术技能评估数据集上,评估误差(MAE)低至2.649,与专家评分的相关性(Spearman)高达0.770,性能远超同类模型。凭借精准的动作解析与客观评估能力,该系统未来将作为可靠的教学辅助工具,帮助年轻医生进行规范化手术复盘,推动专科培训的数字化与标准化发展。
在呼吸介入治疗领域,中山大学附属第一医院呼吸与危重症医学科副主任廖槐教授表示,当前呼吸介入治疗向更深、更精细方向发展,亟需AI视觉模型提供技术支撑。“术影”大模型在图像分割、深度估计两项关键任务上全面领先,病灶勾画精度高、深度误差低。经中山一院真实临床视频数据测试,其呼吸介入治疗流程识别准确率达85%左右,具备深度“读懂”手术的感知能力,未来将赋能支气管镜机器人,大幅提升临床治疗的精准度与安全性。 廖槐指出,AI作为医疗辅助工具,核心价值是提升效率、降低风险、为医生赋能:一是可将高难度手术中依赖个人经验的“不可预知风险”转化为“可预测风险”,通过数据分析提前预警,减少并发症;二是在气管镜视野模糊等复杂场景下,整合影像、监护等多维度数据辅助决策;三是自动化完成医学影像标注等事务性工作,节省医生时间;四是系统化保存临床经验,促进知识共享。未来AI将承担更多重复性工作,释放医生精力投入患者沟通、疑难病例探索,同时助力基层医疗机构获取优质诊疗经验,缩小区域医疗水平差距。全面开源,构筑通用手术AI基石
在大模型发布推介环节,CAIR研究员易东正式宣布十亿参数量的“术影”SurgMotion大模型全面开源。他阐述SurgMotion的设计理念时称,手术视频中存在大量的冗余片段或干扰噪声,传统自监督学习方法容易将算力和模型容量浪费在这类低层次细节上。因此,CAIR在V-JEPA架构基础上引入运动引导的隐空间预测、特征多样性保持和模型稳定性保持三项技术改进,让模型更专注学习手术视频中的运动和中高层语义信息,实现了更高效的自监督训练方法。
除技术创新以外,研究团队还构建了目前规模最大的手术视频预训练数据集——SurgMotion-15M。该数据集汇集来自50个数据源、13个解剖区域的3658小时手术视频,涵盖腹腔镜、开腹、神经外科、眼科、耳鼻喉科等多专科场景,为模型提供了前所未有的多样性支撑。本次CAIR开源发布的“术影”SurgMotion手术视频大模型,加速了手术AI规模化应用的落地,为粤港澳大湾区医疗科技创新持续注入动能。
据介绍,中国科学院香港创新研究院是中国科学院在中国香港设立的唯一直属科研机构,于2019年成立,人工智能与机器人创新中心(CAIR)是其两大科研中心之一。中心聚焦人工智能与生命健康的融合创新,主要围绕多模态AI大模型、具身智能机器人、智能感知技术三大方向开展研究工作,获香港InnoHK人工智能领域重点支持,是国际上为数不多的成建制开展面向医疗健康的人工智能系统技术研发与技术转化的机构之一,致力建设成为粤港澳大湾区医疗科技创新及成果转化重要基地。
刘宏斌表示,去年CAIR发布了聆音超声大模型和多模态医疗AI大模型CARES 3.0,展现了持续创新的研发实力。今年又隆重推出“术影”SurgMotion手术视频大模型,助力构建大湾区AI医疗的智慧生态。CAIR研发始终以临床应用为核心目标,旨在赋能医生,造福患者,为构建更健康、更高效的医疗生态贡献力量。
采写:新快报记者 梁瑜
