心血管疾病(CVD)已成为一个日益严重的全球健康问题^[1], 20~44岁成人CVD发病率也显著上升^[2]。左心室射血分数(LVEF)是评估CVD严重程度的重要指标, LVEF越低, CVD预后越差^[3]。超声心动图是心血管成像领域应用最广泛的方法，具有便携、无电离辐射成像等特点。目前超声心动图医师基于Simpson双平面标准化技术测量方法，跟踪连续心动周期中的舒张末期帧(EDF)和收缩末期帧(ESF), 手动描记心内膜边界以计算LVEF, 上述过程耗时繁琐、重复性差^[4], 因此有必要通过医工交叉融合方法促进超声心动图扫描和自动测量。目前，人工智能(AI)已被广泛应用于医学成像多个领域^[5-7], 深度学习在超声心动图领域也显示出巨大优势和潜力^[8]。本研究构建一种参考Simpson双平面标准化技术测量方法的二维超声心动图视图的深度学习全自动分析模型。首先，构建标准心尖四腔心切面(A4C)、心尖二腔心切面(A2C)以及心尖三腔心切面(A3C)视图数据集; 然后，在U-Net网络基础上优化视图分割网络，使用卷积神经网络叠加self-attention模块作为特征提取器，构建左心室分割模型并验证模型诊断效能; 最后，自动识别左心室舒张末期容积(EDV)和左心室收缩末期容积(ESV)以计算LVEF, 实现LVEF的自动计算。本研究旨在通过多切面、标准化Simpson双平面方法构建二维超声心动图视图的深度学习全自动分析模型，为LVEF自动精准测量提供一种新的研究方法。

1.   资料与方法

1.1   数据集

收集2020年10月—2021年4月上海市胸科医院、上海市第九人民医院和上海市第八人民医院2 193例患者的超声心动图。清洗数据过程中，排除年龄 < 18岁、图像质量差或胸部畸形影响视图观察者(291例)，最终纳入1 902例。记录患者年龄、性别、体表面积(BSA)等基本临床参数及超声心动图参数，包括LVEF、EDV和ESV。

使用飞利浦Epiq7C (Philips, Netherlands)、飞利浦iE33 (Philips, USA)、GE Vivid E95 (GE, USA) 等超声设备进行测量。临床测量由经过心脏超声规范化培训超声医师获得。根据中国成年人超声心动图检查测量指南^[9]和美国超声心动图学会指南^[10], 受试者选择左侧卧位，检查透声窗包含胸骨左缘检测区、左侧心尖检测区，选择经胸探头，频率3.5 MHz, 深度15~17 cm, 帧频≥50帧/s, 调整探头，选择左心室最大长轴内径切面，依次采集标准A4C、A2C和A3C视图[包括舒张末期和收缩末期未描记心内膜视图各1张(共6张)，舒张末期和收缩末期描记心内膜边界视图各1张(共6张)，每例患者12张标准视图]，并带有相应的标记、测量值及左心室心内膜边界的人类专家标注视图，以具有15年以上心脏超声诊断经验的主任医师级别超声专家标注视图作为参考标准。

数据集构建分为开发集[1 610例，其中1 252例(15 024张视图)来自上海市胸科医院，用于训练深度学习模型, 358例(4 296张视图)用于模型优化和调整]、内部测试集[177例(2 124张视图)用于内部验证]和外部测试集[115例(1 380张视图)用于外部验证和泛化性检测，其中65例(780张视图)来自上海市第九人民医院, 50例(600张视图)来自上海市第八人民医院，用于模型外部验证]。使用杏脉科技鉴影标注平台进行视图标注。

1.2   模型开发

本研究AI系统提出的端到端AI模型包括图像切面分类和切面标准性判断功能，在此基础上实现自动测量LVEF, 其中，图像切面分类模型通过全监督分类算法训练获得，而切面标准性判断模型通过对比学习和度量学习算法获得。本研究中心动周期时相自动定位功能是通过对左心室自动分割，对应分割面积最大(舒张末期)和分割面积最小(收缩末期)来实现。

通过比较标记视图和原始视图差异，对纳入训练集的视图进行左心室边界标注的自动提取。以超声专家标注为参考标准，在杏脉科技鉴影科研平台(图像处理系统，上海杏脉信息技术有限公司)中进一步手动定位标注的3个关键点位置(左心室顶点和二尖瓣环的左半部分和右半部分)，标注信息用于左心室分割和关键点检测模型的训练和测试。模型的构建和训练在PyTorch(1.7.0版)深度学习框架和Python(3.6.8版，美国Python软件基金会)编程平台上进行。

1.3   左心室分割以及自动量化左心室容积和LVEF

左心室分割和关键点检测涉及以下深度学习模型: ①左心室区域检测模型; ②左心室分割和关键点检测模型。检测模型对超声视图进行预处理，粗略提取左心室区域，然后通过分割模型从提取的左心室区域中识别细化的左心室内膜边界和关键点。

左心室分割与关键点检测模型整体网络架构，见图 1。首先，将超声图像输入到YOLOv5^[11]网络以检测左心室区域，并将左心室边界注释转换为边界框，用于左心室区域检测；其次，对左心室分割和关键点检测进行优化。左侧卷积块Conv1~5对应ResNeXt-50Stages1~5, 而右侧卷积块Conv1~5是指U-Net卷积块，将左右两边的卷积块以self-attention模块连接，以突出特定局部区域的显著特征；最后，输出左心室分割结果和关键点位置。该模型输入图像尺寸为224像素×224像素，每个像素的颜色是由3个原色通道上对应的色块混合而成。训练总损失函数是分割任务的Dice损失和关键点检测任务MSE损失的平均值，公式为: $L_{Dice }=\frac{2 \times \mid G t \cap Pred \mid}{|G t|+\mid Pred \mid}$, $L_{M S E}=\frac{1}{N}\sum_{i=1}^N(\overset\smallfrown{y}-y)^2$, $L_{total }=\frac{1}{2}\left(L_{Dice }+L_{M S E}\right)$。

图  1  左心室分割与关键点检测模型整体网络架构

下载: 全尺寸图片 幻灯片

自动量化左心室容积和LVEF: 基于左心室分割和关键点检测结果以计算左心室容积。根据美国超声心动图学会和欧洲心血管成像协会制定的指南^[10], 使用Simpson双平面方法计算左心室容积，左心室被划分为20个相等厚度的椭圆形圆盘，将每个圆盘容积相加估算左心室容积。

左心室长轴是连接二尖瓣环两个关键点的中点和顶点的连线，在此基础上分割为20个等分对应的圆盘，形成19个分割点。穿过19个分割点画出垂直长轴的平行线，每条平行线穿过左心室内膜边界相交处形成2个点，这2个点之间距离即椭圆形圆盘短轴，使用$V=\frac{{\rm{ \mathsf{ π} }}}{4} {\sum}_{i=1}^{20} \mathrm{a}_i \mathrm{c}_i \frac{L}{20}$公式计算左心室容积[左心室舒张末期直径(LVEDV)和左心室收缩末期容积(LVESV)]。左心室容积可以通过A2C视图和A3C视图组合计算，也可以通过A3C视图和A4C视图组合计算。计算LVEDV和LVESV后, LVEF由公式LVEF= $\frac{\text { LVEDV - LVESV }}{\text { LVEDV }} \times 100 \%$计算生成。使用U-Net^[12-13]提取图上比例尺，将距离映射单位像素转为物理距离单位cm。

1.4   模型评估

Dice相似性系数是一种集合相似度度量指标，是医学图像中使用频率较高的度量指标，本研究使用Dice系数来评估左心室分割模型性能。计算公式Dice= $\frac{2 \times \mid G t \cap Pred \mid}{|G t|+\mid Pred \mid}$。为了评估自动测量左心室容积和LVEF与参考标准的相关性和一致性，首先计算Pearson相关系数和组内相关系数(ICC)。

1.5   统计学分析

使用R软件(4.0.0版，奥地利统计计算R基金会)进行数据统计。比较开发数据集和内部测试数据集的差异，进行双尾t检验(针对定量基线特征)或卡方检验(针对分类基线特征)。采用模型预测左心室容积和LVEF与参考标准的相关性和一致性，计算Pearson相关系数和ICC。置信区间(CI)采用R的irr软件包计算。

2.   结果

2.1   人群基线特征

纳入患者的临床基线特征见表 1。开发集与内部测试集的LVEDV比较，差异有统计学意义(P < 0.05)。

表  1  入组人群临床基线资料特征比较(x±s)[n(%)]

基线资料	开发集(n=1 610)	内部测试集(n=177)	外部测试集(n=115)
男	838(52.05)	102(57.62)	43(37.39)
女	772(47.95)	75(42.37)	72(62.61)
年龄/岁	59.33±19.60	59.32±12.94	56.37±24.85
体表面积/m2	1.76±0.27	1.75±0.19	1.56±0.44
左心室舒张末期容积/mL	97.54±30.46	98.88±33.19	71.29±30.31
左心室收缩末期容积/mL	35.15±18.73	35.24±18.80	29.35±14.31
左心室射血分数/%	64.80±5.86	65.36±6.44	81.86±20.45
左心室舒张末期直径/mm	45.63±6.27*	46.76±5.94	41.36±7.79
与内部测试集比较, * P < 0.05。

下载: 导出CSV 

| 显示表格

2.2   左心室分割表现

内部测试集和外部测试集中，模型在EDF和ESF 3个不同切面左心室分割任务Dice均≥0.90, 如表 2所示。内部测试集中, EDF 3个不同切面的Dice为0.94~0.96; ESF 3个不同切面的Dice为0.91~0.93; 外部测试集中, EDF 3个不同切面Dice为0.91~0.94, ESF 3个不同切面的Dice为0.90~0.91。

表  2  分割任务Dice相似系数(x±s)

Dice相似系数	心尖2腔心切面			心尖3腔心切面			心尖4腔心切面
	内部测试集	外部测试集		内部测试集	外部测试集		内部测试集	外部测试集
舒张末期帧	0.94±0.04	0.93±0.04		0.94±0.03	0.91±0.03		0.96±0.02	0.94±0.03
收缩末期帧	0.92±0.03	0.90±0.06		0.91±0.06	0.90±0.05		0.93±0.03	0.91±0.04
舒张末期帧+收缩末期帧	0.93±0.04	0.92±0.05		0.94±0.03	0.91±0.04		0.94±0.03	0.93±0.04

下载: 导出CSV 

| 显示表格

2.3   左心室容积和自动量化左心室收缩功能

根据3种不同组合方案(Simpson方法、A2C+A3C方法和A3C+A4C方法)的分割结果将自动计算的左心室容积与参考标准进行比较。AI模型计算左心室容积与参考标准之间的Pearson相关系数和ICC见表 3。Pearson相关系数分析显示，内部测试集中, 3种组合方案在收缩末期时相均与参考标准强相关(Pearson相关系数为0.64~0.77), 在舒张末期时相与参考标准中等程度相关(Pearson相关系数为0.51~0.58); 外部测试集, 3种组合方案在收缩末期时相与参考标准呈弱相关(Pearson相关系数为0.36~0.39), 在舒张末期时相与参考标准呈极弱至弱相关(Pearson相关系数为0.19~0.30)。

表  3  模型自动测量左心室与参考标准Pearson相关系数和ICC

相关系数	数据集	心尖2腔心+心尖4腔心切面			心尖2腔心+心尖3腔心切面			心尖3腔心+心尖4腔心切面
		收缩末期帧	舒张末期帧		收缩末期帧	舒张末期帧		收缩末期帧	舒张末期帧
Pearson相关系数	内部测试集	0.77	0.58		0.68	0.51		0.64	0.53
	外部测试集	0.39	0.19		0.38	0.30		0.36	0.23
	内部测试集+外部测试集	0.54	0.25		0.49	0.30		0.42	0.25
组内相关系数	内部测试集	0.73(0.58, 0.82)	0.47(0.13, 0.67)		0.59(0.27, 0.76)	0.33(-0.04, 0.47)		0.56(0.70, 0.31)	0.41(0.08, 0.62)
	外部测试集	0.32(0.13, 0.48)	0.15(-0.02, 0.32)		0.35(0.18, 0.51)	0.29(0.11, 0.45)		0.31(0.14, 0.47)	0.20(0.03, 0.37)
	内部测试集+外部测试集	0.53(0.44, 0.61)	0.25(0.14, 0.36)		0.47(0.37, 0.56)	0.27(0.15, 0.39)		0.42(0.31, 0.51)	0.25(0.14, 0.36)

下载: 导出CSV 

| 显示表格

ICC也显示出相似趋势: 内部测试集中，收缩末期时相与参考标准呈中等至较强一致性(ICC为0.56~0.73), 舒张末期时相与参考标准显示一般至中等一致性(ICC为0.33~0.47); 独立外部测试集中，在收缩末期时表现出与参考标准一般一致性(ICC为0.31~0.35), 在舒张末期时相表现出与参考标准较差至一般的一致性(ICC为0.15~0.29)。

3.   讨论

本研究基于二维超声心动图的静态视图数据集，成功构建了一个能够识别左心室内膜边界，分割左心室并自动量化LVEF的算法模型。这一算法的核心在于利用卷积神经网络结合self-attention模块提取图像特征，通过精确的左室分割和关键点检测来更好地捕捉心内膜边界特征，并根据模型输出结果自动计算EDV和ESV, 从而实现LVEF的自动量化。这一方法的提出为LVEF的临床计算提供了一个新的、可解释的自动量化途径。

LVEF是评估心脏泵血功能的关键指标^[14], 对于心脏病的诊断和治疗具有重大意义。目前，尽管已有许多关于利用AI技术量化LVEF的研究，但大多基于国外数据或单一任务模型^[15-16]。MORADI S等^[17]提出采用MFP-Unet网络对左心室进行分割，并提出一种采用最小外接三角形寻找心室长轴和面积以预测LVEF的技术解决方案，该研究预测LVEF以左心室长轴切面为研究基础。OUYANG D等^[18]推出迄今为止最大的超声心动图视频数据库Echo-Net Dynamic, 共有10 030个视频，在左心室分割和LVEF评估等关键任务中具有良好性能，但该数据库只有A4C切面视图。REYNAUD H等^[19]提出一种基于Transformer结构的残差自动编码器网络，用于直接预测LVEF，平均绝对误差为5.95%，该研究算法过程中间结果不具备很强的可解释性，端到端的预测方式比较缺乏透明性，且Transformer网络本身在移动端部署效率低于卷积神经网络。鉴于不同人种间在解剖结构和生理参数上的差异，开发适合中国人群的AI模型显得尤为重要。

本研究的数据集包含来自上海3家医院的1 902例患者共22 824个超声心动图视图，其样本量超过现有文献报道^{[17, 20]}, 有助于提高研究结果的普适性。此外，本研究还额外采集A3C切面视图，以弥补A2C切面显示的不足^[21], 确保在各种情况下都能准确获取双平面LVEF。临床实践中，双平面Simpson法测量LVEF需要医生在A4C和A2C视图的关键帧中手动追踪左心室心内膜边界，这一过程容易受到成像原理的限制和散斑噪声的影响，导致边界模糊或伪影，从而引入显著的测量误差。本研究模型采用卷积神经网络和self-attention模块组合，能够有效降低误差，尤其是EDF和ESF的Dice系数均超过0.9, 显示出良好的分割性能。

本研究局限性主要在于缺乏与患者相对应的心脏磁共振成像检查结果，因此缺少金标准验证。此外，尽管左心室自动分割模型的性能良好，但自动量化LVEF的外部验证一致性较低(Pearson相关系数为0.19~0.30), 可能与不同医院间的数据、采集医师技术差异以及模型训练的泛化性不足有关。后续研究中需要在优化左心室自动分割模型的基础上，增加多中心样本量，提高模型的泛化性和准确性，并完善金标准的验证，同时需要通过算法优化、多中心模型训练等方式平衡不同医院、不同人群、不同操作医师的差异性。

综上所述，本研究初步构建了一个能够识别左心室心内膜边界和关键点检测的AI模型，实现了LVEF的自动测量，为二维超声心动图左心室自动分割和精准量化LVEF提供了一种新的研究参考。此外，时序大模型展现出利用跨场景超大规模数据构建大规模参数模型的能力，在心电图等医疗领域已有突破，未来研究中将继续优化算法，探索更多不同模型算法在超声心动图AI领域的应用价值。