184
林广，张志强*
解放军东部战区总医院（南京大学医学院附属金陵医院）放射诊断科，江苏 南京 210002；*通信作者 张志强 【基金项目】国家重点研发计划（2018YFA0701703）
【摘要】医学影像是人工智能在医疗健康领域的重要应用方向之一。在日常工作中，骨关节系统相关疾病的影像检查十分常见；尤其以创伤相关的骨关节疾病诊断，临床工作量大、重复机械劳动较多，符合医学影像人工智能的应用场景。人工智能的应用可以有效减少放射科医师诊断工作的压力，提高工作效率，为疾病预后诊断提供定量评估。本文对人工智能医学影像在骨关节系统中的应用现状进行综述，归纳其临床应用价值和意义，并对存在的问题和发展方向进行思考。 【关键词】人工智能；医学影像；骨关节；综述
【中图分类号】TP18；R68 【DOI 】10.3969/j.issn.1005-5185.2022.02.017
Advances in the Application of Artificial Intelligence in Osteoarticular Medical Imaging
LIN Guang, ZHANG Zhiqiang *
Department of Medical Imaging, Affiliated Jinling Hospital, Nanjing University School of Medicine, Nanjing 210002, China; 【Abstract 】Medical imaging is one of the main applications of artificial intelligence in the field of health care. Image examination of osteoarticular is one of the applications of MRI. In particular, the diagnosis of trauma-related osteoarticular diseases conforms to the application scene of medical image artificial intelligence, because of heavy clinical workload and repetitive mechanical labor. The application of artificial intelligence can effectively reduce the burden of doctors' imaging diagnosis. Artificial intelligence can improve the working efficiency of doctors and provide quantitative assessment for the disease prognosis. In this paper, the application of artificial intelligence in osteoarticular is reviewed, clinical application value and significance are summarized, and the existing problems and development direction are considered. 【Key words 】Artificial intelligence; Medical image; Osteoarticular; Review Chinese Journal of Medical Imaging, 2022, 30 (2): 184-187
人工智能是一门综合性的特殊学科，通过让计算机模拟学习人类智能的理论、技术及相关应用方法[1]，涵盖了包括计算机科学、数学、控制论和信息论等多种学科[2]。近年在医疗健康领域，医学影像成为人工智能最主要的应用方向之一[3]。具体到骨关节系统中，其主要应用场景包括以下3个[4]：①
辅助骨关节影像数据的处理；②对某些疾病进行分类筛查；③替代放射科医师做出决策，但是目前应用有限。由此可见，现阶段人工智能更擅长处理一些简单机械的记忆和计算工作，而对于更高层次的逻辑推理能力尚有待提高[5]。
骨关节系统疾病影像模态多样，如X 线对于骨折以及部分成骨性病变的检查效果较好，
MRI 扫描显示某些平片及CT 无法准确观察的软组织病变更加清晰[6]，然而大部分影像数据结构复杂，医师单独阅片诊断要点多且烦琐，人工智能辅助医学影像技术可以在不同
应用场景下帮助医师提高工作效率和诊断能力[3]。目前，人工智能医学影像在骨关节系统中的应用越来越多，本文对其应用现状及前景进行综述。 1 人工智能辅助骨关节系统影像数据处理
目前人工智能辅助骨关节系统影像数据处理的主要应用方向是组织分割[7-9]和病灶识别[10-12]，人工智能可以辅助骨关节MRI 图像上各组织（软骨、骨、半月板、肌肉等）快速全面的分割，并提高分割性能，识别植入物及软骨、半月板、前交叉韧带等的损伤；为骨关节系统组织结构的精准分割及损伤检测提供了有效、准确的依据。
Norman 等[13]使用一种2D U-Net 卷积神经网络（convolution neural net ，CNN ）模型对638例膝关节半月板及软骨进行自动分割，结果显示其Dice 系数为0.753~0.878，模型对半月板及软骨的分割精度与手动
185
分割无显著差异，可以用于骨性关节炎的监测及诊断。Gaj 等[14]使用条件生成对抗网络改善单独使用CNN 构建的模型（如U-Net ）的分割性能，克服了基于像素映射的目标函数带来的问题，并在网络训练过程中总结软骨特征；结果显示，该模型对软骨的分割性能十分优异，髌骨软骨的Dice 系数为0.84，胫骨软骨的Dice 系数为0.91。
Karnuta 等[11]基于三维DenseNet 的体系结构构造了一个分类CNN ，并用不同的输入和另外2个算法（包括VGG16和ResNet ）在163例前交叉韧带撕裂和245例前交叉韧带正常的患者MRI 图像上测试这种深度学习方法；同时让放射科住院医师及资深医师诊断这些图像；最后通过对比模型、住院医师及资深医师的诊断结果，准确率分别为0.957、0.814和0.899，证明使用基于深度学习的自动化检测系统识别前交叉韧带损伤可行。
目前基于不同算法的人工智能模型均表现出超过或相当于人工分割或识别的结果，表明人工智能医学影像已经能够从一定程度上减少骨关节系统复杂结构对医师诊断工作的负担，并提高诊断准确率。 2 人工智能辅助骨关节系统疾病分类诊断
人工智能医学影像辅助疾病分类包括与骨性关节炎相关的各组织结构损伤的诊断、分期[15-17]以及少量骨肿瘤的诊断[18-19]。应用人工智能提取疾病的影像特征，从而提高其检出率，能在很大程度上减少阴性病例对医师工作造成的负担。
Astuto 等[16]使用三维CNN 基于1 435例膝关节MRI 数据开发了一种全自动模型，该模型可以自动检测骨、软骨、半月板及前交叉韧带损伤，并进行分级，结果显示所有类别损伤的敏感度为70%~88%，特异度为85%~89%，ROC 曲线下面积为0.83~0.93；并且模型在外部验证集上也取得较好的结果，提示人工智能在单一或少数类别的病变检出中较为敏感。
Tiulpin 等[17]提出一种基于迁移学习和模型集成的深度学习方法，可以从膝关节X 线片中自动学习与骨性关节炎相关的骨赘及关节间隙变窄等[20]特征，基于Kellgren Lawrence （K-L ）分级系统对骨性关节炎进行评估，在独立的验证数据集上的预测结果优于以前同类型模型。
目前人工智能医学影像已经能够辅助医师对部分疾病进行分类筛查，有效提高诊断灵敏度，并降低假阳性率。然而，这些模型均是在数据来源较单一的环境下开发的，因此其临床稳定性尚未得到有效的验
证[21]。近年，基于多中心及外部验证数据结果的模型[22]已经被越来越多地受到重视，进一步的研究应该将重点放在提高模型在临床环境中的稳定性上。 3 人工智能辅助放射科医师对骨关节系统病变做
出决策
骨关节系统疾病种类繁多且复杂，其工作量对于放射科医师是一项巨大的挑战，人工智能辅助放射科医师决策可以有效地减少工作量，提高工作效率。目前，其主要应用包括骨龄测定[23-24]、髋关节置换[25-26]和骨性关节炎进展及预测预后[27-28]等。
一项研究使用深度学习中的CNN 在12 611幅影像图像上构建一个评估儿童手部X 线骨龄的模型[29]，并在2个不同的数据集上分别测试模型的精度。第1个测试集有200幅儿童手部X 线图像，4名放射科医师独立评估后，对比模型与放射科医师评估的差异；第2个测试集选择913幅来自公共数据集的图像，并用现有的自动化模型进行评估。结果显示，该模型的结果与放射科医师评估结果平均差异为0岁，均方根及平均绝对差分别为0.63岁和0.50岁；其与公共数据集图像的评估结果均方根为0.73岁，与现有模型结果的均方根为0.61岁。通过深度学习中的CNN 构建的模型能够较准确地检测骨龄，并与放射科医师及现有的自动化
模型结果基本一致。2013年，一款名为BoneXpert 的商业系统已经获准在欧洲临床使用[30]，其主要功能是对骨龄进行全自动评估，该模型和人工评估之间的差异
的平均标准差为0.55~0.76年，可以辅助放射科医师评估骨龄，具有很高的实用价值。对于骨性关节炎，尽管暂时尚无可推广应用的商业软件，但已经有大量学者提出基于人工智能的多种预测模型；Leu
ng 等[31]通过728例接受全膝关节置换术和324例未接受全膝关节置换术的匹配对照组患者的膝关节X 线片，建立骨关节炎进展风险的深度学习预测模型，与使用标准分级系统的二元结果模型相比，所提出的深度学习模型更好地预测了骨关节炎患者的全膝关节置换术风险，避免不必要的手术。由此可见，与骨性关节炎进展及预后相关的预测模型具有极大的临床应用价值。 4 问题与展望
尽管近年骨关节系统在人工智能医学影像上已经取得了部分进展，但是与神经系统等热门领域相比仍然存在很多不足：①辅助数据处理尚需完善，对于图像分割的研究最多的是软骨、前交叉韧带及半月板
186
等组织的分割[14-15,32]，而对肌肉、肌腱等关节周围组织的研究较少[8]。关节作为人体重要的运动及承重系统，解剖关系复杂精细，各组织结构间联系紧密，势必需要作为一个整体进行研究和探索。②模型稳定性有待提高，目前人工智能医学影像骨关节系统模型的数据来源仍然相对单一，大部分模型仍处于实验阶段，很少有研究提供这些模型在复杂的临床环境中评估患者症状的稳健性、通用性及安全性的外部验证，表明模型的稳定性较差[21-22]。在今后的开发过程中，需重点关注模型在多中心数据上的稳定性和泛化性，为模型在复杂的临床环境中发挥作用提供更坚实的理论依据。③目前实验大
多是基于已有数据的回顾性研究，很少有前瞻性研究为骨关节系统疾病的诊断和预后提供更有价值的参考。④模型的开发应在影像资料的基础上，结合患者病史及实验室检查等综合信息提高模型的准确性[33]，更好地服务于临床和患者。
随着近年人工智能深度学习方法的普及，人工智能已经逐渐融入医学影像各系统的临床与科研工作中。尽管目前与之相关的疾病研究尚处于初级阶段，疾病的种类及模型的准确性尚有待增加，但是随着影像大数据时代的到来和人工智能技术的不断发展，人工智能医学影像技术必然能够不断地发展与突破，克服现有的问题，在影像诊疗方面为医师提供更多、更有效的帮助，促使智能医疗影像进入新的阶段。
参考文献
[1] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016. [2] 李媛, 张恩龙, 李文娟, 等. 人工智能在骨肌系统影像领
域的研究进展[J]. 中国医学科学院学报, 2020, 42(2): 242-246. DOI: 10.3881/j.issn.1000-503X.11614.
[3] 钟京谕, 姚伟武. 人工智能在骨关节炎影像诊断中的研
究现状与进展[J]. 中华放射学杂志, 2019, 53(9): 790-793. DOI: 10.3760/cma.j.issn.1005-1201.2019.0
9.019.
[4] Tang A, Tam R, Cadrin-Chênevert A, et al. Canadian
association of radiologists white paper on artificial intelligence in radiology[J]. J L'association Can Des Radiol, 2018, 69(2): 120-135. DOI: 10.1016/j.carj.2018.02.002. [5] 刘士远, 萧毅. 基于深度学习的人工智能对医学影像学
的挑战和机遇[J]. 中华放射学杂志, 2017, 51(12): 899-901. DOI: 10.3760/cma.j.issn.1005-1201.2017.12.002.
[6] Park HJ, Kim SS, Lee SY, et al. A practical MRI grading
system for osteoarthritis of the knee: association with
Kellgren-Lawrence radiographic scores[J]. Eur J Radiol, 2013, 82(1): 112-117. DOI: 10.1016/j.ejrad.2012.02.023. [7] Neubert A, Bourgeat P, Wood J, et al. Simultaneous super-resolution and contrast synthesis of routine clinical magnetic resonance images of the knee for improving automatic segmentation of joint cartilage: data from the osteoarthritis initiative[J]. Med Phys, 2020, 47(10): 4939-4948. DOI: 10.1002/mp.14421.
[8] Kemnitz J, Baumgartner CF, Eckstein F, et al. Clinical
evaluation of fully automated thigh muscle and adipose tissue segmentation using a U-Net deep learning architecture in context of osteoarthritic knee pain[J]. MAGMA, 2020, 33(4): 483-493. DOI: 10.1007/s10334-019-00816-5.
[9] 于宁波, 刘嘉男, 高丽, 等. 基于深度学习的膝关节MR
图像自动分割方法[J]. 仪器仪表学报, 2020, 41(6): 140-149. DOI:10.19650/jki.cjsi.J2006199.
[10] Zhang L, Li M, Zhou Y, et al. Deep learning approach for
anterior cruciate ligament lesion detection: evaluation of diagnostic performance using arthroscopy as the reference standard[J]. J Magn Reson Imaging, 2020, 52(6): 1745-1752. DOI: 10.1002/jmri.27266.
[11] Karnuta JM, Luu BC, Roth AL, et al. Artificial intelligence
to identify arthroplasty implants from radiographs of the knee[J]. J Arthroplasty, 2021, 36(3): 935-940. DOI: 10.1016/ j.arth.2020.10.021.
[12] 朱士铭, 滕伟, 李唯, 等. 基于机器学习算法的影像组学
在MRI 诊断早期股骨头坏死中的应用[J]. 中国医学影像学杂志, 2021, 29(8): 817-821. DOI: 10.3969/j.issn.1005-5185.2021.08.013.
[13] Norman B, Pedoia V, Majumdar S. Use of 2D U-net
convolutional neural networks for automated cartilage and meniscus segmentation of knee MR imaging data to determine relaxometry and morphometry[J]. Radiology, 2018, 288(1): 177-185. DOI: 10.1148/radiol.2018172322. [14] Gaj S, Yang M, Nakamura K, et al. Automated cartilage and
meniscus segmentation of knee MRI with conditional generative adversarial networks[J]. Magn Reson Med, 2020, 84(1): 437-449. DOI: 10.1002/mrm.28111.
[15] Liu F, Zhou Z, Samsonov A, et al. Deep learning approach
for evaluating knee MR images: achieving high diagnostic performance for cartilage lesion detection[J]. Radiology, 2018, 289(1): 160-169. DOI: 10.1148/radiol.2018172986.
187
[16] Astuto B, Flament I, Namiri NK, et al. Automatic deep
learning-assisted detection and grading of abnormalities in knee MRI studies[J]. Radiol Artif Intell, 2021, 3(3): e200165. DOI: 10.1148/ryai.2021200165.
[17] Tiulpin A, Saarakkala S. Automatic grading of individual
knee osteoarthritis features in plain radiographs using deep convolutional neural networks[J]. Diagnostics (Basel), 2020, 10(11): E932. DOI: 10.3390/diagnostics10110932. [18] 王浩入, 陈欣, 余春霖, 等. 基于多模态MRI 的影像组学
在儿童髓母细胞瘤中的研究进展[J]. 中国医学影像学杂志, 2021, 29(12): 1247-1250. DOI: 10.3969/j.issn.1005-5185.2021.12.018.
[19] 何方舟, 牛凯, 唐顺, 等. 基于X 线图像的膝关节周围原
发性骨肿瘤辅助诊断的机器学习模型研究[J]. 现代生物医学进展, 2021, 21(15): 2842-2847. DOI: 10.13241/jki. pmb.2021.15.009.
[20] Lieben L. Osteoarthritis: osteophyte formation involves
PAR2[J]. Nat Rev Rheumatol, 2016, 12(2): 70-71. DOI: 10.1038/nrrheum.2016.6.
[21] Yu AC, Eng J. One algorithm may not fit all: how selection
bias affects machine learning performance[J]. Radiographics, 2020, 40(7): 1932-1937. DOI: 10.1148/rg.2020200040. [22] Rizk B, Brat H, Zille P, et al. Meniscal lesion detection and
东部战区在哪characterization in adult knee MRI: a deep learning model approach with external validation[J]. Phys Med, 2021, 83: 64-71. DOI: 10.1016/j.ejmp.2021.02.010.
[23] Lee JH, Kim YJ, Kim KG. Bone age estimation using deep
learning and hand X-ray images[J]. Biomed Eng Lett, 2020, 10(3): 323-331. DOI: 10.1007/s13534-020-00151-y. [24] Koitka S, Kim MS, Qu M, et al. Mimicking the radiologists'
workflow: estimating pediatric hand bone age with stacked deep neural networks[J]. Med Image Anal, 2020, 64: 101743. DOI: 10.dia.2020.101743.
[25] 郭人文, 柴伟, 李想, 等. 机器人辅助在股骨头坏死全髋
关节置换术中的应用[J]. 中华骨科杂志, 2020, 40(13): 819-827. DOI: 10.3760/cma.j121113-20190811-00337. [26] 吴东, 柴伟, 刘星宇, 等. 人工智能全髋关节置换术髋臼
杯放置算法的实验研究[J]. 中华骨科杂志, 2021, 41(3): 176-185. DOI: 10.3760/cma.j121113-20201110-00653. [27] 陈芳, 赵喆, 崔曦雯, 等. 基于深度相机的膝关节骨关节
炎步态分析研究[J]. 中华骨科杂志, 2021, 41(22): 1631-1639. DOI: 10.3760/cma.j121113-20201116-00661. [28] Guan B, Liu F, Mizaian AH, et al. Deep learning approach to
predict pain progression in knee osteoarthritis[J]. Skeletal Radiol, 2022, 51(2): 363-373. DOI: 10.1007/s00256-021-03773-0.
[29] Larson DB, Chen MC, Lungren MP, et al. Performance of a
deep-learning neural network model in assessing skeletal maturity on pediatric hand radiographs[J]. Radiology, 2018, 287(1): 313-322. DOI:10.1148/radiol.2017170236. [30] Thodberg HH, Kreiborg S, Juul A, et al. The BoneXpert
method for automated determination of skeletal maturity[J]. IEEE Trans Med Imaging, 2009, 28(1): 52-66. DOI: 10.1109/TMI.2008.926067.
[31] Leung K, Zhang B, Tan J, et al. Prediction of total knee
replacement and diagnosis of osteoarthritis by using deep learning on knee radiographs: data from the osteoarthritis initiative[J]. Radiology, 2020, 296(3): 584-593. DOI: 10.1148/radiol.2020192091.
[32] Kim D, Lee J, Yoon JS, et al. Development of automated 3D
knee bone segmentation with inhomogeneity correction for deformable approach in magnetic resonance imaging[C]// RACS '18: proceedings of the 2018 conference on research in adaptive and convergent systems. 2018: 285-290. DOI: 10.1145/3264746.3264776.
[33] Kim DH, Lee KJ, Choi D, et al. Can additional patient
information improve the diagnostic performance of deep learning for the interpretation of knee osteoarthritis severity[J]. J Clin Med, 2020, 9(10): E3341. DOI: 10.3390/jcm9103341.
【收稿日期】2021-06-24 【修回日期】2022-01-24
（本文编辑 隋晓萌）
发布评论