基于yolo8的心脏MRI图片检测

前言

  • 心脏 MRI 能清楚显示左心室、右心室和心肌的形态,但医生需要在几十张切片上逐一勾画这些结构,非常耗时。
  • 本文介绍一种基于 YOLO8 的心脏 MRI 结构检测方法:输入一张心脏 MRI 切片,模型框出右心室、心肌和左心室的位置,并给出置信度。
  • 项目可识别右心室、心肌、左心室三个类别,并在图片中绘制检测框、类别名称和置信度。
  • 本项目做的是心脏结构的目标检测,只输出矩形框,不输出精确的分割轮廓,也不能替代医生诊断。


  • 整体流程主要分为两步。
  • 第一步:把心脏 MRI 的三维数据切成二维图片,把分割标注转换成检测框,以 YOLO8 预训练权重为起点进行微调训练。
  • 第二步:加载训练好的权重,对指定切片进行检测,并根据检测结果给出一个规则推算的异常参考。

介绍

第一步:心脏 MRI 检测模型训练

YOLO8 环境配置

  • 项目使用 Python 开发,模型训练和推理由 Ultralytics 完成,读取 MRI 数据需要用到 nibabel。
  • 依赖安装命令如下:
pip install ultralytics nibabel scikit-learn

数据集准备与处理

  • 项目使用心脏 MRI 数据集。每位患者有舒张末期和收缩末期两个时刻的三维 MRI,以及医生勾画的分割标注。
  • 运行 prepare_data.py,会把三维数据逐层切成二维 PNG 图片,再把每个结构的分割区域换算成外接矩形,保存为 YOLO 检测格式。
  • 按患者划分数据,同一位患者的切片不会同时出现在训练集和测试集中:训练集 80 位、验证集 20 位、测试集 50 位,共近三千张切片。
  • 类别编号:0;英文类别:RV;中文含义:右心室;训练集:1,237;验证集:320;测试集:881;合计:2,438

  • 类别编号:1;英文类别:myocardium;中文含义:心肌;训练集:1,454;验证集:373;测试集:989;合计:2,816

  • 类别编号:2;英文类别:LV;中文含义:左心室;训练集:1,440;验证集:367;测试集:977;合计:2,684

  • 类别编号:合计;英文类别:—;中文含义:—;训练集:4,131;验证集:1,060;测试集:2,847;合计:7,938

  • 表中统计的是标注框数量。心脏底部和尖部的切片上,部分结构不可见,所以右心室的框数相对少一些。

训练目标检测模型

  • 项目使用 yolo8.pt 作为初始权重,在心脏 MRI 切片上进行微调,输入尺寸为 640。
  • 图片输入模型后,模型预测每个结构的边界框、类别和置信度。
  • 在项目根目录运行 train2.bat 即可开始训练。

训练结果评估

  • 精确率表示模型画出的框中,类别判断正确的比例;召回率表示所有真实结构中,被模型找出来的比例。
  • mAP50 是检测任务的综合成绩:预测框和真实框重叠超过一半就算对,满分为 1。
  • 本文使用测试集的 1,076 张切片验证了 best2.pt,结果为:精确率 96.1%,召回率 94.5%,mAP50 为 0.977。
  • 从各类别来看,心肌效果最好,召回率为 97.8%;左心室为 95.9%。

第二步:指定心脏 MRI 切片检测

加载检测权重

  • predict2.py 默认加载项目根目录中的 best2.pt。

使用脚本识别图片

  • 在项目根目录执行如下命令,检测指定的心脏 MRI 切片:
python predict2.py
  • 脚本默认检测根目录下的 1.png。模型检测到心肌(置信度 0.83)和左心室(置信度 0.77),没有检测到右心室。
  • 检测完成后,脚本会根据三个结构是否齐全、左右心室的面积比、心肌与左心室的面积比,计算一个 0 到 1 的“异常分数”,再按阈值给出“正常”“扩张性心肌病”“肥厚性心肌病”等参考结论。

检测效果与适用范围

  • 疾病结论来自人为设定的规则,不是模型学习得到的。本文用测试集中已知诊断结果的 11 位患者做了检验,按多数切片的结论统计,只有 4 位判断一致,扩张性心肌病、心肌梗死、右心室异常的患者都被判为“正常”。
  • 因此,项目的可靠部分是三个心脏结构的检测。疾病结论仅用于演示规则思路,不能作为诊断依据。

总结

  • 以上就是基于 YOLO8 的心脏 MRI 结构检测项目的主要实现流程:把三维 MRI 切成二维切片并生成检测框标注,微调 YOLO8 检测模型,再用最佳权重对切片进行检测。
  • 测试集上模型的 mAP50 为 0.977,召回率为 94.5%。
  • 感兴趣的小伙伴可以联系我.