基于yolo8的果蔬新鲜度检测

前言

  • 超市货架、生鲜仓库和农产品分拣环节,需要及时把腐烂的果蔬挑出来。人工巡检费时费力,也容易漏看。
  • 本文介绍一种基于 YOLO8 的果蔬新鲜度检测方法:输入一张图片,模型框出图中的每个果蔬,判断它是新鲜还是腐烂,并给出置信度。
  • 项目覆盖苹果、香蕉、甜椒、胡萝卜、黄瓜、芒果、橙子、土豆 8 种常见果蔬,每种分为新鲜和腐烂两类。
  • 本项目判断“新鲜”或“腐烂”两种状态。


  • 整体流程主要分为两步。
  • 第一步:准备带有位置框和新鲜度标注的果蔬图片,以 YOLO8 预训练权重为起点进行微调训练。
  • 第二步:加载训练好的 best.pt,对指定图片进行检测,输出每个果蔬的种类、新鲜度和置信度,发现腐烂果蔬时给出提醒。

介绍

第一步:果蔬新鲜度检测模型训练

YOLO8 环境配置

  • 项目使用 Python 开发,模型训练和推理由 Ultralytics 完成。
  • 依赖安装命令如下:
pip install -r requirements.txt

数据集准备与处理

  • 项目使用公开的果蔬新鲜度数据集,共九千多张图片,分为训练集、验证集和测试集。
  • 标注采用 YOLO 目标检测格式,每条标注包含类别编号、归一化的中心点坐标、宽度和高度。
  • 一张图片中可能有多个果蔬,所以下表统计的是标注框数量,不是图片数量。
  • 类别编号:0;英文类别:fresh apple;中文含义:新鲜苹果;训练集:1,277;验证集:377;测试集:180;合计:1,834

  • 类别编号:1;英文类别:fresh banana;中文含义:新鲜香蕉;训练集:1,007;验证集:280;测试集:181;合计:1,468

  • 类别编号:2;英文类别:fresh bellpepper;中文含义:新鲜甜椒;训练集:1,555;验证集:445;测试集:222;合计:2,222

  • 类别编号:3;英文类别:fresh carrot;中文含义:新鲜胡萝卜;训练集:1,638;验证集:460;测试集:209;合计:2,307

  • 类别编号:4;英文类别:fresh cucumber;中文含义:新鲜黄瓜;训练集:1,185;验证集:349;测试集:203;合计:1,737

  • 类别编号:5;英文类别:fresh mango;中文含义:新鲜芒果;训练集:797;验证集:212;测试集:120;合计:1,129

  • 类别编号:6;英文类别:fresh orange;中文含义:新鲜橙子;训练集:984;验证集:280;测试集:124;合计:1,388

  • 类别编号:7;英文类别:fresh potato;中文含义:新鲜土豆;训练集:1,412;验证集:390;测试集:249;合计:2,051

  • 类别编号:8;英文类别:rotten apple;中文含义:腐烂苹果;训练集:645;验证集:208;测试集:70;合计:923

  • 类别编号:9;英文类别:rotten banana;中文含义:腐烂香蕉;训练集:574;验证集:172;测试集:68;合计:814

  • 类别编号:10;英文类别:rotten carrot;中文含义:腐烂胡萝卜;训练集:1,038;验证集:343;测试集:131;合计:1,512

  • 类别编号:11;英文类别:rotten cucumber;中文含义:腐烂黄瓜;训练集:537;验证集:188;测试集:82;合计:807

  • 类别编号:12;英文类别:rotten mango;中文含义:腐烂芒果;训练集:528;验证集:181;测试集:63;合计:772

  • 类别编号:13;英文类别:rotten orange;中文含义:腐烂橙子;训练集:458;验证集:130;测试集:62;合计:650

  • 类别编号:14;英文类别:rotten potato;中文含义:腐烂土豆;训练集:1,273;验证集:376;测试集:223;合计:1,872

  • 类别编号:15;英文类别:rotten tomato;中文含义:腐烂番茄;训练集:13;验证集:0;测试集:0;合计:13

  • 类别编号:16;英文类别:rottenbellpepper;中文含义:腐烂甜椒;训练集:667;验证集:173;测试集:85;合计:925

  • 类别编号:合计;英文类别:—;中文含义:—;训练集:15,588;验证集:4,564;测试集:2,272;合计:22,424

  • 腐烂番茄只有 13 个训练样本,也没有新鲜番茄的图片,所以番茄不算在模型支持的果蔬种类里。

训练目标检测模型

  • 项目使用 yolo8.pt 作为初始权重,在果蔬图片上进行微调,训练 30 轮,输入尺寸为 640。
  • 图片输入模型后,模型预测每个果蔬的边界框、类别和置信度。类别名同时包含种类和新鲜度,例如“腐烂苹果”。
  • 在项目根目录运行 train.bat 即可开始训练,训练结束后得到最佳权重 best.pt。

训练结果评估

  • 精确率表示模型画出的框中,类别判断正确的比例;召回率表示所有真实果蔬中,被模型找出来的比例。
  • mAP50 是检测任务的综合成绩:预测框和真实框重叠超过一半就算对,满分为 1。
  • 本文使用测试集的 945 张图片验证了 best.pt,结果为:精确率 84.0%,召回率 85.6%,mAP50 为 0.889。
  • 腐烂芒果、新鲜芒果、腐烂橙子、新鲜苹果和新鲜橙子效果最好,mAP50 都在 0.95 以上。

第二步:指定果蔬图片检测

加载检测权重

  • predict.py 默认加载项目根目录中的 best.pt,并把模型输出的英文类别转换为中文名称。

使用脚本识别图片

  • 在项目根目录执行如下命令,检测指定图片中的果蔬:
python predict.py
  • 脚本默认检测根目录下的 carrot1.jpg。模型找到 2 根胡萝卜,都判断为腐烂,平均置信度为 82.46%,并提示把它们从货架上移除。
  • 换成根目录下的 apple1.png,模型输出 腐烂苹果,置信度为 92.8%,识别正确。
  • 检测结果会画在图片上并保存为 result.jpg。返回结果按类别汇总,包含中文名、数量、平均置信度、是否腐烂和参考保质期。

检测效果与适用范围

  • 模型适合在货架巡检、生鲜分拣等场景中,快速找出外观已经腐烂的果蔬。
  • 模型只能根据外观判断,无法发现内部变质。参考保质期是固定的经验值,例如新鲜香蕉 7 天、新鲜土豆 60 天,实际存放时间还要结合储存条件判断。

总结

  • 以上就是基于 YOLO8 的果蔬新鲜度检测项目的主要实现流程:准备 8 种果蔬的新鲜和腐烂标注数据,微调 YOLO8 检测模型,再用最佳权重对图片进行检测和提醒。
  • 测试集上模型的 mAP50 为 0.889,召回率为 85.6%。
  • 后续可以补充番茄等更多果蔬种类的图片,并收集真实存放天数数据,把固定的参考保质期改为按实际情况估算。
  • 感兴趣的小伙伴可以联系我.