基于yolo8的饮料商品识别

前言

  • 超市货架盘点、无人售货柜结算和仓库出入库,都需要认出“货架上有哪些饮料、各有几瓶”。商品种类多、包装相似,人工清点费时,也容易数错。
  • 本文介绍一种基于 YOLO8 的饮料商品识别方法:输入一张货架或商品图片,模型框出图中的每一瓶(罐)饮料,并给出商品名称、规格和置信度。
  • 项目可识别百事公司旗下 60 种饮料商品,涵盖百事可乐、七喜、美年达、Aquafina 纯净水、Sting 能量饮料、Tea+ 茶饮料、Twister 果汁等系列,并区分瓶装、罐装和不同容量。
  • 本项目只识别训练过的这 60 种商品,其他品牌的饮料无法识别;也不读取生产日期、价格等标签信息。


  • 整体流程主要分为两步。
  • 第一步:准备带有位置框和商品类别标注的饮料图片,以 YOLO8 预训练权重为起点进行微调训练。
  • 第二步:加载训练好的 best.pt,对指定图片进行识别,按商品统计数量,并给出所属系列。

介绍

第一步:饮料商品识别模型训练

YOLO8 环境配置

  • 项目使用 Python 开发,模型训练和推理由 Ultralytics 完成。
  • 依赖安装命令如下:
pip install ultralytics

数据集准备与处理

  • 项目使用 Roboflow 上公开的饮料商品数据集(drink_detection_vn),图片拍摄自越南市场的货架和商品,共一千多张,分为训练集、验证集和测试集。
  • 标注采用 YOLO 目标检测格式,每条标注包含类别编号、归一化的中心点坐标、宽度和高度。
  • 一张货架图片里通常有多瓶饮料,所以下表按商品系列统计的是标注框数量,不是图片数量。
  • 商品系列:百事可乐;商品种类:10;代表商品:百事可乐罐装 320ml、百事无糖瓶装 390ml;训练集:1,414;验证集:142;测试集:21;合计:1,577

  • 商品系列:七喜;商品种类:5;代表商品:七喜瓶装 1500ml、七喜罐装 320ml;训练集:601;验证集:68;测试集:0;合计:669

  • 商品系列:Aquafina 纯净水;商品种类:5;代表商品:瓶装 500ml、瓶装 1500ml;训练集:686;验证集:74;测试集:0;合计:760

  • 商品系列:美年达;商品种类:12;代表商品:美年达橙味罐装、美年达沙士瓶装;训练集:712;验证集:88;测试集:2;合计:802

  • 商品系列:Sting 能量饮料;商品种类:6;代表商品:红色瓶装 390ml、红色罐装 320ml;训练集:1,012;验证集:158;测试集:8;合计:1,178

  • 商品系列:Tea+ 茶饮料;商品种类:11;代表商品:柠檬茶、乌龙茶;训练集:973;验证集:158;测试集:8;合计:1,139

  • 商品系列:Twister 果汁;商品种类:4;代表商品:橙汁瓶装、橙汁罐装;训练集:189;验证集:16;测试集:0;合计:205

  • 商品系列:其他;商品种类:7;代表商品:Revive 运动饮料、Rockstar 能量饮料;训练集:992;验证集:143;测试集:25;合计:1,160

  • 商品系列:合计;商品种类:60;代表商品:—;训练集:6,579;验证集:847;测试集:64;合计:7,490

训练目标检测模型

  • 项目使用 yolo8.pt 作为初始权重,在饮料图片上进行微调,训练 40 轮,输入尺寸为 640。
  • 图片输入模型后,模型预测每瓶饮料的边界框、商品类别和置信度。
  • 在项目根目录运行 train.bat 即可开始训练,最佳权重保存为 best.pt。

训练结果评估

  • 精确率表示模型画出的框中,商品判断正确的比例;召回率表示所有真实商品中,被模型找出来的比例。
  • mAP50 是检测任务的综合成绩:预测框和真实框重叠超过一半就算对,满分为 1。
  • 根据训练记录,best.pt 在验证集的 100 张图片上,精确率为 69.0%,召回率为 68.1%,mAP50 为 0.727。
  • 验证集中出现的 59 种商品里,有 14 种的 mAP50 达到 0.9 以上。

第二步:指定饮料图片识别

加载识别权重

  • predict.py 默认加载项目根目录中的 best.pt,并把模型输出的英文类别转换为中文商品名和所属系列。

使用脚本识别图片

  • 在项目根目录执行如下命令,识别指定图片中的饮料商品:
python predict.py
  • 脚本默认识别根目录下的 pepsi1.png,这是一罐 355ml 的百事可乐。模型判断为百事可乐系列的罐装可乐,置信度为 0.43。
  • 系列判断正确,但具体商品被识别成了百事无糖罐装。这款 355ml 的罐子不在训练数据里,模型只能找最相近的商品。
  • 返回结果按商品汇总,包含中文名、英文名、数量、所属系列和置信度,可以直接用于库存统计。

识别效果与适用范围

  • 项目还提供了 camera_predict.py,可以接入摄像头实时识别画面中的饮料;generate_insert_sql.py 可以生成 60 种商品的数据库记录,方便接入商品管理系统。
  • 同一系列不同容量的商品外形很接近,拍摄时最好让商品标签正对镜头,并保证光线充足。

总结

  • 以上就是基于 YOLO8 的饮料商品识别项目的主要实现流程:准备 60 种饮料商品的标注数据,微调 YOLO8 检测模型,再用最佳权重对图片进行识别和数量统计。
  • 验证集上模型的 mAP50 为 0.727,召回率为 68.1%。
  • 后续可以补充更多不同容量、不同角度的商品图片,并加入本地市场常见的包装,进一步提高识别准确率。
  • 感兴趣的小伙伴可以联系我.