基于yolo8的饮料商品识别
前言
- 超市货架盘点、无人售货柜结算和仓库出入库,都需要认出“货架上有哪些饮料、各有几瓶”。商品种类多、包装相似,人工清点费时,也容易数错。
- 本文介绍一种基于 YOLO8 的饮料商品识别方法:输入一张货架或商品图片,模型框出图中的每一瓶(罐)饮料,并给出商品名称、规格和置信度。
- 项目可识别百事公司旗下 60 种饮料商品,涵盖百事可乐、七喜、美年达、Aquafina 纯净水、Sting 能量饮料、Tea+ 茶饮料、Twister 果汁等系列,并区分瓶装、罐装和不同容量。
- 本项目只识别训练过的这 60 种商品,其他品牌的饮料无法识别;也不读取生产日期、价格等标签信息。
- 整体流程主要分为两步。
- 第一步:准备带有位置框和商品类别标注的饮料图片,以 YOLO8 预训练权重为起点进行微调训练。
- 第二步:加载训练好的
best.pt,对指定图片进行识别,按商品统计数量,并给出所属系列。
介绍
第一步:饮料商品识别模型训练
YOLO8 环境配置
- 项目使用 Python 开发,模型训练和推理由 Ultralytics 完成。
- 依赖安装命令如下:
pip install ultralytics
数据集准备与处理
- 项目使用 Roboflow 上公开的饮料商品数据集(drink_detection_vn),图片拍摄自越南市场的货架和商品,共一千多张,分为训练集、验证集和测试集。
- 标注采用 YOLO 目标检测格式,每条标注包含类别编号、归一化的中心点坐标、宽度和高度。
- 一张货架图片里通常有多瓶饮料,所以下表按商品系列统计的是标注框数量,不是图片数量。
商品系列:百事可乐;商品种类:10;代表商品:百事可乐罐装 320ml、百事无糖瓶装 390ml;训练集:1,414;验证集:142;测试集:21;合计:1,577
商品系列:七喜;商品种类:5;代表商品:七喜瓶装 1500ml、七喜罐装 320ml;训练集:601;验证集:68;测试集:0;合计:669
商品系列:Aquafina 纯净水;商品种类:5;代表商品:瓶装 500ml、瓶装 1500ml;训练集:686;验证集:74;测试集:0;合计:760
商品系列:美年达;商品种类:12;代表商品:美年达橙味罐装、美年达沙士瓶装;训练集:712;验证集:88;测试集:2;合计:802
商品系列:Sting 能量饮料;商品种类:6;代表商品:红色瓶装 390ml、红色罐装 320ml;训练集:1,012;验证集:158;测试集:8;合计:1,178
商品系列:Tea+ 茶饮料;商品种类:11;代表商品:柠檬茶、乌龙茶;训练集:973;验证集:158;测试集:8;合计:1,139
商品系列:Twister 果汁;商品种类:4;代表商品:橙汁瓶装、橙汁罐装;训练集:189;验证集:16;测试集:0;合计:205
商品系列:其他;商品种类:7;代表商品:Revive 运动饮料、Rockstar 能量饮料;训练集:992;验证集:143;测试集:25;合计:1,160
商品系列:合计;商品种类:60;代表商品:—;训练集:6,579;验证集:847;测试集:64;合计:7,490
训练目标检测模型
- 项目使用
yolo8.pt作为初始权重,在饮料图片上进行微调,训练 40 轮,输入尺寸为 640。 - 图片输入模型后,模型预测每瓶饮料的边界框、商品类别和置信度。
- 在项目根目录运行
train.bat即可开始训练,最佳权重保存为best.pt。
训练结果评估
- 精确率表示模型画出的框中,商品判断正确的比例;召回率表示所有真实商品中,被模型找出来的比例。
- mAP50 是检测任务的综合成绩:预测框和真实框重叠超过一半就算对,满分为 1。
- 根据训练记录,
best.pt在验证集的 100 张图片上,精确率为 69.0%,召回率为 68.1%,mAP50 为 0.727。 - 验证集中出现的 59 种商品里,有 14 种的 mAP50 达到 0.9 以上。
第二步:指定饮料图片识别
加载识别权重
predict.py默认加载项目根目录中的best.pt,并把模型输出的英文类别转换为中文商品名和所属系列。
使用脚本识别图片
- 在项目根目录执行如下命令,识别指定图片中的饮料商品:
python predict.py
- 脚本默认识别根目录下的
pepsi1.png,这是一罐 355ml 的百事可乐。模型判断为百事可乐系列的罐装可乐,置信度为 0.43。 - 系列判断正确,但具体商品被识别成了百事无糖罐装。这款 355ml 的罐子不在训练数据里,模型只能找最相近的商品。
- 返回结果按商品汇总,包含中文名、英文名、数量、所属系列和置信度,可以直接用于库存统计。
识别效果与适用范围
- 项目还提供了
camera_predict.py,可以接入摄像头实时识别画面中的饮料;generate_insert_sql.py可以生成 60 种商品的数据库记录,方便接入商品管理系统。 - 同一系列不同容量的商品外形很接近,拍摄时最好让商品标签正对镜头,并保证光线充足。
总结
- 以上就是基于 YOLO8 的饮料商品识别项目的主要实现流程:准备 60 种饮料商品的标注数据,微调 YOLO8 检测模型,再用最佳权重对图片进行识别和数量统计。
- 验证集上模型的 mAP50 为 0.727,召回率为 68.1%。
- 后续可以补充更多不同容量、不同角度的商品图片,并加入本地市场常见的包装,进一步提高识别准确率。
- 感兴趣的小伙伴可以联系我.