基于 YOLO 和 LPRNet 的车牌识别

前言

  • 车牌识别在我们实际生活中十分常见,本文主要介绍一种基于YOLO8目标检测与LPRNet进行车牌识别的实现方法。

  • 本文提供了完整的数据集和代码,以供学习参考。

  • 要进行车牌识别,主要分为两步。

  • 第一步:进行车辆车牌位置的检测,本项目使用YOLO8目标检测模型车牌位置,从整张图片中找到车牌位置,并裁剪出车牌区域,精度为0.99。

  • 第二步:对第一步检测出的车牌进行识别,使用LPRNet卷积神经网络,将车牌图片转换为包含汉字、字母和数字的车牌号码。

介绍

  • 下面对这些内容进行详细介绍

第一步:车牌检测

  • 本文主要基于yolo8训练了一个车牌检测模型,用于进行车牌位置的检测,主要步骤如下:

yolo8环境配置

pip install ultralytics

数据集准备与处理

  • 本项目训练模型使用的数据集为CPDD数据集。

  • CCPD是一个大型的、多样化的、经过仔细标注的中国城市车牌开源数据集。

  • 在CCPD数据集中,每张图片仅包含一张车牌,车牌的车牌省份主要为皖。

  • CCPD提供了超过250k个独特的车牌图像和详细的注释。

  • 每张图像的分辨率为720(宽度)× 1160(高)× 3(通道)。

  • 总的来说CCPD数据集非常推荐研究车牌识别算法的人员学习使用。

训练目标检测模型

  • 在项目目录中新建datasets目录,同时将分类的图片分为训练集和验证集放入Data目录下。

  • 数据准备完成后,通过调用train.py文件进行模型训练.

训练结果评估

  • 在深度学习中,我们通常用损失函数下降的曲线来观察模型训练的情况。

  • 各损失函数作用说明: 定位损失box_loss:预测框与标定框之间的误差(GIoU),越小定位得越准; 分类损失cls_loss:计算锚框与对应的标定分类是否正确,越小分类得越准; 动态特征损失(dfl_loss):DFLLoss是一种用于回归预测框与目标框之间距离的损失函数。

检测结果识别

模型训练完成后,我们可以得到一个最佳的训练结果模型best.pt文件,在runs/trian/weights目录下。 我们可以使用该文件进行后续的推理检测。

执行predict.py代码后,会将执行的结果直接标注在图片上。 可以发现,该模型能够很好的检测出车牌区域。

第二步:车牌识别

  • 本文的车牌识别直接使用的是开源的LPRNet检测模型。

  • LPRNet 是一种轻量级车牌识别神经网络,用于读取车牌上的汉字、字母和数字。

  • LPRNet 通过卷积神经网络提取车牌特征,无需提前将每个字符单独切割。

  • 模型预测字符序列后,通过 CTC 解码去除连续重复字符和空白符,得到完整车牌号码。

  • 项目使用 PyTorch 加载训练好的 LPRNet 权重,完成车牌图片到文字的转换。

总结

  • 以上就是关于 车牌检测和识别 项目的介绍.感兴趣的小伙伴可以联系我.