(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210758925.7 (22)申请日 2022.06.29 (71)申请人 内蒙古大学 地址 010021 内蒙古自治区呼和浩特市赛 罕区大学西路23 5号 (72)发明人 范道尔吉 　武慧娟　韩丁　高天宏　 陈相仲　田佳　冯文翰　宋世昊　 王志鑫　孙玉鑫　 (74)专利代理 机构 合肥市泽信专利代理事务所 (普通合伙) 3414 4 专利代理师 方荣肖 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06V 10/56(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种奶牛 耳标识别系统 (57)摘要 本发明公开了一种奶牛耳标识别方法及识 别系统。 识别方法包括： S1： 采集一个养殖场内部 的监控视频； S2： 提取监控视频中的图像帧作为 输入图像， 通过基于YOLO  V5的牛头提取模型从 输入图像中提取出牛头图像； S3： 通过颜色阈值 法从牛头图像中提取出耳标图像并进行预处理 形成二值化图像； S4： 将每个二值化图像根据方 向分类并旋转至水平方向成为水平图像； S5： 通 过基于CPTN算法的文字检测模型从水平图像中 检测并提取出文字图像； S6： 采用基于CRNN算法 的文字识别模 型根据文字图像输出预测文字。 本 发明通过对奶牛群体采集监控视频并逐级拆分 获取文字区域， 有效地降低了采集耳标文字图像 的成本， 尽可能地保持了耳标文字的特征， 提高 识别耳标文字的效率。 权利要求书3页 说明书11页 附图3页 CN 115171156 A 2022.10.11 CN 115171156 A 1.一种奶牛 耳标识别方法， 其特 征在于， 其包括如下步骤： S1： 采集一个养殖场内部的监控视频； S2： 提取所述监控视频中包含奶牛的图像帧， 并将提取出的各个图像帧作为输入图像； 通过基于YOLO  V5的牛头提取模型从所述输入图像中提取包含牛头特征的牛头图像； 提取 所述牛头图像的方法包括如下步骤： S21： 收集数据集； 所述数据集包含多张奶牛的牛头原形图像； 所述牛头原形图像通过 对养殖场内多个奶牛以不同背景、 不同角度或不同距离拍照而获取； 其中一部分牛头原形 图像作为测试集， 另一部分牛头原形图像作为训练集； S22： 建立基于YOLO  V5的初始牛头提取模型； 所述YOLO  V5模型包括输入层、 主干网络、 预测层和损失函数； 输入层 包括数据增强、 自适应锚框计算和自适应图像缩放； 所述数据增 强用于对所述训练集中的牛头原形图像进行拼接， 丰富训练集； 自适应锚框计算用于输出 预测框； 自适应图像缩放用于将输入的图像缩放到一个设定的规格； 主干网络用于输出特 征图； 预测层用于根据所述预测框输出预测图像； 损失函数用于消除多余的预测框， 找到最 佳的预测图像； S23： 通过所述训练集对所述初始牛头识别 模型进行训练获取牛头提取模型； 通过所述 测试集对所述牛头提取模型进行测试， 保留通过测试的所述牛头提取模型； S24： 将所述输入图像输入所述牛头识别模型中获取 所述牛头图像； S3： 通过颜色阈值法从每个所述牛头 图像中提取出耳标图像； 对耳标图像进行预处理 形成二值化图像； S4： 检测每个所述二值化图像的方向并将每个所述二值化图像根据 方向分类形成多个 方向集； 将多个方向集旋转至水平方向， 使多个所述方向集内的所有所述二值化图像转换 为水平图像； S5： 通过基于CPTN算法的文字检测模型从所述水平图像 中检测并提取出具有文字特征 的文字图像； S6： 采用基于CRNN算法的文字识别 模型对所述文字图像上的文字内容进行预测并输出 预测文字 。 2.如权利要求1所述的一种奶牛耳标识别方法， 其特征在于， 在S1中， 采集所述视频信 息的方法包括如下步骤： S11： 在所述养殖场内选取 供奶牛活动的活动区域； S12： 在所述活动区域内安装多个监控摄像头； 根据每个监控摄像头的监控覆盖范围将 所述活动区域划分为多个分区域； 在每个分区域内安装至少一个用于实时监控所述分区域 的监控摄 像头； S13： 通过所述监控摄像头采集每个分区域的监控视频并将所述监控视频传输到所述 牛头图像提取模型中。 3.如权利要求1所述的一种奶牛耳标识别方法， 其特征在于， 在S3中， 所述颜色阈值法 包括如下步骤： S31： 使用颜色空间转换工具将所述牛头图像的颜色空间变换到HSV颜色空间获得HSV 图像； S32： 设置奶牛耳标的HSV颜色阈值范围， 根据所述颜色阈值范围从所述牛头图像中分权　利　要　求　书 1/3 页 2 CN 115171156 A 2割出所述耳标图像。 4.如权利要求1所述的一种奶牛耳标识别方法， 其特征在于， 在S3中， 所述预处理的方 法包括： 滤波、 直方图均衡化和二值化； 所述滤波处理用于对所述耳标图像的噪声进行抑 制； 所述直方图均衡化用于调整所述耳标图像的对比度； 所述二值化用于将所述耳标图像 转化为所述二值化图像。 5.如权利要求1所述的一种奶牛耳标识别方法， 其特征在于， 在S4中， 所述方向集的分 类方法包括： S41： 构建基于VG GNet‑16神经网络的分类模型； S42： 根据所述分类模型识别所述 二值化图像中耳 标方向与水平方向的夹角范围； S43： 根据所述夹角范围对所述二值化图像进行分类形成多个方向集； 多个方向集包 括： 0°集、 90°集、 180°集和270°集； 所述0 °集、 所述90 °集、 所述180 °集和所述270 °集分别对 应的夹角范围为[ θ， θ +90 °)、 [ θ +90°， θ +180°)、 [ θ +180 °， θ +270°)和[ θ +270 °， θ +360°)； 其中θ ∈[‑45°， 0°]。 6.如权利要求5所述的一种奶牛耳标识别方法， 其特征在于， 在S41中， 所述VGGNet ‑16 神经网络包括13个卷积层、 5个池化层和 3个全连层； 每个卷积层均为3 ×3的小型卷积滤波 器； 13个卷积层按照两层、 两层、 三层、 三层和三层 的顺序分为五段； 每段内连接一个池化 层； 每个池化层均为2 ×2的最大池化核； 全连接层用于整合卷积层和池化层中具有类别区 分性的局部信息 。 7.如权利 要求5所述的一种奶牛耳标识别方法， 其特征在于， 在S43中， 将所述0 °集定义 为水平方向集； 旋转 其余的方向集 直至全部的方向集 转换为水平方向集。 8.如权利要求1所述的一种奶牛耳标识别方法， 其特征在于， 在S5中， 所述文字 图像提 取模型的建立方法包括如下步骤： S51： 获取文本图像集； 每头奶牛佩戴的所述耳标均具有特定的文字编号； 通过对所述 文字编号的所有非重复文字进 行单独拍照获取多个文字图像； 多个所述文字图像共同构成 所述文本图像集； 其中一部分所述文本图像集作为训练集二； 另一部分所述文本图像作为 测试集二； S52： 建立基于 CPTN算法的初始文字检测模型； S53： 通过所述训练集二对所述初始文字图像提取模型进行训练获取文字图像提取模 型； 通过所述测试集二对所述文字图像提取模型进行测试； 保留通过测试 的文字图像提取 模型。 9.如权利要求1所述的一种奶牛耳标识别方法， 其特征在于， 在S6中， 所述文字识别模 型包括： CNN卷积层， 其用于提取所述文字图像中具有文字特征的特征图像并对特征图像进行 切片形成多个切片图像； RNN循环层， 其用于对所述切片图像 循环编码与解码； 将所述切片图像输出为预测值； CTC转录层， 其用于对所述RN N循环层获取的预测值 排序并转换成预测文字 。 10.一种奶牛耳标识别系统， 其应用如权利要求1 ‑9中任意一项所述的奶牛耳标识别方 法实时监测养殖场内每头佩戴耳 标的奶牛的位置信息， 其特 征在于， 其包括： 视频采集模块， 其包括多个监控摄像头； 所述监控摄像头用于采集养殖场内的监控视权　利　要　求　书 2/3 页 3 CN 115171156 A 3