(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210476407.6 (22)申请日 2022.04.29 (71)申请人 南昌航空大 学 地址 330063 江西省南昌市丰和南大道696 号 (72)发明人 熊邦书　陈加保　欧巧凤　余磊　 (74)专利代理 机构 南昌华成联合知识产权代理 事务所(普通 合伙) 36126 专利代理师 黄晶 (51)Int.Cl. G06V 10/22(2022.01) G06V 20/52(2022.01) G06T 7/80(2017.01) G06T 7/73(2017.01) G06V 10/75(2022.01)G06V 10/10(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于YOL OV3-Tiny的室外直升机尾桨振 动量实时监测方法 (57)摘要 本发明涉及基于YOL OV3‑Tiny的直升机尾桨 振动量实时监测方法， 其包括以下步骤： 1)计算 机视觉标定； 2)实时尾桨 图像采集； 3)尾桨桨尖 区域智能定位； 4)尾桨桨尖气动中心点定位； 5) 尾桨振动量实时监测。 本发明利用计算机视觉技 术进行高速、 高质量的尾桨图像采集和计算机视 觉标定， 具有精度高的特点； 采用YOL OV3‑Tiny深 度学习网络对尾桨桨尖区域进行智能定位， 保证 了室外全天候复杂光照和背景下的精 准定位， 具 有适应性强、 速度快的特点； 通过桨尖的几何特 性定位桨尖的气动中心点， 实现了尾桨振动量的 实时监测。 本发 明可用于直升机尾桨振动量的实 时监测， 为新型直升机的设计、 改进提供数据支 撑， 指明改进方向。 权利要求书3页 说明书11页 附图7页 CN 114913317 A 2022.08.16 CN 114913317 A 1.一种基于YOLOV3 ‑Tiny的室外直升机尾桨振动量实时监测方法， 其特征在于， 包括以 下步骤： 步骤(1)计算机 视觉标定； 步骤(2)实时尾 桨图像采集； 步骤(3)尾 桨桨尖区域智能定位， 具体步骤如下： 步骤(3.1)图像数据集制作， 首先， 构建尾桨模拟实验环境； 其次， 通过LabelImg标注工 具对尾桨桨尖图像进 行标注， 提取图像中目标的类别和位置信息； 然后， 对标注好的图像和 位置信息进 行匹配检查； 最后， 将位置 关系转换成文本文件， 将对应的尾桨图像与位置信息 文件分别放入同一级目录两个不同名称文件夹内， 所有采集到的尾桨图像与获取的尾桨桨 尖的位置信息文件 共同组成图像数据集， 同时将图像数据集分为训练集和 测试集； 步骤(3.2)训练集数据增强； 首先， 采用HSV颜色空间调整方法扩展数据的多样性， 以适 应复杂的光照环境； 其次， 采用水平翻转和马赛克式拼接， 增强数据复杂度， 以适应不同背 景的复杂情形； 步骤(3.3)网络的搭建及训练； 步骤(3.3.1)网络搭建， 首先， 配置好网络搭建与训练所需的软件环境， 结构包含特征 提取网络D1、 第一输出网络D2、 第二输出网络D3三部分； 特征提取网络D1包含一个输入层， 以及五个卷积层和四个池化层交替的结构； 第一输出网络D2与第二输出网络D 3均包含卷积 核大小为3x3与1x1的二维卷积层； 特征提取网络D1用于提取图像特征， 第一输出网络D2与 第二输出网络D3用于 输出两个不同尺寸的特 征图； 步骤(3.3.2)预设好网络候选 框的大小； 步骤(3.3.3)网络训练， 首先， 设置 网络的数据输入路径； 其次， 预设好网络的超参数信 息； 最后， 进行训练， 训练过程中， 网络模型使用CIoU指标计算候选框的坐标误差， 使用 BCEWithLogitsLoss(二值交叉熵)计算置信度误差和分类误差， 计算图像数据集数据/训练 集数据与网络模型输出量之间的差距， 其计算公式为： 式中， IOU是指边界框和候选框的交并比； Distance_2是指边界框的对角线的长度， Distance_C是指候选框与边界框的中心点的欧式距离； v是衡量候选框和边界框长宽比一 致性的指标； yi为训练集数据， xi为模型输出量； 根据计算得到的置信度误差、 分类误差、 坐标误差数据， 保存训练过程中， 损失值最小 或平均准确率 最高的一组模型参数； 步骤(3.4)YOLOV3 ‑Tiny智能定位， 首先， 模型参数加载及参数设置； 其次， 得到网络输 出； 最后， 尾桨桨尖区域智能定位， 对网络的输出， 使用非极大值抑制算法去除重叠的候选 框， 再使用置信度阈值， 对小于阈值的数据一一剔除， 最后得到目标的位置和 类别信息， 实 现尾桨桨尖区域的智能定位； 步骤(3.5)模型工程化， 首先， 将步骤(3.3.3)中得到 的模型参数重新导入网络； 其次， 将网络结构和模型参数保存成特定字典文件； 然后， 将字典文件转化为ONNX通用的模型框权　利　要　求　书 1/3 页 2 CN 114913317 A 2架； 最后， 将ON NX文件读入内存， 读取成功后， ON NX文件可放到 工程中使用； 步骤(4)尾 桨桨尖气动中心点定位； 步骤(5)尾 桨振动量实时监测， 具体步骤如下： 步骤(5.1)基准选择， 在进行振动量监测的过程中， 选取所有桨叶中， 振动量数值较为 稳定的桨叶的桨尖气动中心点作为基准 点； 步骤(5.2)振动量的计算， 将步骤(4)中得到的尾桨桨尖气动中心点的x值与步骤(5.1) 中获取的基准点的x值作差， 将差值乘以步骤(1)中得到的标定系数， 就可得到尾桨的振动 量， 其计算公式为： val＝(pt_n_new.x ‑criterion)*calibration 式中， val为振动量， pt_n_new.x为桨尖气动中心点的x值， criterion为基准点的x值， calibration为标定系数。 2.根据权利要求1所述的基于YOLOV3 ‑Tiny的室外直升机尾桨振动量实时监测方法， 其 特征在于， 所述 步骤(1)中计算机 视觉标定的具体步骤如下： 步骤(1.1)通过处理计算机、 信号触发装置、 工业相机、 频闪灯和光电传感器构建图像 采集装置； 通过千兆以太网接口， 将处 理计算机与信号 倍频器相连； 步骤(1.2)利用处 理计算机对工业相机和信号 倍频器进行查找、 通信连接； 步骤(1.3)在工业相机的视场内放置标定模板， 设置好靶标参数， 利用工业相机采集标 定模板的图像； 步骤(1.4)采集多组图像， 利用标定模板与采集的图像大小的比率关系， 得到标定参数 calibration， 其计算方法为： 式中， Rd为标定模板的圆心 距， Sp为圆心距之间的像素 数目。 3.根据权利要求1所述的基于YOLOV3 ‑Tiny的室外直升机尾桨振动量实时监测方法， 其 特征在于， 所述 步骤(4)中尾 桨桨尖气动中心点定位的具体步骤如下： 步骤(4.1)桨尖轮廓提取， 对模型输出的桨尖区域进行轮廓检测， 得到一系列点集， 保 留一系列点 集中点数目最大的点 集， 该点集的各点代 表桨尖轮廓的像素点 位置； 步骤(4.2)初步定位桨尖轮廓的最左、 最右、 最上和最下点， 对保留的点集的各点， 按x 值由小到大进行排序， 取排序后第一个点作为桨尖轮廓最左点， 取最后一个点作为桨尖轮 廓最右点； 最后， 对点集的各点， 按y值由小到大进 行排序， 取排序后第一个点作为桨尖轮廓 最上点， 取最后一个点作为桨尖轮廓最下点； 计算公式如下 所示： 式中， pt_start为点集中最左点， pt_end为点集中最右点， pt_CoorUp 为点集中最上点，权　利　要　求　书 2/3 页 3 CN 114913317 A 3