(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210928042.6 (22)申请日 2022.08.03 (66)本国优先权数据 202111621642.X 2021.12.28 CN (71)申请人 厦门理工学院 地址 361024 福建省厦门市集美区理工路 600号 (72)发明人 马玮城　朱兰　郑运鸿　宦智杰　 (74)专利代理 机构 厦门智慧呈 睿知识产权代理 事务所(普通 合伙) 35222 专利代理师 吴珍荣 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/10(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/73(2017.01) G01C 21/34(2006.01) G01S 15/08(2006.01) (54)发明名称 一种网球比赛专用定位捡球系统及其方法 (57)摘要 本发明提供了一种网球比赛专用 定位捡球 系统及其方法， 包括： 设置在网球场的多个已编 号深度相机采集现场图像， 所有相机的拍摄视野 能覆盖整个球场； 用采集的图像数据集训练 YOLOv5网络； 调用训练好的YOL Ov5网络对 赛场实 时图像进行检测， 识别图像中出现的网球、 人、 网 球拍、 捡球机器人； 输出识别物体的瞬时坐标和 时刻， 调用相机的外参矩阵， 将物体坐标转换到 世界坐标系； 数据处理得到网球的特征数据， 调 用卡尔曼滤算法跟踪网球； 检测 网球状态,选择 最适合的机器人捡球； 利用三角定位算法得到机 器人瞬时坐标； 利用A*算法和动态窗口算法对捡 球机器人进行路径规划， 使 得机器人无限靠近网 球， 调整位姿直到捡球成功。 旨在实现代替球童 捡球， 减轻球童负担 。 权利要求书3页 说明书7页 附图2页 CN 115171026 A 2022.10.11 CN 115171026 A 1.一种网球比赛专用定位捡球方法,其特 征在于， 包括： 获取设置在比赛场 地内的多个已经编 号的深度相机采集的现场图像， 所述多个深度相 机的拍摄视野能够覆盖整个比赛场地； 调用采集的网球场比赛相 关的图像数据集训练YOLOv5网络， 其中， 所述图像数据集包 含各种光线 下球场各种位置有网球和没有网球的图像， 网球场上的人、 网球拍、 捡球机器人 的图像,并且对图像数据集中的网球、 人、 网球拍、 捡球机器人进行标注， 便于训练YOLOv5网 络识别这些物体； 调用训练好的YOLOv5 网络对每一所述现场图像进行实时检测， 以识别出实时图像中出 现的网球、 网球拍、 球场中的人、 捡球机器人； 通过深度相机对识别出的含有目标物体的图像的解析， 得到出现在图像 中的网球、 人、 网球拍、 捡球机器人相对于已编号深度相 机坐标系的三维坐标， 调用 调试好的深度相 机的 的外参矩阵将生成的物体的三维坐标转换到世界坐标系 下， 以实现比赛中对网球的定位， 便于后续的数据分析处 理； 对收集的网球世界坐标系的瞬时三维坐标信息进行数据处理， 得出网球特征数据， 通 过调用卡尔曼滤波算法对网球进行跟踪， 如果是相邻2个深度相 机在视野重叠范围内识别 出同一个网球的位置信息， 以编号小的深度相 机采集的数据信息作为分析数据来源处理， 避免重复的数据分析处理， 其中， 所述网球特征数据包括网球瞬时时刻的位置坐标、 速度、 加速度以及对应识别网球的深度相机的编号； 检测网球状态， 并根据所述网球特征数据确定最适合捡球的机器人； 最适合捡球的机 器人为离网球最近的捡球机器人， 其中， 所述检测网球状态包括以下两点的检测识别， 第一 点： 确定是否为需要捡网球的状态， 从网球比赛的规则得到比赛的时候网球在任意一个半 区的范围包括该半区界外延伸的场地如果连续着地两次意味着一定有一方运动员得分或 者需要重新发球， 利用这个特征作为鉴别是否需要捡球的条件之一； 符合这个条件再检查 网球两次着地期间的图像中网球是否和人或球拍有接触， 避免将其他一些不需要捡球的情 况错误识别为需要捡球的情形； 第二点： 识别网球平行于地面方向的速度是否小于等于捡 球机器人的行驶 最大速度的0.8倍； 利用三角定位 算法计算得到捡球机器人运动时候的瞬时位置； 在前期给网球场建图的基础上利用A*算法对捡球机器人进行全局路径规划， 动态窗口 算法用来进行局部避障； 对所述网球特征数据以及所述捡球机器人 的当前位置、 捡球机器 人的运动特性参数、 障碍物信息进行数据 处理， 以生成捡球机器人 的路径规划； 其中， 所述 捡球机器人的运动特征参数包括可行驶最大速度、 最大加速度、 转弯 最大速度、 最小转弯半 径； 将所述路径规划发送给捡球机器人， 以使得捡球机器人无限靠近网球， 捡球机器人也 配备深度相 机， 可识别视野范围内的网球来辅助跟踪网球， 捡球机器人通过调整适当的位 姿从而成功完成捡球， 并回到原位置继续待命。 2.根据权利要求1所述的一种网球比赛专用定位捡球方法， 其特征在于， 需要将所识别 的物体的的坐标通过转换矩阵转换到世界坐标系； 所述参与转换的坐标系包括世界坐标 系， 相机坐标系， 图像坐标系， 像素坐标系； 其中， 所述世界坐标系， 用于描述相机位置， 有一 中心点OW和XW、 YW、 ZW三轴； 所述相机坐标系， 原点OC为相机光心,有XC、 YC、 ZC三轴， ZC轴与相机权　利　要　求　书 1/3 页 2 CN 115171026 A 2光轴平行； 所述图像坐标系， 原点O在图像的中心， 有x、 y两轴； 所述像素坐标系， 原点o在图 像左上角， 有 u、 v两轴。 3.根据权利要求2所述的一种网球比赛专用定位捡球方法， 其特征在于， 通过转换公式 将所述采集的图像中识别的物体从所述像素坐标系转换到所述图像 坐标系； 其中， uo、 vo分别为所述图像坐标系的原点在所述像素坐标系下的横、 纵坐标值。 4.根据权利要求2所述的一种网球比赛专用定位捡球方法， 其特征在于， 通过小孔成像 理论将所述采集的图像中识别的物体从所述图像坐标系转换到所述相 机坐标； 其中， 转换 公式为 5.根据权利要求2所述的一种网球比赛专用定位捡球方法， 其特征在于， 通过平移变换 和旋转变换将所述采集的图像中识别的物体从所述相机坐标系转换到所述世界坐标； 其 中， 所述转换公 式为 R、 T矩阵为相机的外参矩阵， R为旋转矩阵， T为 平移矩阵。 6.根据权利要求2所述的一种网球比赛专用定位捡球方法， 其特征在于， 将所述图像中 识别出的物体通过公式 进行矩 阵变换处理： 即从像素坐标系到统一的世界坐标系， 其中， K3×3为相机内参矩阵， 包含5个 内 参数， fx＝f/dx， fy＝f/dy； 深度相机可以直接输出要识别的物体的相 机坐标系下的坐标信 息， 只要利用相机 外参矩阵， 即可转换到世界坐标系。 7.根据权利要求1所述的一种网球比赛专用定位捡球方法， 其特征在于， 在前期对比赛 场地进行建图的基础上利用A*算法进行全局路径规划和动态 窗口算法的局部避障功能对 所述网球特征数据以及所述捡球机器人 的当前位置、 捡球机器人 的运动特征参数、 障碍物 信息进行数据处理， 以生成捡球机器人的路径规划， 其中， 所述捡球机器人的运动特征参数 包括行驶 最大速度、 最大加速度、 转弯最大速度、 最小转弯半径； 具体为： A*(A‑Star)算法是一种静态路网中求解最短路径最有效 的直接搜索 方法， 也是许多其 他问题的常用启发式算法， 是最有效的直接搜索算法之一， 公式表示为:f*(n)＝g*(n)+h* (n),其中， f*(n)是从初始状态经由状态 n到目标状态的最小代 价估计， g*(n)是在状态空间 中从初始状态到状态 n的最小代 价， h*(n)是从状态 n到目标状态的路径的最小估计代价； 其 中， 对于路径搜索问题， 状态 就是图中的节点， 代 价就是距离； 真实h(n)的选取:保证找到最 短路径(最优解的)条件， 关键在于估价函数f(n)的选取或者说h(n)的选取； 以h(n)表达状 态n到目标状态估计的距离， 那么h(n)的选取大致有如下三种情况， 第一种情况： 如果h(n)<权　利　要　求　书 2/3 页 3 CN 115171026 A 3