(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210627699.9 (22)申请日 2022.06.06 (71)申请人 江苏徐工 工程机械研究院有限公司 地址 221004 江苏省徐州市徐州经济技 术 开发区驮蓝山路26号 (72)发明人 张坚　崔景兵　吕高旺　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 邓东旭 (51)Int.Cl. G06T 7/70(2017.01) G06T 7/80(2017.01) G06V 10/22(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01)G06V 20/58(2022.01) (54)发明名称 一种塔机施工区域障碍物检测及定位方法 及装置 (57)摘要 本发明公开了塔式起重机技术领域的一种 塔机施工区域障碍物检测及定位方法及装置， 包 括： 通过位于塔机大臂根部安装的图像采集单元 采集塔机吊钩所投影的地平面图像， 并确定塔机 施工的危险区域圆圈边界； 检测所述地平面图像 中的行人和车辆目标， 并确定所检测到目标在地 平面图像中的像素点位置； 将吊钩所投影的地平 面上危险区域边缘点在塔机三维坐标系统中的 三维坐标转换至图像中像素坐标系统中的二维 坐标； 根据目标在地平面图像中的像素点位置， 对其是否处于塔机施工的危险区域圆圈内的状 态进行判定。 本发明能够检测塔机施工中吊钩所 影响的危险区域内是否有人员或车辆等障碍物， 确保塔机施工的安全性。 权利要求书3页 说明书13页 附图3页 CN 115375756 A 2022.11.22 CN 115375756 A 1.一种塔机施工区域障碍物检测及定位方法， 其特 征是， 包括： 通过位于塔机大臂根部安装的图像采集单元采集塔机吊钩所投影的地平面图像， 并确 定塔机施工的危险区域圆圈边界； 检测所述地平面图像中的行人和车辆目标， 并确定所检测到目标在地平面图像中的像 素点位置； 将吊钩所投影的地平面上危险区域边缘点在塔机三维坐标系统中的三维坐标转换至 图像中像素坐标系统中的二维坐标； 根据目标在地平面图像中的像素点位置， 对其是否处于塔机施工的危险区域 圆圈内的 状态进行判定 。 2.根据权利要求1所述的塔机施工区域障碍物检测及定位方法， 其特征是， 所述塔机三 维坐标系以塔机位于水平地面的塔机基座中心点为原点， 沿塔机大臂的方向的轴为Zw轴， 垂直与塔机基身和Zw轴的轴为Xw轴， 平行于塔机机身的直线为Yw轴； 所述图像采集单元为 监控相机、 球机摄像头或枪机摄像头， 其安装在塔机大臂与塔机基身的交界处， 且随着 塔机 大臂的旋转而旋转， 其光轴始终位于由Yw轴和Zw轴组成的平面内， 其光轴与塔机三维坐标 系的Yw轴夹角为α， 与Zw轴的夹角为90 ‑α 度， 与Xw轴的夹角为90度， 夹角为α 的取值范围是20 度～80度。 3.根据权利要求2所述的塔机施工区域障碍物检测及定位方法， 其特征是， 所述塔机施 工的危险区域为以塔机吊钩在地面的投影点Ow2 为圆心， 目标离投影点Ow2之间的安全距离 R为半径， 旋转360度所形成的圆圈边界内的区域， 所述塔机施工的危险区域以所述Zw轴 正 方向为0度的起始角度， 在圆圈边界每隔固定的角度设置一个危险区域的标志 点， 且固定的 角度不大于45度； 所述 危险区域的标志点 不少于8个。 4.根据权利要求3所述的塔机施工区域障碍物检测及定位方法， 其特征是， 所述图像采 集单元为工业相 机， 所述的塔机三维坐标系成像系统， 建立塔机施工地平面的针孔相 机成 像模型， 进行塔机施工地平 面上的危险区域的标志 点和目标位置点的三 维坐标(xw， yw， zw) 至图像采集单元所生成的图像坐标系中二维坐标(ui， vi)之间的映射， 所述映射关系如下 式所示： 其中， Z为尺度因子； f为相机的焦距； dX， dY分别表示X轴， Y轴方向上的一个像素在感光 板上的物理长度； (u0， v0)分别表示相机感光板中心在像素坐标系下的坐标； R为塔机三维 坐标系至相机三 维坐标系的旋转矩阵； t 为塔机三维坐标系至相机三 维坐标系的平移向量； K为相机的内参矩阵； T为 转换矩阵。 5.根据权利要求4所述的塔机施工区域障碍物检测及定位方法， 其特征是， 对于同一幅 采集到的塔机施工平面区域的图像样 本， 采用YOLOv5模 型、 DETR模型以及Faster ‑RCNN模型 三种模型来进行检测， 生 成三组不同的目标检测结果， 每组结果的权值分别为β 1， β 2， β 3， 这 三个权值之和为1， 即β 1+β 2+β 3＝1， 每组目标检测结果都包括目标框大小及在图像中的二权　利　要　求　书 1/3 页 2 CN 115375756 A 2维坐标、 目标种类信息， 其中β 1＝0.5， β 2＝0.3， β 3＝0.2。 6.根据权利 要求5所述的塔机施工区域障碍物检测及定位方法， 其特征是， 所述YOLOv5 模型、 DETR模 型以及Faster ‑RCNN模型三种模 型检测到目标框结果中， 目标框的中心点位置 分别为(iu1， iv1)， (iu2， iv2)和(iu3， iv3)， 目标框的长宽分别为(h1， w1)， (h2， w2)， (h3， w3)， 且这三组坐标中u轴和v轴方向的坐标差值差别小于5％图像宽度和高度， 且目标框的 高宽尺寸的差值小于20％的目标框的高度和宽度， 认为其检测到的目标是同一个障碍物， 此时， 采用如下公式计算对应目标在图像中的位置： 上式中， Cou和Cov分别为被 检测到的障碍物在图像中的u轴和v轴的像素坐标； 如果任一模型对于目标出现漏检， 导致对于同一目标只有两组检测的位置和长宽的结 果， 那么每组的权值分别 为β 1和β 2， 这两个权值之和为1， 即β 1+β 2＝1， 此时， 采用如下公式 计算对应目标在图像中的位置， 其中β 1＝0.6， β 2＝0.4， 排序在前的模型的权值为β 1， 排序 在前的模型的权值 为β 2； 上式中， Cou和Cov分别为被 检测到的障碍物在图像中的u轴和v轴的像素坐标。 7.根据权利要求5所述的塔机施工区域障碍物检测及定位方法， 其特征是， 采用以下步 骤将吊钩所投影的地平面上危险区域边缘点在塔机三维坐标系统中的三维坐标转换至图 像中像素坐标系统中的二维坐标： 计算塔机三维坐标系至相机坐标系的转换矩阵T： 采用罗德里格斯公式， 根据旋转向量 rvec计算获得两个坐标系之间的旋转矩阵R， 结合两个坐标系统之间的三 维平移向量tvec， 采用以下公式获得两个坐标系之间的变换矩阵T如下： 计算目标在相机坐标系下的坐标Pc： 利用如下公式计算目标在相机坐标系下的坐标： 计算目标在像素坐标系中的坐标Pi： 。权　利　要　求　书 2/3 页 3 CN 115375756 A 3