(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210565509.5 (22)申请日 2022.05.23 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 蔡长青　贾羽彤　甘淞宇　彭俊源　 汤铭柯　 (74)专利代理 机构 广州高炬知识产权代理有限 公司 44376 专利代理师 孙明科 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/277(2017.01) G06T 7/66(2017.01) G06V 10/25(2022.01)G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/08(2012.01) (54)发明名称 一种基于视觉的场外施工深度学习实例分 割跟踪方法 (57)摘要 本发明公开了一种基于视觉的场外施工深 度学习实例分割跟踪方法， 其包括以下步骤： 步 骤S1： 实例分割： 实例分割模块从输入视频中检 测工作者， 得到工作者的包围盒和分割掩码； 步 骤S2： 实例关联： 实例关联模块在所述输入视频 的每两个连续帧上构造一个工作实例关联矩阵； 步骤S3： 实例指派： 实例指派模块利用匈牙利算 法在实例指派中产生跟踪结果。 本发 明用于追踪 建筑工地上非现场施工工作者的身体轮廓， 将实 例分割引入到场外施工工作者跟踪中， 使工地管 理具有更强的追踪性， 从而提升非现场施工工作 者的视觉检测效率和现场安全。 权利要求书2页 说明书4页 附图2页 CN 114897937 A 2022.08.12 CN 114897937 A 1.一种基于视觉的场外施工深度学习实例分割跟踪方法， 其特征在于， 其将实例分割 引入到场外施工工作者跟踪中， 使工地管理具有更强的追踪性， 从而提升非现场施工工作 者的视觉检测效率和现场安全， 包括以下步骤： 步骤S1： 实例分割： 实例分割模块从输入视频中检测工作者， 得到工作者的包围盒和分 割掩码； 步骤S2： 实例关联： 实例关联模块在所述输入视频的每两个连续帧上构造一个工作实 例关联矩阵； 步骤S3： 实例指派： 实例指派模块利用匈 牙利算法在实例指派中产生跟踪结果。 2.根据权利要求1所述的基于视觉的场外施工深度学习实例分割跟踪方法， 其特征在 于， 在所述步骤S1实例分割模块中， 使用基于深度学习的掩码R ‑CNN算法遮蔽R ‑CNN； 所述掩 码R‑CNN方法包括 三个模块： 特 征提取器模块、 区域建议网络模块和扩展分类 器网络模块。 3.根据权利要求2所述的基于视觉的场外施工深度学习实例分割跟踪方法， 其特征在 于， 所述掩码R ‑CNN深度学习 算法， 通过使用掩码来描述工作者的身体部位， 获得相比目标 检测分割方法更精确的掩 模来描述被遮挡的工作者。 4.根据权利要求2或3所述的基于视觉的场外施工深度学习实例分割跟踪方法， 其特征 在于， 所述掩码R ‑CNN深度学习算法的具体步骤如下： 由ResNet101神经网络对输入图像进行处理， 提取特征提取模块中的特征映射； 利用 RPN模块对N ×N空间窗口的特征映射进行滑动； 在这个模块中， 为每个滑动窗口初始 化12个 锚定框作为兴趣区域， 这些锚定框由三个长宽比和四个比例比定义； 每个感兴趣区域由三 层卷积网络处理， 两层全连通盒分类和盒回归处理RPN模块根据它们成为对象的可能性产 生300个ROIs。 5.根据权利要求2或3所述的基于视觉的场外施工深度学习实例分割跟踪方法， 其特征 在于， 所述掩码R ‑CNN深度学习算法， 采用感兴趣 区域对齐技术， 从每个感兴趣区域的特征 图中提取固定形状特征； 在ECLS模块中， 这些固定形状特征分别由三个神经网络进行盒分 类、 盒回归和掩模回归处理； 其中， 盒分类网络产生属于任意预定义类的每个投资回报率的 置信度； 回归网络预测每个对 象的像素坐标， 掩模回归网络预测每个对 象在像素级别的分 割掩模。 6.根据权利要求1所述的基于视觉的场外施工深度学习实例分割跟踪方法， 其特征在 于， 所述步骤S2实例关联模块采用基于掩 模的方法来优化工作者跟踪的关联步骤。 7.根据权利要求6所述的基于视觉的场外施工深度学习实例分割跟踪方法， 其特征在 于， 所述步骤中S2实例关联模块中， 卡尔曼滤波预测和模糊推理结合得到一种新的实例关 联方法。 8.根据权利要求6所述的基于视觉的场外施工深度学习实例分割跟踪方法， 其特征在 于， 所述的步骤S2实例关联模块， 是以所述步骤S1实例分割模块生成的工作者的包围盒和 掩码作为输入， 将每两帧连续的工作者分割 结果关联起来， 并为实例分配模块生成一个关 联矩阵。 9.根据权利要求6所述的基于视觉的场外施工深度学习实例分割跟踪方法， 其特征在 于， 在所述步骤S2实例关联模块中， 输入图像时， 一旦一个新的工作者实例在一个帧被分 割， 卡尔曼滤波跟踪器将 被初始化来跟踪这个实例， 通过使用这个工作者的边框信息， 其中权　利　要　求　书 1/2 页 2 CN 114897937 A 2一个唯一的ID号被分配给Tracklet； 卡尔曼滤波使用了一系列随时间变化的观测数据， 并 产生下一时间步长的估计； 每 个物体的状态模拟如下： STATE＝[Cx， Cy， u， v] 其中Cx和Cy分别表示物体包围盒中心点的水平和垂直坐标； u和v表示物体在水平和垂 直坐标上的速度； 卡尔曼 滤波被用来跟踪工件实例的中心点， 而不是用来跟踪包围盒。 10.根据权利要求5所述的基于视觉的场外施工深度学习实例分割跟踪方法， 其特征在 于， 所述步骤S2关联模块的具体步骤如下： 卡尔曼滤波利用前一帧的包围盒信息， 预测工作者在当前帧的中心点位置； 将运动向 量计算为同一工作实例在当前帧和前一帧之间的中心点运动； 通过将检测到的遮罩与运动 矢量相加， 得到当前帧上 的跟踪遮罩； 将当前帧上 的关联矩阵计算为当前帧上跟踪掩模和 分段掩模的掩模交叉过并。权　利　要　求　书 2/2 页 3 CN 114897937 A 3