(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210369314.3 (22)申请日 2022.04.08 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 王润发　于慧敏　齐国栋　卢朝晖　 顾建波　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/75(2022.01) G06V 10/22(2022.01)G06K 9/62(2022.01) G06T 7/246(2017.01) G06T 7/277(2017.01) (54)发明名称 一种基于多目标跟踪的交通行为判定方法 (57)摘要 本发明公开了一种基于多目标跟踪的交通 行为判定方法。 该方法通过使用多目标跟踪的方 法， 对交通监控场景的行人非机动车目标进行持 续定位和轨迹生成， 再通过分析目标的运动方 向， 完成当前目标的交通行为判定。 具体而言， 多 目标跟踪的方法是首先在路口划定跟踪目标的 起始区域， 之后在视频流输入处理时， 采取隔帧 检测和基于运动外形预测相 匹配的多目标跟踪 策略， 对行人非机动车目标进行定位与轨迹生 成， 在每个目标跟踪一定时间后可判定交通行 为。 该方法通过优化多目标跟踪的流程， 并结合 视觉信息与运动信息， 使 得对目标的跟踪更加快 速准确， 本方法可用于交通系统智能化分析， 辅 助交警治理 交通违法违规现象。 权利要求书1页 说明书5页 附图2页 CN 114694078 A 2022.07.01 CN 114694078 A 1.一种基于多目标跟踪的交通行为判定方法， 其特 征在于， 具体包括如下步骤： (1)首先给定一段交通 监控视频； (2)从这段交通监控视频中抽取一帧交通监控视频画面， 对视频画面中行人、 非机动车 的跟踪初始区域regi ons进行划定； (3)使用Op enCV工具请求交通监控服务器的RTSP协议地址， 读取到实时视频流， 使用多 目标跟踪技术对画面中经过跟踪初始区域re gions的行人、 非机动车目标进行跟踪， 当目标 被跟踪超过时间阈值Ttrack或到达画面边界时结束该目标的跟踪； (4)对于步骤(3)中跟踪结束的目标， 根据其起始位置与跟踪结束位置， 进行交通行为 的判定， 输出 该目标的跟踪ID、 交通行为、 发生时间和绘制轨 迹的图像。 2.根据权利要求1所述一种基于多目标跟踪的交通行为判定方法， 其特征在于， 所述步 骤(3)中涉及的多目标跟踪技术是采用间隔帧进行目标检测的策略； 以及跟踪过程中进行 视觉、 运动预测的匹配， 具体步骤为： (1)按照顺序读取交通监控视频流中的一帧图像， 输入第一帧图像时， 进行对行人、 非 机动车目标检测， 对于处在跟踪起始区域regions的目标进行基于视觉信息和运动信息的 建模， 并存储该目标的外观特征表示。 其中， 基于视觉信息的建模为建立该目标的外观特征 表示与空间位置的相关性， 基于运动信息的建模则 建立基于目标运动速度、 尺寸变化的预 测模型； (2)在之后输入的帧中每间隔固定帧数进行目标检测， 当前帧不进行目标检测时， 对上 一帧正在被跟踪的目标分别进 行基于视觉和运动信息的位置预测， 根据两者的位置和预测 置信度进行位置融合， 作为跟踪结果； (3)当前帧需要进行目标检测时， 获取上一帧正在被跟踪的目标的基于视觉和运动信 息的位置预测后， 使用目标检测结果对预测结果进行基于目标包围框交并比IoU (Intersection  over Union)的校正， 检测结果中没有被跟踪的目标， 进行如步骤(2)中所 述的初始化跟踪操作； (4)继续处 理交通监控视频流的剩余帧图像， 重复步骤(3)和(4)， 直至 视频结束。 3.根据权利要求2所述一种基于多目标跟踪的交通行为判定方法， 其特征在于， 所述的 目标检测模型除对感兴趣类别的目标进行定位的输出外， 还可输出每个目标的外观特征表 示。 4.根据权利要求1所述一种基于多目标跟踪的交通行为判定方法， 其特征在于， 步骤 (4)所述的交通行为判定方法， 为基于目标运动方向向量 与参照向量 夹角角度得到， 具 体判定方式如下： (1)设定某方向的单位向量为参照向量 以目标的初始位置向跟 踪结束位置的单位向 量作为 计算用于判定方向的值 (2)根据判定方向的值valued， 可以推断目标运动方向向量 与参照向量 的夹角角 度， 以此作为目标交通行为判定的依据。权　利　要　求　书 1/1 页 2 CN 114694078 A 2一种基于多目标跟踪的交通行为判定方 法 技术领域 [0001]本发明属于计算机视觉、 智能识别技术领域， 特别地涉及到一种基于多 目标跟踪 的交通行为判定方法。 背景技术 [0002]随着近年来数据通信技术、 传感器技术、 电子控制技术、 计算机视觉技术的蓬勃发 展， 城市智能交通系统已经在城市中大范围覆盖、 而且全天时全方位的发挥作用， 通过提升 交通网路通过能力、 查处交通违规行为、 智能调度等功能， 达到缓解交通阻塞、 减少空气污 染、 减少交通事故发生等作用。 当前现有的智能交通系统多聚焦于机动车辆相关的治理和 开发， 而忽略了行人、 非机动车、 管控， 据统计我国的行人、 非机动车之 间涉及交通事故的占 比不高， 然而不可忽视的是， 由于高占比的机动车事故的原因， 给行人、 非机动车造成严重 后果的比例却高居不下。 对于以上两种交通实体的事故处理， 需要耗费大量的警力维持秩 序， 但路口的数量远超人力可覆的盖范围， 由于交通违规行为时有发生， 也是潜在的交通事 故来源， 所以需要更进一 步的管控与治理。 [0003]多目标跟踪是通过对视频序列中的目标进行持续的定位和身份判定， 可以检测到 感兴趣的多个类别的目标位置， 并生成轨迹， 可以用于视频监控、 人机交互、 自动驾驶等方 面， 是一项重要的视觉技术。 随着深度学习的快速发展， 多目标跟踪模型的性能也得到大幅 提升， 但依托于基于深度网络的目标检测和复杂的数据关联机制， 多目标跟踪模型在 效率 上还比较欠 缺， 在诸如交通 监控等时效性要求较高的场景难以作为实际应用。 发明内容 [0004]本发明的目的在于针对现有技术的不足， 提供一种基于多目标跟踪的交通行为判 定方法， 通过对交通监控场景下的行人、 非机动车目标的跟踪， 可以快速准确的判定其交通 行为， 以辅助交警 维持交通秩序。 [0005]为实现上述目的， 本发明采用如下技 术方案： [0006]步骤1： 输入一段交通 监控场景的视频； [0007]步骤2： 给定一段交通监控视频， 从中抽取一帧画面， 对行人、 非机动车的跟踪初始 区域regi ons进行划定； [0008]步骤3： 使用OpenCV工具读取交通监控服务器的RTSP协议地址， 获得实时视频流， 对画面中经 过跟踪初始区域regi ons的行人、 非机动车目标进行跟踪， 具体步骤如下： [0009]步骤3.1： 创建暂时丢失的目标集 合 [0010]步骤3.2： 按照顺序读取交通监控视频流中的一帧图像， 输入第一帧图像时， 进行 全图的行人、 非机动车目标检测， 对于处在跟踪起始区域re gions的目标建立基于视觉信息 的单目标跟踪器和基于运动信息的卡尔曼 滤波器， 并存 储该目标的外观特 征向量； [0011]步骤3.3： 在之后输入的帧图像中每间隔固定数量的帧进行目标检测， 当前帧不进 行目标检测时：说　明　书 1/5 页 3 CN 114694078 A 3