(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210601890.6 (22)申请日 2022.05.30 (71)申请人 上海海事大学 地址 201306 上海市浦东 新区临港新城 海 港大道15 50号 (72)发明人 李朝锋　刘敬诚　杨勇生　陈信强　 (74)专利代理 机构 上海元好知识产权代理有限 公司 31323 专利代理师 包姝晴　朱成之 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于DeepSORT与改进YOLOX的海上视频 目标监测方法 (57)摘要 本发明公开了一种基于DeepSORT与改进 YOLOX的海上视频目标监测方法， 包括以下过程： 获取视频原始帧， 将所述原始视频帧的接连的n 帧视为一个监测帧组， 对每个监测帧组都进行如 下处理： 使用改进YOL OX模型作为检测器， 对所述 监测帧组的第1帧进行一次目标检测； 对另外的 n‑1帧， 使用DeepSORT的匹配算法对 目标进行跟 踪匹配。 该发 明提高了对较远距离难以用肉眼识 别的小型船舶的检测和识别精度， 解决了视频中 出现的目标遮挡问题， 且运行成本低、 实时性高、 实用性强、 模型检测精度高、 检测速度快。 权利要求书2页 说明书7页 附图3页 CN 114937223 A 2022.08.23 CN 114937223 A 1.一种基于DeepSORT与改进YOLOX的海上视频目标监测方法， 其特征在于， 包括以下过 程： 获取原始视频帧， 将所述原始视频帧的接连的n帧视为一个监测帧组， 对每个监测帧组 都进行如下处理： 使用改进YOLOX模型作为检测器， 对所述监测帧组的第1帧进行一次目标 检测； 对监测帧组的另外的n ‑1帧， 使用De epSORT的匹配算法对目标进行跟踪匹配。 2.如权利要求1所示的海上视频目标监测方法， 其特征在于， 使用该方法时， 首先要对 所述改进YOLOX模型进行训练， 再将训练完成的改进YOLOX模型与DeepSORT的匹配算法结 合， 对海上视频进行目标监测。 3.如权利要求2所示的海上视频目标监测方法， 其特征在于， 所述改进YOLOX模型建立 在YOLOX模型的基础上， 依次包括以下部分： 输入端， 所述原 始视频帧由输入端输入 模型中； Backbone部分， 为采用CBAM模块优化的Darknet ‑53网络， 所述原始视频帧经过该 Backbone部分处 理生成多种不同尺度的特 征图； Neck部分， 包括C EM模块和DRFPN模块， 可融合所述多种不同尺度的特 征图； 还包括SNIP算法， 用以优化该Neck部分的训练阶段； 输出端， 输出原 始视频帧的boundi ng box； 其中， 还采用损失函数 Focal Loss减少原YOLOX模型中易分类样本的权 重。 4.如权利 要求3所示的海上视频目标监测方法， 其特征在于， 在Backbone部分输出每个 尺度的特 征图前， 均采用CBAM模块在通道和空间上对该 特征图进行细化。 5.如权利要求4所示的海上视频目标监测方法， 其特征在于， 所述CBAM模块包括通道注 意力模块和空间注意力模块两个子模块； 所述通道注意力模块通过 average pooling和max  pooling对每个特征图的处理， 得到 两个一维矢量； 所述空间注意力模块首先使用average  pooling和max  pooling对每个特征图在通道 层面上进行压缩， 得到两个二维的特征图， 再将其按通道维度拼接在一起得到一个通道数 为2的特征图， 之后使用一个包 含单个卷积核的隐藏层对其进行 卷积操作。 6.如权利 要求3所示的海上视频目标监测方法， 其特征在于， 所述CEM模块设置在DRFPN 模块之前， 能够融合 通过Backbo ne部分得到的多个不同尺度的特 征图从而扩大感受野。 7.如权利 要求3所示的海上视频目标监测方法， 其特征在于， 所述DRFPN模块包括SRB模 块和CRB模块； 所述SRB模块首先合并相邻层的上下文信息来学习采样点的偏移量， 然后利 用全局信息来细化每个采样点的值； 在所述改进YOLOX模型的训练过程中， 所述CRB模块采 用自底向上的方式， 在相邻层合并时， 引导网络学习每 个通道的权值。 8.如权利要求3所示的海上视频目标监测方法， 其特征在于， 所述SNIP算法用于对所述 DRFPN模块的训练阶段进行优化， 用在所述DRFPN模块之后、 原YOLOX模型的输出端之前。 9.如权利 要求3所示的海上视频目标监测方法， 其特征在于， 所述损失函数Focal  Loss 是以标准交叉熵损失为基础 进行的改进， 通过减少易分类样 本的权重， 使 得改进YOLOX模 型 在训练过程中更加专注于难分 类的小样本； 所述Focal  Loss函数公式为FL(pt)＝‑αt(1‑pt)γ log(pt)， 其中γ为聚焦参数， γ＞＝0， (1 ‑pt)γ为调制系数。 10.如权利 要求2所示的海上视频目标监测方法， 其特征在于， 所述DeepSORT算法中， 使 用Ci， j＝λd(1)(i， j)+(1 ‑λ )d(2)(i， j)作为衡量目标检测与目标预测是否关联的尺度， 其中d权　利　要　求　书 1/2 页 2 CN 114937223 A 2(1)(i， j)为马氏距离， d(2)(i， j)为外观指标， λ和1 ‑λ 分别表示马氏距离和外观指标的权 重； 其中 dj为边界框， yi为预测框， (yi， Si)表示第i 条轨迹在测量空间的映射； 对每一个边界框dj， 计算其外观特征描述算子rj， 将每一个轨迹的算子rj存入创建的库 中， 直至轨迹数Lk＝100， 即 其中第i条轨迹和第j条轨迹的最小 余弦距 离即为 权　利　要　求　书 2/2 页 3 CN 114937223 A 3