(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210493056.X (22)申请日 2022.05.07 (71)申请人 南京邮电大 学 地址 210046 江苏省南京市栖霞区文苑路9 号 (72)发明人 吴飞　帅子珍　高广谓　马永恒　 周宏　季一木　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 楼然 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) (54)发明名称 一种基于全局与局部特征的对抗学习跨模 态行人重识别方法 (57)摘要 本发明公开了一种基于全局与局部特征的 对抗学习跨模态行人重识别方法， 包括： 将选定 的可见光图像样本集Xv和红外图像样本集Xt作 为训练数据； 将可见光图像样 本和红外图像样本 输入所构建的具有注意力机制的特征提取网络 获取特征； 将从具有注意力机制的特征提取网络 获得的可见光特征fiv、 红外特征fit输入局部特 征学习模块进行操作； 将从具有注 意力机制的特 征提取网络获得的可见光特征fiv、 红外特征fit 输入预测一致性模块进行操作； 将可见光拼接特 征fiv′和红外拼接特征fit′输入对抗学习模块进 行处理。 本发 明可有效减小可见光和红外特征的 模态差异， 大大提高了跨模态行人重识别的检索 率。 权利要求书4页 说明书9页 附图1页 CN 115063832 A 2022.09.16 CN 115063832 A 1.一种基于全局与局部特征的对抗学习模态行人重识别方法， 其特征在于， 包括以下 步骤： S1.将选定的可见光图像样本集Xv和红外图像样本集Xt作为训练数据； 其中， 可见光图 像样本集为 红外图像的样本集为 每个样本集包含M 个行人， 标签集 为Y＝{yi|i＝1,2,…,N}， N代表可见光图像或红外图像的数量； S2.在卷积神经网络的基础上， 加入注意力机制模块， 构建具有注意力机制的特征提取 网络； 将可见光图像样本和红外图像样本输入具有注意力机制的特征提取网络获取特征； 所述的具有注意力机制的特征提取网络， 包括模态特定子模块和模态共享子模块 模态 特定子模 块包含可见光子模块 和红外子模 块 模态共享子模块 包含 3个 卷积块； S3.将从具有注意力机制的特征提取网络获得的可见光特征fiv， 红外特征fit输入局部 特征学习模块进行操作， 得到可见光局 部特征fivp和红外局 部特征fitp、 可见光局 部降维特 征fivp′和红外局部降维特征fitp′、 可见光局部标签特征fivp″和红外局部标签特征fitp″、 可见 光拼接特征fiv′和红外拼接特 征fit′； S4.将从具有注意力机制的特征提取网络获得的可见光特征fiv、 红外特征fit输入预测 一致性模块进行操作， 得到可见光全局特征fivg和红外全局特征fitg、 可见光全局标签特征 fivg′和红外全局标签特 征fitg′； S5.将可见光拼接特征fiv′和红外拼接特 征fit′输入对抗学习模块进行处 理。 2.根据权利要求1所述的一种基于全局与局部特征的对抗学习模态行人重识别方法， 其特征在于， 所述 步骤S2的具体过程包括： 步骤S2.1.获取通道注意力模块的输出特征Fiv′： 将可见光中层特征Fiv作为通道注意力 模块的输入， 对可见光中层特征Fiv在空间维度上进行最大池化和平均池化操作得到特征 和 然后将特征 和 输入到两层全连接神经网络中进行维度压缩， 再将进行维 度压缩后的特 征 和特征 逐元素求和合并， 最后得到1 维的通道 注意力特 征Mc∈RC*1*1： 式中， σ(·)表示Sigmoid激活函数， MLP表示两层全连接神经网络， AvgPool( ·)表示平 均池化， MaxPo ol(·)表示最大池化， W1， W0表示两层神经网络的权 重参数； 最后将通道注意力特征Mc与可见光中层特征Fiv进行乘积得到通道注意力模块的输出 特征Fiv′： 式中 为两个矩阵对应位置元 素进行乘积； 步骤S2.2.获取可见光特征fiv和红外特征fit： 将通道注意力模 块的输出特征Fiv′作为空 间注意力模块的输入特征， 首先对空间注意力模块的输入特征Fiv′在通道维度上进行最大 池化和平均池化操作得到特征 和 然后将得到的特征 和特征 在通道维度上进 行拼接， 再经过卷积核为7 ×7的卷积操作后通过Sigmoid激活层得到2维的空间注 意力特征 Ms∈R1*H*W：权　利　要　求　书 1/4 页 2 CN 115063832 A 2式中， F7×7表示卷积核为7 ×7的卷积操作， [； ]表示对特 征进行拼接； 最后将空间注意力特 征Ms与特征Fiv′做乘法得到空间注意力模块的输出 特征Fiv″： 再将空间注意力模块的输出特征Fiv″输入卷积块 得到可见光特征fiv； 对红外中层特 征Fit进行和可 见光中层特 征Fiv相同的操作， 得到红外特 征fit。 3.根据权利要求1所述的一种基于全局与局部特征的对抗学习模态行人重识别方法， 其特征在于， 所述 步骤S3具体包括： S3.1.对可见光特征fiv在水平方向上进行均匀划分， 得到P个大小相同的可见光局部特 征fivp， p＝1,2, …,6； 然后对可见光局部特征fivp先采用广义平均池化； 再采用1 ×1的卷积 核进行卷积得到可见光局部降维特征fivp′， 对红外特征fit进行相应的操作得到红外局部降 维特征fitp′； S3.2.对每部分可见光局部降维特征fivp′、 红外局部降维特征fitp′采用基于异质中心的 三元组损失以提高局部特 征的鉴别性， 损失如下： 式中， min|| ·||+函数表示难样本挖掘， [ ·]+＝max(·,0)， ρ 为间隔参数， || ·||2为两 个特征中心之间的欧式距离， 表示从m＝1到m＝M之间的结果进行求和； 分别为当前训练批次中第m个行人 的可见光图像局部特征中心和红外图像局部特征中心； 分别为当前训练批次中第m个 行人的第k张可见光图像局部 特征的第p部分和第k张 红外图像局部特征的第p部分； 共有M个可见光局部特征中心 和M个红外局部 特征中心 S3.3.对局部可见光降维特征fivp′进行分类得到可见光局部标签特征fivp″， 通过相同的 操作得到红外局部标签特征fitp″； 基于可见光局部标签特征fivp″和红外局部标签特征fitp″ 的分类损失为： 式中， pi(fivp″)表示可见光局部标签特征fivp″生成的概率分布， pi(fitp″)表示红外局部 标签特征fitp″生成的概 率分布； yi为对应图像的真实标签， l og为对数运 算； S3.4.可见光拼接特征fiv′由每部分可见光局部降维特征fivp′进行拼接([fiv1′； fiv2′； fiv3′； fiv4′； fiv5′； fiv6′])得到， 红外拼接特征fit′由每部分红外局部降维特征fitp′进行拼接得 到， 对可见光拼接特征fiv′、 红外拼接特 征fit′采用基于异质中心的三元组损失： 式中， 基于可见光拼接特征fiv′得到， 为第m个行人的P个可见光拼接特征的中心， 基权　利　要　求　书 2/4 页 3 CN 115063832 A 3