(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210401883.1 (22)申请日 2022.04.18 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 张强　刘迦南　黄年昌　刘健　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于特定模态特征补偿的跨模态行人 重识别方法 (57)摘要 一种基于特定模态特征补偿的跨模态行人 重识别方法， 收集可见光行人图像作为可见光域 训练图像， 收集红外行人图像作为红外域训练图 像； 利用生成对抗网络将可见光域和红外域的行 人图像进行风格转换， 生 成跨模态的配对行人图 像； 获取配对 行人图像间的融合特征作为行人图 像的表示特征用于行人重识别。 本发 明结合多模 态图像风格转换网络和行人重识别， 将一种模态 的原始图像特征和其对应生成另一种模态 图像 特征融合作为行人图像特征； 通过计算行人图像 特征的欧式距离， 根据欧式距离得到不同行人图 像匹配的结果。 本发明 改善了生成图像的质量和 配对图像融合特征的判别力， 极大地提高了跨模 态行人重识别任务的精度。 权利要求书4页 说明书8页 附图2页 CN 115171148 A 2022.10.11 CN 115171148 A 1.一种基于特定模态特 征补偿的跨模态行 人重识别方法， 其特 征在于， 包括： 收集可见光行人图像作为可见光域训练图像， 收集红外行人图像作为红外域训练图 像； 利用生成对抗网络将可见光域和红外域的行人图像进行风格转换， 生成跨模态的配对 行人图像； 获取配对行 人图像间的融合特 征作为行 人图像的表示特 征用于行 人重识别。 2.根据权利要求1所述基于特定模态特征补偿的跨模态行人重识别方法， 其特征在于， 对可见光和红外图片做相同的预 处理操作： 将输入图像每边添加宽度为l， 值为0的像素点， 并使用随机 裁剪的方式得到相同的图片尺寸， 之后随机水平翻转图片。 3.根据权利要求2所述基于特定模态特征补偿的跨模态行人重识别方法， 其特征在于， 所述预处 理操作还 包括： 对可 见光图像做灰度化处 理。 4.根据权利要求1所述基于特定模态特征补偿的跨模态行人重识别方法， 其特征在于， 所述风格转换通过基于风格转换的生成网络和判别网络实现， 包括： 可见光域的行人图像输入生成网络， 输出其对应的红外域的行 人图像； 红外域的行 人图像输入生成网络， 输出其对应的可 见光域的行人图像。 5.根据权利要求4所述基于特定模态特征补偿的跨模态行人重识别方法， 其特征在于， 所述生成网络和判别网络采用生成对抗思想， 包括一个可见光域到红外域的风格转换分支 BG2I和一个红外域到可见光域的风格转换分支BI2G， 每个分支包括一个生成器和一个判别 器， 满足： 其中， XG为可见光行人图像， XI为红外行 人图像； 表示红外行 人图像与生成红外行 人图像之间的对抗损失函数； 表示可见光行人图像与生成可 见光行人图像之间的对抗损失函数； 表示判别器对真实红外行 人图像的判别结果； 表示判别器对真实可 见光行人图像的判别结果； GG2I表示生成器将可 见光行人图像作为输入进 而获得新的红外行 人图像； GI2G表示生成器将红外行 人图像作为输入进 而获得新的可 见光行人图像； 表示判别器对生成红外行 人图像的判别结果； 表示判别器对生成可 见光行人图像的判别结果； LGAN表示 和 的对抗损失之和； 生成网络和判别网络使用如下损失函数来训练： Lrecons||XG‑GI2G(XG)||1+||XI‑GG2I(XI)||1 Lcyc＝||XG‑GI2G[GG2I(XG)]||1+||XI‑GG2I[GI2G(XI)]||1 权　利　要　求　书 1/4 页 2 CN 115171148 A 2其中， Lrecons是定义可见光行人图像或红外行人图像与生成的可见光行人图像GI2G(XG) 或红外行 人图像GG2I(XI)之间的重构损失函数； Lcyc是定义可见光行人图像或红外行人图像与生成的可见光行人图像GI2G[GG2I(XG)]或 GG2I[GI2G(XI)]之间的循环一 致损失函数； 和 分别表示可见光行人图像和红外行人图像的身份损失函数， LID表示 和 的身份损失之和； 和 分别使用交叉熵损 失函数作为可见光行人图像和 红外行人图像的身份损 失 函数， 其中， 和 分别是可见光行人图像和红外行人图像的预测得分， y是真实的行人 身份标签； ||·||1表示L1范数； 基于风格转换的生成网络和判别网络的目标函数L1为： L1＝LID+λ1Lrecons+λ2Lcyc+λ3Lgan 其中， λ1、 λ2和 λ3为加权系数。 6.根据权利要求5所述基于特定模态特征补偿的跨模态行人重识别方法， 其特征在于， 生成的跨模态的配对行人图像为 和 其中， 表示可见光行人图 像和其对应生成的红外行人图像， 表示红外行人图像和其对应生成的可见光行人 图像。 7.根据权利要求5所述基于特定模态特征补偿的跨模态行人重识别方法， 其特征在于， 所述融合特征为原始图像和生成图像的融合特征， 通过基于注意力机制的配对图像特征融 合方法获取， 方法如下： (1)使用四个独立ResNet50提取到四种不同类型的特征FV、 FI和 分别表示可见 光行人图像特征、 生成红外行人图像特征、 红外行人图像特征和生成可见光行人图像特征； 所述原始图像为可见光行人图像或红外行人图像， 所述生成图像为红外行人图像或可见光 行人图像； (2)当原始图像为可 见光行人图像时， FV和 首先经过两个通道 注意力模块； EFV＝CAM(FV)＝wSV*FV， wSV＝σ(GAP(FV)+GMP(FV)) (3)EFV和 分别经过两个卷积块后接着经 过两个通道 注意力模块； CFV＝ConvB(EFV, θ1)， FSV＝CAM(CFV)， (4)对FSV和 求平均操作得到最终的行 人图像融合特 征； 其中， EFV和 表示增强后的可 见光行人图像特 征和生成红外行 人图像特 征； CAM(·)表示通道注意力模块， w(·)表示通道权重图， GAP( ·)和GMP(·)分别表示全局 平均池化和全局最大池化； CFV和 表示卷积后的可 见光行人图像特 征和生成红外行 人图像特 征；权　利　要　求　书 2/4 页 3 CN 115171148 A 3