(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210440638.1 (22)申请日 2022.04.25 (71)申请人 北京大学 地址 100871 北京市海淀区颐和园路5号 (72)发明人 贾惠柱　杨帆　齐峰　杨长水　 解晓东　高文　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 付婧 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于双向语义对齐聚类的跨域行人再 识别方法与装置 (57)摘要 本申请涉及计算机视觉和模式识别技术领 域， 更为具体来说， 本申请涉及一种基于双向语 义对齐聚类的跨域行人再识别方法与装置。 所述 方法包括： 基于至少三个分支模 型构建跨域行人 识别模型； 基于源域数据集和目标域数据集训练 跨域行人识别模型； 行人数据； 其中， 三个分支模 型为第一分支模 型、 第二分支模 型和第三分支模 型， 各分支模 型均包含有主干网络和特征表达模 块。 本申请使跨域行人识别模型进行三分支的特 征学习， 分别引入了三个人体分割约束， 采用字 典学习和稀疏编码框架来学习原始特征空间的 语义基， 利用更可靠的源域语义元素来更全面地 度量目标域样本间的相似度， 使跨域行人识别模 型在识别目标行人时更为精准， 进而提升了行人 再识别的效率。 权利要求书3页 说明书13页 附图3页 CN 114913476 A 2022.08.16 CN 114913476 A 1.一种基于双向语义对齐聚类的跨 域行人再识别方法， 其特 征在于， 所述方法包括： 基于至少三个分支模型构建跨 域行人识别模型； 基于源域数据集和目标域数据集训练所述 跨域行人识别模型； 采用训练好的跨 域行人识别模型识别目标 行人数据； 其中， 所述三个分支模型为第 一分支模型、 第 二分支模型和第三分支模型， 各分支模型 均包含有主干网络和特 征表达模块。 2.根据权利要求1所述的基于双向语义对齐聚类的跨域行人再识别方法， 其特征在于， 所述源域数据集具有标签， 所述源域数据集包括整体源域数据集、 第一局部源域数据集和 第二局部源域数据集， 所述 目标域数据集包括整体目标域数据集、 第一局部目标域数据集 和第二局部目标域数据集， 所述跨域行人识别模型还包括域间处理模块和域内处理模块， 所述基于源域数据集和目标域数据集训练所述 跨域行人识别模型， 包括： 将整体源域数据集和整体目标域数据集同时输入第 一分支模型， 得到第 一源域特征和 第一目标域特 征； 将第一局部源域数据集和第 一局部目标域数据集同时输入第 二分支模型， 得到第 二源 域特征和第二目标域特 征； 将第二局部源域数据集和第 二局部目标域数据集同时输入第 三分支模型， 得到第 三源 域特征和第三目标域特 征； 将所述第一源域特征、 第二源域特征、 第三源域特征、 第一目标域特征、 第二目标域特 征和第三目标域特 征输入域间处 理模块， 得到域间处 理结果； 将第一目标域特征、 第二目标域特征和第三目标域特征输入域内处理模块， 得到域内 处理结果； 基于域间处 理结果和域内处 理结果得到所述目标域数据集的假标签； 基于假标签训练所述 跨域行人识别模型， 直至训练好 为止。 3.根据权利要求2所述的基于双向语义对齐聚类的跨域行人再识别方法， 其特征在于， 各分支模型包含的主干网络均包括五个阶段 的卷积层， 所述五个阶段 的卷积层紧邻 设置， 且均在紧邻第五阶段卷积层后设置有反卷积层； 所述将整体源域数据集和整体目标域数据 集同时输入第一分支模型， 得到第一源域特 征和第一目标域特 征包括： 将整体源域数据集和整体目标域数据集同时输入第一分支模型的主干网络； 所述五个阶段的卷积层对整体源域数据集和整体目标域数据集做卷积处 理； 所述反卷积层对所述卷积处理 的结果进行分割约束， 得到第 一源域原始特征和第 一目 标域原始特征； 将所述第一源域原始特征和第 一目标域原始特征输入特征表达模块进行特征提取， 得 到第一源域特 征和第一目标域特 征。 4.根据权利要求2所述的基于双向语义对齐聚类的跨域行人再识别方法， 其特征在于， 所述域间处理模块包括域间语义基模块和域间稀疏表达模块； 所述将所述第一源域特征、 第二源域特征、 第三源域特征、 第一目标域特征、 第二目标域特征和第三目标域特征输入域 间处理模块， 得到域间处 理结果， 包括： 将第一源域特 征、 第二源域特 征和第三源域特 征域间输入所述语义基模块； 将第一目标域特 征、 第二目标域特 征和第三目标域特 征输入所述 域间稀疏表达模块；权　利　要　求　书 1/3 页 2 CN 114913476 A 2所述语义基模块对第一源域特征、 第二源域特征和第三源域特征进行字典学习， 得到 域间多层次语义基； 将所述域间多层次语义基输入所述 域间稀疏表达模块； 所述域间稀疏表达模块根据第一目标域特征、 第二目标域特征、 第三目标域特征和所 述域间多层次语义基进行稀疏编码框架学习， 得到域间处 理结果。 5.根据权利要求4所述的基于双向语义对齐聚类的跨域行人再识别方法， 其特征在于， 所述域内处理模块包括域内语义基模块和域内稀疏表达模块； 将第一 目标域特征、 第二 目 标域特征和第三目标域特 征输入域内处 理模块， 得到域内处 理结果， 包括： 将第一目标域特 征、 第二目标域特 征和第三目标域特 征输入域内语义基模块； 所述语义基模块对第一目标域特征、 第二目标域特征和第三目标域特征进行字典学 习， 得到域内语义基； 将所述域内语义基输入所述 域内稀疏表达模块； 所述域间稀疏表达模块对所述域内语义基进行稀疏编码框架学习， 得到域内处理结 果。 6.根据权利要求5所述的基于双向语义对齐聚类的跨域行人再识别方法， 其特征在于， 所述跨域行人识别模型还包括聚类模块； 基于域间处理结果和域内处理结果得到所述目标 域数据集的假标签， 包括： 将所述域间处理结果和所述域内处理结果输入聚类模块进行聚类， 得到多个聚类节 点； 为每个聚类节点分配一个假标签； 将所有假标签作为所述目标域数据集的假标签。 7.根据权利要求1 ‑6任一所述的基于双 向语义对齐聚类的跨域行人再识别方法， 其特 征在于， 所述 跨域行人识别模型通过交叉熵损失函数和分割约束 进行优化。 8.根据权利要求7所述的基于双向语义对齐聚类的跨域行人再识别方法， 其特征在于， 所述分割约束基于像素级交叉熵损失函数实现， 所述分割约束的公式为： 其中， 表示跨域行人识别模型整体的分割约束， 表示第r个分支模型的分割 约束， 表示第一个分支模型的分割约束， r为自然数， λ表示超参数。 9.一种基于双向语义对齐聚类的跨 域行人再识别装置， 其特 征在于， 所述装置包括： 构建模块， 用于基于 至少三个分支模型构建跨 域行人识别模型； 训练模块， 用于基于源域数据集和目标域数据集训练所述 跨域行人识别模型； 识别模块， 用于采用训练好的跨 域行人识别模型识别目标 行人数据； 其中， 所述三个分支模型为第 一分支模型、 第 二分支模型和第三分支模型， 各分支模型 均包含有主干网络和特 征表达模块。 10.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器运行所述计算机程序以实现如权利要求 1‑8任一 所述方法的步骤。权　利　要　求　书 2/3 页 3 CN 114913476 A 3