(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210471251.2 (22)申请日 2022.04.28 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 赖剑煌　王源　 (74)专利代理 机构 深圳市创富知识产权代理有 限公司 4 4367 专利代理师 高冰 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双向特征传播的小股人群重识别 方法及系统 (57)摘要 本发明公开了一种基于双向特征传播的小 股人群重识别方法及系统， 该方法包括： 根据群 组图像构建语义分割图并进行修复和生成处理， 得到样本图像； 构建信息模型对样 本图像进行特 征提取处理， 得到图像特征信息； 基于双向特征 传播模块对图像特征信息进行融合处理， 得到图 像身份特征； 基于图像身份特征进行小股人群重 识别， 得到识别结果。 该系统包括： 构建模块、 提 取模块、 融合模块和识别模块。 通过使用本发明， 能够通过扩大群组图像的样本量与提取群组图 像的图像身份特征进而提高小股人群重识别精 度。 本发明作为一种基于双向特征传播的小股人 群重识别方法及系统， 可广泛应用于行人重识别 技术领域。 权利要求书2页 说明书7页 附图2页 CN 114882432 A 2022.08.09 CN 114882432 A 1.一种基于双向特 征传播的小股人群重识别方法， 其特 征在于， 包括以下步骤： 根据群组图像构建语义分割图并进行修复和生成处 理， 得到样本图像； 构建信息模型对样本图像进行 特征提取处 理， 得到图像特 征信息； 基于双向特 征传播模块对图像特 征信息进行融合处 理， 得到图像身份特 征； 基于图像身份特 征进行小股人群重识别， 得到识别结果。 2.根据权利要求1所述一种基于双向特征传播的小股人群重识别方法， 其特征在于， 所 述根据群组图像构建语义分割图并进行修复和 生成处理， 得到样本图像这一步骤， 其具体 包括： 通过摄像头系统获取群组图像并输入图像语义分割 模型进行分割处理， 得到语义分割 图； 对语义分割图进行修复处 理， 得到修复后的图像； 基于空间布局生成器对语义分割图进行生成处 理， 得到新空间布局图像； 将修复后的图像和新空间布局图像输入拼接模块， 生成样本图像。 3.根据权利要求2所述一种基于双向特征传播的小股人群重识别方法， 其特征在于， 所 述对语义分割图进行修复处 理， 得到修复后的图像这 一步骤， 其具体包括： 对语义分割图进行拆分处 理， 得到背景掩 模和行人掩模； 将背景掩 模与群组图像进行 逐点相乘处 理， 得到背景图像； 基于深度图像修复模型对背景图像和群组掩 模进行修复处 理， 得到修复后的背景图； 基于行人编码器 ‑解码器结构对行人掩模和群组图像进行修复处理， 得到修复后的行 人剪切图； 整合修复后的背景图和修复后的行 人剪切图， 得到修复后的图像。 4.根据权利要求3所述一种基于双向特征传播的小股人群重识别方法， 其特征在于， 所 述基于空间布局 生成器对语义分割图进行生成处理， 得到新空间布局图像这一步骤， 其具 体包括： 根据语义约束条件， 对语义分割图进行位置采样处 理， 得到新行 人位置信息； 根据新行人位置信息获取对应的坐标信息、 语义信息、 原位置信息和行人位置间的角 度距离信息， 整合得到新空间布局图像； 所述行人位置间的角度距离信息通过新行 人位置信息和原位置信息计算得到 。 5.根据权利要求4所述一种基于双向特征传播的小股人群重识别方法， 其特征在于， 所 述将修复后的图像和新空间布局图像输入拼接模块， 生成样本图像这 一步骤， 其具体包括： 根据启发式规则， 对新空间布局图像进行放缩处 理， 得到放缩后的行 人剪切图； 对将修复后的图像和新空间布局图像进行拼接与判断处 理； 判断到图像拼接 部分的行 人重叠面积小于预设阈值， 输出样本图像。 6.根据权利要求5所述一种基于双向特征传播的小股人群重识别方法， 其特征在于， 所 述构建信息模型对样本图像进行 特征提取处 理， 得到图像特 征信息这 一步骤， 其具体包括： 抽取部分样本图像进行纵向切割处 理， 得到行 人区域图像； 对行人区域图像进行扩展处 理， 得到扩展行 人区域图像； 通过扩展行 人区域图像对样本图像进行切割处 理， 得到子图像； 基于布局特 征提取器对样本图像和子图像进行 特征提取处 理， 得到布局特 征信息；权　利　要　求　书 1/2 页 2 CN 114882432 A 2基于表观信 息提取器对样本图像和行人区域图像进行特征提取处理， 得到表观特征信 息； 整合布局特性信息和表 观特征信息， 得到图像特 征信息。 7.根据权利要求6所述一种基于双向特征传播的小股人群重识别方法， 其特征在于， 所 述基于双向特征传播模块对图像特征信息进行融合处理， 得到图像身份特征这一步骤， 其 具体包括： 对表观特征信息进行调整处 理， 得到行 人外观特 征信息； 基于布局特性信息和行 人外观特 征信息， 构建输入矩阵； 基于双向特 征传播模块对输入矩阵进行计算， 得到图像身份特 征。 8.根据权利要求7所述一种基于双向特征传播的小股人群重识别方法， 其特征在于， 所 述图像身份特 征包括群组特 征和个人 特征， 所述群组特 征的计算公式如下 所示： fgroup＝K·Softmax(Q1H·Q2H)·Q3H 上式中， fgroup表示群组特征， K表示仅第一行为1， 其他行为0的矩， Q1、 Q2和Q3表示隐含变 化矩阵， H表示输入矩阵， Q1H、 Q2H分别表示对输入矩阵进行转换后的询问矩阵和键矩阵。 9.根据权利要求8所述一种基于双向特征传播的小股人群重识别方法， 其特征在于， 所 述个人特征的计算公式如下 所示： fperson＝Mi·Softmax(Q1H·Q2H)·Q3H,i＝1,2,…,Np 上式中， Mi表示仅第i+1行为1， 其 他行为0的矩阵， Np表示群组图像中的行 人数目。 10.一种基于双向特 征传播的小股人群重识别系统， 其特 征在于， 包括以下模块： 构建模块， 用于根据群组图像构建语义分割图并进行修复和生成处 理， 得到样本图像； 提取模块， 用于构建信息模型对样本图像进行 特征提取处 理， 得到图像特 征信息； 融合模块， 基于双向特 征传播模块对图像特 征信息进行融合处 理， 得到图像身份特 征； 识别模块， 基于图像身份特 征进行小股人群重识别， 得到识别结果。权　利　要　求　书 2/2 页 3 CN 114882432 A 3