(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210658670.7 (22)申请日 2022.06.12 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 张世周　高一涛　 (74)专利代理 机构 西安凯多 思知识产权代理事 务所(普通 合伙) 61290 专利代理师 刘涛 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于残差单元结构搜索的行人重识别 方法 (57)摘要 本发明公开了一种基于残差单元结构搜索 的行人重识别方法， 包含两部分， 第一部分为对 行人图片信息的提取和编码过程， 第二部分为基 于三元组损失对待检索行人图片实现检索和排 序； 在第一部分中， 预定义了一个具有上下两个 支路的搜索空间， 其中， 上支路通过行人全局粗 粒度信息来引导网络结构的搜索， 下支路则是以 更细粒度的局部身体信息来配合整体信息引导 网络结构搜索， 使得搜索过程能够更关注行人的 细节特征。 使用交叉熵损失和三元组损失函数， 实现了不同行人的检测和排序。 本发 明鼓励搜索 算法去学习更丰富的细节性信息来引导神经网 络结构搜索的方向， 提高识别度。 权利要求书3页 说明书11页 附图2页 CN 115131727 A 2022.09.30 CN 115131727 A 1.一种基于残差单 元结构搜索的行 人重识别方法， 其特 征在于， 包括如下步骤： 步骤1： 构建行 人重识别网络； 步骤1‑1： 将待分类图片、 与待分类图片同类别的图片即正样本和不同类别的行人图片 即负样本组成一个三元组， 经3 ×3大小的卷积预 处理后分别输入行人重识别网络的上支路 P1和下支路P2， 上支路P1用于提取粗粒度特 征， 下支路P2用于提取细粒度特 征； 步骤1‑2： 上支路P1和下支路P2都由4个Block构成， 并共享前三个Block； 在最后一个 Block中， 上支路P1和下支路P2分别拥有各自的架构参数和 模型参数； 将上支路P1中的4个 Block按顺序记为P1＝[B1,B2,B3,B4]， 下支路P2中的4个Bl ock记为P2＝[B1,B2,B3,B5]； 步骤1‑3： 每个Block由若干个单元依次堆叠构成， 五个Block对应的单元堆叠层 数记为 b＝[b1,b2,b3,b4,b5]， 其中b1,b2,b3,b4,b5分别表示每个Block中包含的单元数量； 上支路P1 中第4个Block的第一层单元使用命名为Res_Reduction  Cell的残差减半单元， 其余层单元 使用命名为Res_Normal  Cell的残差正常单元； 下支路P2的第4个Block中堆叠的单元则全 部使用Res_N ormal Cell； 步骤1‑4： 残差正常单元由N个节点构成的有向无环图， 前两个节点为输入节点， 顺次的 N‑3个节点为中间节 点， 最后一个节点为输出节点， 残差的直连通道由输入节 点直接与中间 三个节点级联后的结果 求和； 输出用下式计算： 其中， concat( ·)表示级联操作， 该操作将中间节点的特征图在通道维进行拼接， h (·)将上一层单 元的输出直接映射到 本层输出之中； 表示节点， i ＝0,1,…,N； 残差减半单元Res_Reduction  Cell是在残差正常单元Res_Normal  Cell中增加一个 stride为2的卷积层， 使输出 特征图的宽和高减半， 通道维度增 加一倍； 步骤1‑5： 对于残差正常单元cellk的第j个中间节点 其与来自于第i个前继节点 i<j之间的连接用下式表示： 式中， 定义了节点 和节点 之间的连接边上选择候选神经操作om时对应的混合 权重参数； Ci,j表示0/1通道掩码， 掩码中1对应的通道被选定用于神经操作运算， 而0对应的 通道被屏蔽； 候选神经操作om有以下|O|＝8种情况： ◆o1、 o2： 3×3和5×5的深度可分离卷积 操作； ◆o3、 o4： 3×3和5×5的扩张卷积 操作； ◆o5： 3×3的平均池化操作； ◆o6： 3×3的平均池化操作； ◆o7： 跳跃连接； ◆o8： 零操作； 定义 和ei， j：权　利　要　求　书 1/3 页 2 CN 115131727 A 2其中， 表示对om分配的softmax加权系数， ei， j表示对i→j连接边分配的softmax加权 系数； βi,j为i→j连接边分配的参数； 对中间结点与其所有前继节点之间的连接边赋予一个权重实现搜索， 此时， 中间结点 的计算公式为： 最优架构的搜索过程利用梯度下降的策略对α 和β 进行优化 来实现； 步骤1‑6： 下支路P2中B5输出的特征按纵向水平均匀分割为H块， 得到H个尺寸相同的部 件的细粒度特征块， 各细粒度特征块块分别经过不同的线性 嵌入层得到H个256 ‑dim的局部 特征， 这H个局部特征表示通过ID  Loss进行监督； 上支路P1中B4输出经过平均池化层得到 粗粒度特 征， 再经过线性嵌入层和全连接层进行处 理； 步骤2： 损失函数； 步骤2‑1： 粗粒度分支： 上分支P1的检索损失函数由两 部分组成， 用式(5)表示： 式中， 第一项为交叉熵损失， 第二项为三元组损失函数； M表示原样本的个数， 代表训练 数据的样本数量， gm表示第m张行人样本的分类特征g， C代表训练行人身份数， gm(c)表示特 征gm的第c个元素； fm、 分别为第m张行人图像的原样本， 与第m张原样本具有相同标 签的最难的正样本， 即特征之间的距离最远和与第m张原样本具有相同标签的最难的负样 本， 即特征之间的距离最近的25 6‑dim全局特 征； 步骤2‑2： 细粒度分支： 对于下分支P2， 输出被复制为两个部分， 除了保留一个更高分辨率的全局特征用于全 局损失度量外， 另一份将身体部件进行编码， 输出H个256 ‑dim的局部特征， 该局部特征又由 不同的线性变换层映射后得到H个C ‑dim分类特征向量p， 最终分别接入不同的分类器独立 地进行多个局部粒度特 征的学习； 对于每一 块身体部件， 其损失函数为： 式中， 表示第m张行人样本分割的第i块身体部件的分类特征p， C代表训练行人身份 数， 表示 的第c个元 素； 步骤2‑3： 设置全局粗粒度特 征结合局部细粒度特 征的多目标损失函数如下： Ltotal＝ λ1LP1+λ2LP2                           (7) 式中， λ1和 λ2为平衡上分支P1和下分支P2的参数， 其中损失函数Lp1和Lp2的具体形式分 别为：权　利　要　求　书 2/3 页 3 CN 115131727 A 3