(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210714468.1 (22)申请日 2022.06.23 (65)同一申请的已公布的文献号 申请公布号 CN 114783003 A (43)申请公布日 2022.07.22 (73)专利权人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 王宏升　陈光　 (74)专利代理 机构 北京志霖恒远知识产权代理 事务所(普通 合伙) 11435 专利代理师 戴莉 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114359970 A,202 2.04.15 CN 112818790 A,2021.0 5.18 审查员 秦涛 (54)发明名称 一种基于局部特征注意力的行人重识别方 法和装置 (57)摘要 本发明公开了一种基于局部特征注意力的 行人重识别方法和装置， 包括如下步骤： S1： 获取 原始监控视频图像数据集， 并将原始监控视频图 像数据集按比例划分训练集与测试集； S2： 将原 始监控视频图像训练集进行图像增强， 得到增强 图像， 并将所述增强图像转化成序列数据； 基于 局部特征注 意力的行人重识别技术， 采用多头注 意力机制神经网络对捕捉提取视频图像特征序 列， 使用多头注意力机制代替卷积神经网络中的 卷积核， 采用全连接层与激活函数， 针对行人局 部特征序列通过权值矩 阵组合成完整行人特征 序列， 将已得到行人特征序列进行预测， 输出行 人在图像中位置坐标并框选出行人， 实现行人重 识别。 权利要求书2页 说明书7页 附图3页 CN 114783003 B 2022.09.20 CN 114783003 B 1.一种基于局部特 征注意力的行 人重识别方法， 其特 征在于， 包括如下步骤： S1： 获取原始监控视频图像数据集， 并将原始监控视频图像数据集按比例划分训练集 与测试集； S2： 将原始监控视频图像训练集进行图像增强得到增强图像， 并将所述增强图像按照 图像的高度宽度通道数进行切割， 得到网格图像序列； S3： 使用行人重识别神经网络对增强图像进行特征序列提取， 得到图像中所有物体特 征序列； S4： 针对已提取的图像中所有物体特征序列， 采用多头注意力机制捕捉行人局部特征 序列； S5： 采用全连接层与激活函数， 将行人局部特征序列通过权值矩阵组合成完整行人特 征序列； S6： 将已得到行 人特征序列进行 预测， 确定行 人在图像中的位置坐标； S7： 根据已得到的行人位置坐标和原始监控视频图像数据集中的图像标注样本坐标， 计算行人特征序列预测交并比； S8： 采用残差连接对行 人重识别神经网络迭代训练， 得到行 人重识别检测模型； S9： 将测试集输入行 人重识别检测模型输出 行人识别结果。 2.如权利要求1所述的一种基于局部特征注意力的行人重识别方法， 其特征在于： 所述 步骤S1中所述原始监控视频图像数据集包括图像标注样本、 图像标注样本坐标文件、 未标 注样本。 3.如权利要求1所述的一种基于局部特征注意力的行人重识别方法， 其特征在于： 所述 步骤S2的具体子步骤如下： S21： 将彩色图像转变为灰度图像； S22： 采用直方图均衡将视频监控图像从相对集中的灰度间隔转变为整个灰度范围内 的均匀分布， 采用非线性拉伸图像并重新分配图像 像素值， 使灰度范围大致相同； S23： 使用伽玛校正检测图像信号部分和浅色部分中的暗色， 并增加二者的比率以提高 图像对比度效果； S24： 将增 强图像按照图像的高度宽度通道数进行切割， 得到网格图像序列， 将网格图 像大小转换成行人重识别神经网络的可接收的输入大小， 将 每个网格图像序列转换成二 维 矩阵， 作为行 人重识别神经网络的输入。 4.如权利要求3所述的一种基于局部特征注意力的行人重识别方法， 其特征在于： 所述 步骤S24中， 所述网格图像序列长度等于网格图像大小乘以网格图像高度乘以网格图像宽 度， 采用线性网络将大小不相同的网格图像映射成可被行人重识别神经网络接 收， 且输入 大小固定的带令牌特征 的网格图像， 把每个令牌特征 的网格图像平铺构成序列， 序列包含 网格图像位置编码， 再将每 个网格图像序列转换成二维矩阵。 5.如权利要求1所述的一种基于局部特征注意力的行人重识别方法， 其特征在于： 所述 步骤S3的具体过程为： 通过计算和统计图像局部区域的梯度方向直方图构成特征序列， 通 过梯度的方向密度分布描述局部目标的表象和形状。 6.如权利要求1所述的一种基于局部特征注意力的行人重识别方法， 其特征在于： 所述 步骤S4的具体过程为： 针对网格图像每个像素， 计算每个像素相 邻的局部自注 意力， 采用局权　利　要　求　书 1/2 页 2 CN 114783003 B 2部多头自注意力机制， 二维矩阵转换成并行矩阵计算， 捕捉行 人局部特 征序列。 7.如权利要求1所述的一种基于局部特征注意力的行人重识别方法， 其特征在于： 所述 步骤S5的具体过程为： 采用二层全连接层与激活函数方式， 针对已捕捉的行人特征序列经 过第一层全连接层 并激活， 得到符合行人局部特征序列存在的部分神经元， 根据提取到的 行人局部特征序列进 行组合并输入到第二层全连接层神经元处， 经过组合得到完整行人特 征序列。 8.如权利要求1所述的一种基于局部特征注意力的行人重识别方法， 其特征在于： 所述 步骤S6的具体过程为： 将行人特征序列输入行人重识别神经网络， 采用多头注意力进行计 算， 检测行人特征序列元素有多少在网格图像中心 点上， 计算中心到网格图像边界的距离， 从而得出行人位置坐标， 根据得 出的位置坐标画出 行人在视频监控图像边界框 。 9.一种基于局部特 征注意力的行 人重识别装置， 其特 征在于， 包括以下模块： 获取原始监控视频图像样本集模块： 用于获取原始数据集， 包括标注样本、 未标注样 本、 标注样本坐标文件； 图像预处 理模块： 用于对原 始监控视频图像数据集进行图像预处 理； 图像增强模块： 用于训练集图像增强， 得到对应的增强图像； 图像特征序列提取模块： 用于将所述增强图像按照图像的高度宽度通道数进行切割， 得到网格图像序列， 并进行 特征序列提取； 行人特征序列捕捉模块： 根据所述图像中所有物体特征序列， 采用多头注意力机制捕 捉得到行 人局部特 征序列； 全连接层模块： 根据所述行 人局部特 征序列， 通过权值矩阵组合成完整行 人特征序列； 行人位置预测模块： 根据所述完整行 人特征序列， 预测出 所在图像中位置坐标； 交并比计算模块： 根据所述行人在图像中的位置坐标， 原始监控视频图像数据集中的 图像标注样本坐标， 计算两者 坐标的交并比； 模型训练模块： 采用残差连接， 对行人重识别神经网络进行训练， 得到行人重识别模 型； 图像行 人识别模块： 输入测试集使用行 人重识别模型识别出 行人。 10.一种基于局部特征注意力的行人重识别装置， 其特征在于： 所述装置包括存储器和 一个或多个处理器， 所述存储器中存储有可执行代码， 所述一个或多个处理器执行所述可 执行代码时， 用于实现权利要求1 ‑8任一项所述基于局部特 征注意力的行 人重识别方法。权　利　要　求　书 2/2 页 3 CN 114783003 B 3