(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211078943.7 (22)申请日 2022.09.05 (71)申请人 纵目科技(上海)股份有限公司 地址 201203 上海市浦东 新区祥科路1 11号 腾飞科技楼3号楼8层 (72)发明人 王磊　陈新元　吴子章　王凡　 (74)专利代理 机构 上海专利商标事务所有限公 司 31100 专利代理师 蔡悦 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 用于智能驾驶的目标检测的方法和装置 (57)摘要 本公开提供了用于智能驾驶的目标检测的 方法和装置。 一种用于目标检测的方法， 包括： 对 相机数据和雷达数据进行预处理； 对 经预处理的 相机数据和雷达数据提取特征以得到相机特征 图和雷达 特征图； 以及将该相机特征图和该雷达 特征图输入神经网络以检测一个或多个目标。 权利要求书2页 说明书9页 附图4页 CN 115376107 A 2022.11.22 CN 115376107 A 1.一种用于目标检测的方法， 包括： 对相机数据和雷达数据进行 预处理； 对经预处理的相机数据和雷达数据提取 特征以得到相机特 征图和雷达特 征图； 以及 将所述相机特 征图和所述雷达特 征图输入神经网络以检测一个或多个目标。 2.如权利要求1所述的方法， 进一步包括， 使用训练样本数据对所述神经网络进行训 练， 所述训练样 本数据包括训练相机特征图、 训练雷达特征图 以及标签数据， 所述标签数据 包括一个或多个真实目标的相关数据， 所述训练包括： 将所述训练相机特征图和所述训练雷达特征图输入所述神经网络以得到一个或多个 预测目标； 将所述一个或多个预测目标与标签数据中的一个或多个真实目标进行匹配； 使用所匹配的预测目标与真实目标来确定损失值； 以及 根据所述损失值 来调整所述神经网络的参数。 3.如权利要求2所述的方法， 其中所述损失值是位置损失值和类别损失值的加权和， 所 述位置损失值是L1损失值， 并且所述类别损失值是focal损失值。 4.如权利要求2所述的方法， 其中将所述一个或多个预测目标与所述一个或多个真实 目标进行匹配包括： 使用匈牙利算法将所述一个或多个预测目标与所述一个或多个真实目 标进行匹配。 5.如权利要求1所述的方法， 其中所述相机数据包括多路相机数据并且所述雷达数据 包括多路雷达数据， 所述方法进一 步包括： 将所述多路相机数据拼接为整体相机数据， 以及将所述多路雷达数据拼接为整体雷达 数据。 6.如权利要求1所述的方法， 其中对所述相机数据进行预处理包括： 对所述相机数据的 图片进行归一 化和填充； 并且 其中对所述雷达数据进行预处理包括： 将所述雷达数据转换到与所述相机数据相同的 坐标系下。 7.如权利要求1所述的方法， 其中对经 预处理的相机数据和雷达数据提取 特征包括： 使用残差网络对所述相机数据提取 特征以得到所述相机特 征图； 以及 使用最大池化网络对所述雷达数据提取 特征以得到所述雷达特 征图。 8.如权利要求1所述的方法， 其中所述神经网络是t ransformer网络 。 9.一种用于目标检测的装置， 包括： 用于对相机数据和雷达数据进行 预处理的模块； 用于对经预处理的相机数据和雷达数据提取特征以得到相机特征图和雷达特征图的 模块； 以及 用于将所述相机特征图和所述雷达特征图输入神经网络以检测一个或多个目标的模 块。 10.如权利要求9所述的装置， 进一步包括， 用于使用训练样本数据对所述神经网络进 行训练的模块， 所述训练样 本数据包括训练相机特征图、 训练雷达特征图 以及标签数据， 所 述标签数据包括 一个或多个真实目标的相关数据， 所述用于训练的模块被 配置成： 将所述训练相机特征图和所述训练雷达特征图输入所述神经网络以得到一个或多个权　利　要　求　书 1/2 页 2 CN 115376107 A 2预测目标； 将所述一个或多个预测目标与标签数据中的一个或多个真实目标进行匹配； 使用所匹配的预测目标与真实目标来确定损失值； 以及 根据所述损失值 来调整所述神经网络的参数。 11.一种电子设备， 包括处理器和存储器， 所述存储器存储有程序指令； 所述处理器运 行程序指令实现如权利要求1至 权利要求8中任一项所述的用于目标检测的方法。权　利　要　求　书 2/2 页 3 CN 115376107 A 3