(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221095823 6.0 (22)申请日 2022.08.10 (71)申请人 深圳鹏鲲智科技 术有限公司 地址 518052 广东省深圳市南 山区南头街 道中山园路9号 君翔达大楼 A楼2楼V区 (72)发明人 刘健　张琦　李慧云　黄达健　 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06T 7/13(2017.01) G06T 7/521(2017.01) G06F 13/10(2006.01) G06F 13/16(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于RGB-D相机及神经网络模型的托盘、 障 碍物检测定位系统和方法 (57)摘要 本发明的基于RGB ‑D相机及神经网络模型的 托盘、 障碍物检测定位系统和方法， 其中定位系 统包括： RGB‑D相机系统； 集成计算板卡， 包 括CPU 及NPU； CPU及NPU用于运行相应的图像处理及目 标检测算法， 根据输入的应用场景深度图像和 RGB图像计算被检测目标的空间位置和姿态信 息。 本发明的定位方法包括： 采集包含待检测目 标的环境深度图像和RGB图像； 进行目标区域点 云滤波、 边缘提取、 目标空间位置姿态信息求取。 本发明的技术方案使用RGB ‑D图像作为增强检测 手段， 可应用于自动驾驶叉车、 AGV小车、 堆垛车、 无人牵引车、 无人驾驶矿卡以及其他移动机器人 的托盘检测定位， 障碍物检测定位 等场景。 权利要求书2页 说明书10页 附图3页 CN 115272275 A 2022.11.01 CN 115272275 A 1.一种基于RGB ‑D相机及神经网络模型的托盘、 障碍物检测定位系统， 其特征在于， 包 括： RGB‑D相机系统， 包括深度相机模块及RGB相机模块， 深度相机模块用于环境深度信息 采集， RGB相机模块用于环境纹 理色彩信息采集； 集成计算板卡， 包括CPU、 存 储器、 MIPI控制器、 数据缓存器及NPU； 深度相机模块及RGB相机模块分别通过MIPI接口连接到集成计算板卡上， MIPI控制器 用于控制深度相机模块及RGB相机模块采集环境深度图像和RGB图像， 并将数据缓存至集成 板卡的数据缓存器； CPU及NPU用于运行相应的图像处理及目标检测算法， 根据输入的应用 场景深度图像和RGB图像 计算被检测目标的空间位置和姿态信息 。 2.根据权利要求1所述的基于RGB ‑D相机及神经网络模型的托盘、 障碍物检测定位系 统， 其特征在于， 还包括与集成计算板卡连接的应用接口系统， 用于为上层应用软件提供设 备控制、 参数设置、 位姿数据接收的功能接口， 包括 NET、 CAN、 UART数据传输 接口。 3.根据权利要求1所述的基于RGB ‑D相机及神经网络模型的托盘、 障碍物检测定位系 统， 其特征在于， 集成计算板卡包括： 图像采集功能模块， 用于通过MIPI控制器控制深度相机模块及RGB相机模块采集环境 深度图像和RGB图像， 并将数据缓存至集成板卡的数据缓存区； 图像预处 理模块， 用于执 行从缓存区读取图像和以及预处 理操作； 目标检测模块， 用于通过NPU 进行检测模型加载、 模型推理运 算操作； 数据融合处 理模块， 用于对不同模型的目标检测结果进行融合； 点云处理模块， 用于进行目标区域 点云滤波、 边 缘提取、 目标空间位置姿态信息求取。 4.一种基于RGB ‑D相机及神经网络模型的托盘、 障碍物检测定位方法， 其特征在于， 包 括如下步骤： 采集包含待检测目标的环境深度图像和RGB图像； 读取图像和进行 预处理操作； 通过NPU进行检测模型加载、 模型推理运 算操作； 对不同模型的目标检测结果进行融合； 进行目标区域 点云滤波、 边 缘提取、 目标空间位置姿态信息求取。 5.根据权利要求4所述的基于RGB ‑D相机及神经网络模型的托盘、 障碍物检测定位方 法， 其特征在于， 包括如下步骤： 步骤 1、 对RGB‑D相机系统进行参数配置、 图像采集初始化设置， 对各功能模块进行初 始化设置； 步骤 2、 根据目标检测功能模块的配置信息， 从存储器中加载所需要的神经网络检测 模型； 步骤 3、 由图像采集功能模块通过MIPI控制器向深度相机模块及RGB相机模块发送图 像采集指 令， 并开始接收环境深度图像和RGB图像， 接收完 毕后将数据缓存至集成板卡的数 据缓存区； 步骤 4、 由图像预处理模块从数据缓存区读取图像数据， 分别 对深度图像以及RGB图像 进行预处理； 步骤 5、 由神经网络模型推理模块对输入的图像矩阵进行前向推理运算， 得出目标初权　利　要　求　书 1/2 页 2 CN 115272275 A 2步检测结果； 步骤 6、 由数据融合处理模块对深度图检测模型和 RGB图检测模型输出的检测结果进 行融合得到被 检测目标的最终检测结果； 步骤 7、 计算目标 区域点云数据， 进行双边滤波， 边缘提取、 离散点去除预处理操作， 再 通过点云坐标均值计算求取目标3D位置， 通过对点云进行平面提取求取目标姿态数据， 最 终得到被 检测目标的位置及姿态数据。 6.根据权利要求5所述的基于RGB ‑D相机及神经网络模型的托盘、 障碍物检测定位方 法， 其特征在于， 对深度图像以及RGB图像进行 预处理包括： 将图像分辨 率调整为神经网络模型支持的输入大小； 将图像数据用像素矩阵表示； 对像素矩阵进行归一 化操作。权　利　要　求　书 2/2 页 3 CN 115272275 A 3