(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210398218.1 (22)申请日 2022.04.15 (71)申请人 河北农业大 学 地址 071001 河北省保定市莲池区灵雨寺 街289号河北农业大 学 (72)发明人 张立杰　安楠　张延强　李娜　 陈广毅　高笑　 (51)Int.Cl. G06V 20/68(2022.01) G06V 20/64(2022.01) G06V 10/22(2022.01) G06V 10/24(2022.01) G06V 10/26(2022.01) G06V 10/56(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06K 9/62(2022.01) (54)发明名称 一种基于双目点云的苹果快速识别定位方 法 (57)摘要 本发明公开了一种基于双目点云的苹果快 速识别定位方法， 包括以下步骤： S1： 使用双目相 机获取果树的空间三维信息及颜色信息， 生成原 始彩色点 云。 S2： 对原始彩色点云进行预处理， 得 到精简点云。 S3： 对精简点云进行基于颜色的区 域生长分割， 获取不同颜色的点云聚类， 并将聚 类保存在索引。 S4： 用迭代法遍历索引中的聚类， 通过颜色对聚类进行筛选， 分类标签， 获得苹果 点云聚类。 S5： 对苹果聚类进行位姿 提取， 将所 获 取信息进行打包输出。 权利要求书1页 说明书3页 附图4页 CN 114677674 A 2022.06.28 CN 114677674 A 1.一种基于双目点云的苹果快速识别定位方法， 其特 征在于， 包括： S1： 使用双目相机获取果 树的空间三维信息及颜色信息， 生成原 始彩色点云； S2： 对原始彩色点云进行 预处理， 得到精简点云； S3： 对精简点云进行基于颜色的区域生长分割， 获取不同颜色的点云聚类， 并将聚类保 存在索引； S4： 用迭代法遍历索引中的聚类， 通过颜色对聚类进行筛选， 分类标签， 获得苹果点云 聚类， 并对聚类进行进一 步处理； S5： 对苹果聚类进行位姿提取， 将所获取信息进行打包输出。 2.根据权利要求1所述的方法， 其特征在于， 所述步骤S1进一步包括： 需对双目相机进 行内参标定， 建立相机成像几何模型并矫 正透镜畸变， 以获取准确的三维信息 。 3.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S2进一 步包括： S201， 使用直 通滤波对点云进行简单的基本过 滤， 剔除主 要采摘区域维度外的点云； S202， 使用体素 滤波减少点云数量， 同时保持点云的形状特 征， 进一步加快算法速度； S203， 使用统计滤波剔除明显 离群点， 最终得到精简点云。 4.根据权利要求1所述的方法， 其特征在于， 所用基于颜色的区域生长分割算法， 原理 相似于区域生长分割算法， 所不同的是它使用发颜色而不是法线： 第一步使用合并算法进 行过分割和欠分割控制并尝试合并具有相近颜色的簇； 第二步每个集群都会根据其包含的 点数进行验证， 如果此 数字小于用户定义的值， 则当前群集将与最近的相邻群集 合并。 5.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S4进一 步包括： 用迭代法遍历聚类， 对每个聚类 中的点进行R ‑G颜色信息提取， 通过设置颜色阈值对聚 类进行分类标签， 若符合要求则定义 为所需苹果聚类， 并进行提取。 6.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S4进一 步包括： 由于光线较弱时基于颜色的区域生长分割 存在分割不完全的状况， 则需对点云进行进 一步处理， 同样使用颜色阈值去除多余的树叶点云得到最终的完整苹果 点云。 7.根据权利要求1所述的方法， 其特征在于， 所述步骤S5所提取的信息进一步包括： 聚 类的质心坐标、 边 缘点坐标以及姿态。权　利　要　求　书 1/1 页 2 CN 114677674 A 2一种基于双目点 云的苹果快速识别定位方 法 技术领域 [0001]本发明涉及农业机器人领域和机器视觉领域， 更具体的涉及基于点云对苹果快速 识别定位方法。 背景技术 [0002]中国是世界上最大的苹果生产国， 苹果在采摘期内需要用到大量人工， 从而导致 采摘作业是最耗时、 费力的环节之一， 近年来基于机器视觉的采摘机器人成为国内外农业 工程的研究热点， 旨在通过智能机器人技术 实现自动采摘水果， 在农业机器人采摘过程中， 树上苹果的识别与定位一直是关键的技术难题， 因此， 如何提高苹果图像检测的准确 率和 效率成为当前研究的重点。 [0003]目前卷积神经网络被广泛应用于目标检测当中， 但这类方法对硬件要求较高， 且 计算周期较长， 使得农业机器人的采摘效率大 大降低。 发明内容 [0004]为了降低对硬件的要求且提高农业机器人的采摘效率， 本申请公开了一种基于双 目点云的苹果快速识别定位方法。 [0005]本发明通过以下技 术方案实现： S1： 使用双目相机获取果 树的空间三维信息及颜色信息， 生成原 始彩色点云； S2： 对原始彩色点云进行 预处理， 得到精简点云； S3： 对精简点云进行基于颜色的区域生长分割， 获取不同颜色的点云聚类， 并将聚 类保存在 索引； S4： 用迭代法遍历索引中的聚类， 通过颜色对聚类进行筛选， 分类标签， 获得苹果 点云聚类； S5： 对苹果聚类进行位姿提取， 将所获取信息进行打包输出。 [0006]进一步地， S1应包括： 需对双目相机进行内参标定， 建立相机成像几何模型并矫正透镜畸变， 以获取准 确的三维信息 。 [0007]进一步地， S2对点云的预处 理包括： S201， 使用直通滤波对点云进行简单的基本过滤， 剔除主要采摘区域维度外的点 云； S202， 使用体素滤波减少点云数量， 同时保持点云的形状特征， 进一步加快算法速 度； S203， 使用统计滤波剔除明显 离群点， 最终得到精简点云。 [0008]进一步地， S3基于颜色的聚类生长分割特征在于， 原理相似于区域生长分割算法， 所不同的是它使用发颜色而不是法线， 使用合并算法进 行过分割和欠分割控制， 分割后， 尝 试合并具有相近颜色的簇。 两个相邻簇的平均颜色相差很小， 它们合并在一起。 继而进行第说　明　书 1/3 页 3 CN 114677674 A 3