(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211007390.6 (22)申请日 2022.08.22 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 王国力　赵刚　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 史翠 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/42(2022.01) G06T 7/73(2017.01) (54)发明名称 一种确定冰箱中食材种类、 存 取位置方法及 装置 (57)摘要 本申请公开了一种确定冰箱中食材种类、 存 取位置方法及装置， 可应用于家用电器领域， 该 方法包括： 获取第一区域图像； 第一区域为传感 器数值发生变化的区域， 将第一区域图像与数据 库中的图像进行对比， 获得矩阵掩膜， 对矩阵掩 膜进行矩阵运算， 获得目标区域， 目标区域为食 材的种类和/或数目发生改变的区域， 根据所述 目标区域， 确定冰箱中目标区域的食 材种类和目 标区域中的食材在所述第一区域图像上的位置 信息。 这样通过采集传感器数值发生变化的区域 的图像进而通过图像识别的方式确定冰箱中存 取的食材种类和存取食材的位置， 就可以解决现 有技术中采用人工语言录入食材信息， 确定冰箱 中存入或者取出的食材种类和食材存取位置准 确率低问题。 权利要求书2页 说明书8页 附图5页 CN 115294568 A 2022.11.04 CN 115294568 A 1.一种确定冰箱中食材种类、 存取位置方法， 其特 征在于， 包括： 获取第一区域图像； 所述第一区域 为传感器数值发生变化的区域； 将所述第一区域图像与数据库中的图像进行对比， 获得矩阵掩膜； 对所述矩阵掩膜进行矩阵运算， 获得目标区域， 所述目标区域为食材的种类和/或数目 发生改变的区域； 根据所述目标区域， 确定冰箱中所述目标区域的食材种类和所述目标区域中的食材在 所述第一区域图像上的位置信息 。 2.根据权利要求1中所述的方法， 其特征在于， 所述根据所述目标区域， 确定冰箱中所 述目标区域的食材种类和所述目标区域中的食材在所述第一区域图像上的位置信息， 包 括： 对所述目标区域进行 特征提取， 获得 特征层； 对所述特征层进行目标检测， 确定冰箱中所述目标区域的食材种类和所述目标区域中 的食材在所述第一区域图像上的位置信息 。 3.根据权利要求1中所述的方法， 其特征在于， 在所述获取第一区域图像之前， 所述方 法还包括： 响应于检测到冰箱存入食材或取出食材， 获取冰箱存入食材或取出食材对应层的压力 传感器的数值变化； 当所述压力传感器的数值变化 为增加时， 确定将食材存 入冰箱； 当所述压力传感器的数值变化 为减少时， 确定从冰箱中取 出食材。 4.根据权利要求3所述的方法， 其特征在于， 当确定将食材存入冰箱， 所述第一区域图 像为食材存入冰箱图像， 所述根据所述 目标区域， 确定冰箱中所述 目标区域的食材种类和 所述目标区域中的食材在所述第一区域图像上的位置信息， 包括： 根据所述目标区域确定冰箱中所述目标区域的存入食材的食材种类和所述目标区域 中存入的食材在所述第一区域图像上的位置信息 。 5.根据权利要求3所述的方法， 其特征在于， 当确定从冰箱中取出食材， 所述第一区域 图像为食材取出冰箱图像， 所述根据所述 目标区域， 确定冰箱中所述 目标区域的食材种类 和所述目标区域中的食材在所述第一区域图像上的位置信息， 包括： 根据所述目标区域确定冰箱中所述目标区域的取出食材的食材种类和所述目标区域 中取出的食材在所述第一区域图像上的位置信息 。 6.一种确定冰箱中食材种类、 存取位置装置， 其特 征在于， 包括： 第一获取 单元， 用于获取第一区域图像； 所述第一区域 为传感器数值发生变化的区域； 对比单元， 用于将所述第一区域图像与数据库中的图像进行对比， 获得矩阵掩膜； 运算单元， 用于对所述矩阵掩膜进行矩阵运算， 获得目标区域， 所述目标区域为食材的 种类和/或数目发生改变的区域； 第一确定单元， 用于根据所述目标区域， 确定冰箱中所述目标区域的食材种类和所述 目标区域中的食材在所述第一区域图像上的位置信息 。 7.根据权利要求6中所述的装置， 其特 征在于， 所述第一确定单 元， 具体用于： 对所述目标区域进行 特征提取， 获得 特征层； 对所述特征层进行目标检测， 确定冰箱中所述目标区域的食材种类和所述目标区域中权　利　要　求　书 1/2 页 2 CN 115294568 A 2的食材在所述第一区域图像上的位置信息 。 8.根据权利要求6中所述的装置， 其特 征在于， 所述装置还 包括： 响应单元， 用于响应于检测到冰箱存入食材或取出食材， 获取冰箱存入食材或取出食 材对应层的压力传感器的数值变化； 第二确定单 元， 用于当所述压力传感器的数值变化 为增加时， 确定将食材存 入冰箱； 第三确定单 元， 用于当所述压力传感器的数值变化 为减少时， 确定从冰箱中取 出食材。 9.根据权利要求8所述的装置， 其特征在于， 当确定将食材存入冰箱， 所述第一区域图 像为食材存 入冰箱图像， 所述第一确定单 元， 具体用于： 根据所述目标区域确定冰箱中所述目标区域的存入食材的食材种类和所述目标区域 中存入的食材在所述第一区域图像上的位置信息 。 10.根据权利要求8所述的装置， 其特征在于， 当确定从冰箱中取出食材， 所述第 一区域 图像为食材 取出冰箱图像， 所述第一确定单 元， 还用于： 根据所述目标区域确定冰箱中所述目标区域的取出食材的食材种类和所述目标区域 中取出的食材在所述第一区域图像上的位置信息 。权　利　要　求　书 2/2 页 3 CN 115294568 A 3