(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210442778.2 (22)申请日 2022.04.25 (71)申请人 中国海洋大学 地址 266100 山东省青岛市崂山区松岭路 238号 (72)发明人 魏志强　谢坷珍　黄磊　 (74)专利代理 机构 北京工信联合知识产权代理 有限公司 1 1266 专利代理师 刘爱丽 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/26(2022.01) G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多任务学习的天气识别方法及系 统 (57)摘要 本发明公开了一种基于多任务学习的天气 识别方法及系统， 包括： 将获取的目标图像输入 至用于天气识别的卷积神经网络模型的共享卷 积层， 以获取共享天气特征； 将所述共享天气特 征输入至所述卷积神经网络模型的天气对象分 割任务框架中进行天气对象 的分割， 以获取天气 对象分割结果； 将所述天气 对象分割结果和共享 天气特征输入至所述卷积神经网络模型的天气 分类任务框架中进行天气分类， 获取天气标签； 根据所述天气对象分割结果和天气标签确定针 对所述目标图像识别出的天气状态信息。 本发明 通过建立多任务深度学习框架， 可以在共享层提 取到共享天气特征， 并综合分类和分割任务得到 更丰富的天气状态信息， 可以应用于室外监控场 景图像中的天气状态 识别。 权利要求书3页 说明书10页 附图2页 CN 114998820 A 2022.09.02 CN 114998820 A 1.一种基于多任务学习的天气识别方法， 其特 征在于， 所述方法包括： 将获取的目标天气图像输入至用于天气识别的卷积神经网络模型的共享卷积层， 以获 取共享天气特 征； 将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行 天气对象的分割， 以获取天气对象分割结果； 将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类 任务框架中进行天气分类， 获取天气标签； 根据所述天气对象分割结果和天气标签确定针对所述目标天气图像识别出的天气状 态信息。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述共享天气特征输入至所述卷积 神经网络模型的天气对象分割任务框架中进行天气对象的分割， 以获取天气对象分割结 果， 包括： 根据所述共享天气特 征进行多尺度特 征的提取， 获取多尺度天气特 征； 对所述多尺度天气特 征进行上采样操作， 以将特 征图的尺寸还原至原图像大小； 对恢复尺寸大小的特征图进行逐像素级天气对象分类， 获取与 所述目标天气图像尺寸 一致的天气对象分割结果。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述共享天气特征进行多尺度 特 征的提取， 获取多尺度天气特 征， 包括： 利用空洞卷积进行多尺度特征的提取， 所述空洞卷积由一个1x1卷积和三个3x3的采样 率为rates＝{6,12,18}的空洞卷积组成， 通过将1x1卷积和三个空洞卷积层提取到的特征 基于拼接进行融合， 获取多尺度天气特 征。 4.根据权利要求2所述的方法， 其特征在于， 所述对所述多尺度天气特征进行上采样操 作， 以将特 征图的尺寸还原至原图像大小， 包括： 过双线性插值方法对所述多尺度天气特征通进行上采样操作， 在特征图像素点之间插 入新的元 素， 以将特 征图的尺寸还原至 输入图像大小。 5.根据权利要求2所述的方法， 其特征在于， 所述对恢 复尺寸大小的特征图进行逐像素 级天气对象分类， 获取与所述目标天气图像尺寸 一致的天气对象分割结果， 包括： 对恢复尺寸大小的特征图的每个像素进行softmax分类， 判断出中每个像素所属类别， 汇合所有像素分类最终得到与输入图像尺寸 一致的天气对象分割结果。 6.根据权利要求1所述的方法， 其特征在于， 所述将所述天气对象分割结果和共享天气 特征输入至所述卷积神经网络模型 的天气分类任务框架中进行天气分类， 获取天气标签， 包括: 对所述共享天气特 征和所述天气对象分割结果进行 特征融合， 获取天气融合特 征； 对所述天气融合特 征进行池化操作， 获取天气特 征表示向量； 将所述天气特 征表示向量输入至分类 器进行天气标签分类， 获取天气标签。 7.根据权利要求6所述的方法， 其特征在于， 所述对所述天气融合特征进行池化操作， 获取天气特 征表示向量， 包括： 权　利　要　求　书 1/3 页 2 CN 114998820 A 2其中， 表示对第k个通道的特征图进行广义平均池化的结果， v(g)为对天气特征进行 池化后得到的天气特征表示向量； Xk为第k个特征通道的激活图； 每个特征图都有不同的池 化参数pk， 由训练获得。 8.一种基于多任务学习的天气识别系统， 其特 征在于， 所述系统包括： 共享天气特征获取单元， 用于将 获取的目标天气图像输入至用于天气识别的卷积神经 网络模型的共享卷积层， 以获取共享天气特 征； 天气对象分割单元， 用于将所述共享天气特征输入至所述卷积神经网络模型的天气对 象分割任务框架中进行天气对象的分割， 以获取天气对象分割结果； 天气分类单元， 用于将所述天气对象分割结果和共享天气特征输入至所述卷积神经网 络模型的天气分类任务框架中进行天气分类， 获取天气标签； 天气状态信 息获取单元， 用于根据 所述天气对象分割结果和天气标签确定针对所述目 标天气图像识别出的天气状态信息 。 9.根据权利要求8所述的系统， 其特征在于， 所述天气对象分割单元， 将所述共享天气 特征输入至所述卷积神经网络模型的天气对象分割任务框架中进 行天气对象的分割， 以获 取天气对象分割结果， 包括： 根据所述共享天气特 征进行多尺度特 征的提取， 获取多尺度天气特 征； 对所述多尺度天气特 征进行上采样操作， 以将特 征图的尺寸还原至原图像大小； 对恢复尺寸大小的特征图进行逐像素级天气对象分类， 获取与 所述目标天气图像尺寸 一致的天气对象分割结果。 10.根据权利要求9所述的系统， 其特征在于， 所述天气对象分割单元， 根据所述共享天 气特征进行多尺度特 征的提取， 获取多尺度天气特 征， 包括： 利用空洞卷积进行多尺度特征的提取， 所述空洞卷积由一个1x1卷积和三个3x3的采样 率为rates＝{6,12,18}的空洞卷积组成， 通过将1x1卷积和三个空洞卷积层提取到的特征 基于拼接进行融合， 获取多尺度天气特 征。 11.根据权利要求9所述的系统， 其特征在于， 所述天气对象分割单元， 对所述多尺度天 气特征进行上采样操作， 以将特 征图的尺寸还原至原图像大小， 包括： 过双线性插值系统对所述多尺度天气特征通进行上采样操作， 在特征图像素点之间插 入新的元 素， 以将特 征图的尺寸还原至 输入图像大小。 12.根据权利要求9所述的系统， 其特征在于， 所述天气对象分割单元， 对恢 复尺寸大小 的特征图进行逐像素级天气对象分类， 获取与所述目标天气图像尺寸一致的天气对象分割 结果， 包括： 对恢复尺寸大小的特征图的每个像素进行softmax分类， 判断出中每个像素所属类别， 汇合所有像素分类最终得到与输入图像尺寸 一致的天气对象分割结果。 13.根据权利要求8所述的系统， 其特征在于， 所述天气分类单元， 将所述天气对象分割 结果和共享 天气特征输入至所述卷积神经网络模型的天气分类任务框架中进 行天气分类， 获取天气标签， 包括: 对所述共享天气特 征和所述天气对象分割结果进行 特征融合， 获取天气融合特 征； 对所述天气融合特 征进行池化操作， 获取天气特 征表示向量； 将所述天气特 征表示向量输入至分类 器进行天气标签分类， 获取天气标签。权　利　要　求　书 2/3 页 3 CN 114998820 A 3