(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210200433.6 (22)申请日 2022.03.03 (71)申请人 天津港第二集装箱码头有限公司 地址 300456 天津市滨 海新区天津自贸试 验区(中心商务区） 燕赵大厦1-1701- A-97 (72)发明人 杨杰敏　王轩　杨荣　高延辉　 武彬　陈培　张朋　柴浩　孔席超　 张凯　王学迁　周昆　 (74)专利代理 机构 天津市三利专利商标代理有 限公司 12107 代理人 韩新城 (51)Int.Cl. H04N 7/18(2006.01) H04N 21/234(2011.01)G06F 16/29(2019.01) G06N 3/08(2006.01) G06T 5/50(2006.01) G06T 7/73(2017.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06T 17/00(2006.01) (54)发明名称 基于全景拼接和视频AI的自动化码头数字 舱系统 (57)摘要 本发明提供一种基于全景拼接和视频AI的 自动化码 头数字舱系统， 通过视频处理系统将获 取的码头各处视频监控数据进行处理， 完成码头 不同场景的实时全景拼接， 形成同一时刻下的全 景图像； 通过三维可视化系统将获取的不同全景 数据进行 实时分类整理， 并将二维GIS信息、 第三 方报警信息、 多标签信息与从视频处理系统抽取 的全景图像融合形成全景信息， 然后通过三维场 景模拟系统将不同场景、 不同时间下的全景数据 拼接， 根据标签信息将同一场景下的全景数据按 时间顺序进行拼接， 形成实时全景数据流， 通过 操作台系统向用户展示码头不同场景的实时全 景信息。 本发 明有效提高了码 头多源信息融合及 展示能力。 权利要求书2页 说明书6页 附图2页 CN 114286062 A 2022.04.05 CN 114286062 A 1.基于全景拼接和视频AI的自动化码头数字舱系统， 其特 征在于， 包括： 多数据获取模块， 用于获取码头的视频监控数据、 GIS数据、 第三方系 统报警信息以及 TOS系统的码头设备 数量、 编号及其作业状态信息， 并实时传输 至实时数据库系统； 实时数据库系统， 与多数据获取模块、 视频处理系统、 三维可视化系统通信连接， 用于 存储规定时间内的码头的视频监控数据、 GIS数据、 第三方系统报警信息数据以及TOS系统 的设备编号、 数量及其作业状态信息， 并将视频监控数据分类处 理后传输 至视频处理系统； 视频处理系统， 与三维可视化系统通信连接， 用于将码头各处视频监控数据进行视频 关键帧抽取、 图像预处理、 图像变换、 图像匹配以及图像融合操作， 完成码头不同场景 的实 时全景拼接， 形成同一时刻下的全景图像； 三维可视化系统， 与视频处理系统及实时数据库系统连接， 用于从实时数据库系统中 抽取GIS数据形成码头二维GIS信息、 从实时数据库系统中抽取第三方系统报警信息形成第 三方报警信息、 从实时数据库系统中抽取GIS数据与TOS信息形成多 标签信息， 并将二维GIS 信息、 第三方报警信息、 多标签信息与从视频处 理系统抽取的全景图像融合形成全景信息； 三维场景模拟系统， 与所述三维可视化系统连接， 用于将不同场景、 不同时间下的全景 信息进行拼接， 根据标签信息将同一场景下 的全景信息按时间顺序进行拼接， 形成实时全 景信息数据流， 配合操作台系统向用户展示码头不同场景的实时全景信息； 操作台系统， 与所述三维场景模拟系统连接， 用于实现不同的全景信息的切换、 移动、 缩放操作， 以向用户展示码头不同场景的实时全景信息 以及对视频监控设备云台操作控 制。 2.根据权利要求1所述的基于全景拼接和视频AI的自动化码头数字舱系统， 其特征在 于， 所述操作台系统包括操作手柄、 显示器、 鼠标及键盘和三维场景模拟软件， 所述操作手 柄用于完成场景缩放、 场景顺序切换、 场景左右移动以及场景俯仰操作； 所述鼠标用于点击 全景图像的画面中的摄像机标志调看摄像机或球机视频画面， 同时配合操作手柄完成球机 云台的转动控制。 3.根据权利要求1所述基于全景拼接和视频AI的自动化码头数字舱系统， 其特征在于， 所述多数据获取模块获取的GIS数据的形成是， 加载港口CAD平 面图， 生成港口二 维GIS矢量 地图， 将全景点位和港口码头的元素图标标绘到港口二维GIS矢量地图的对应位置， 形成 GIS数据； 其中， 港口码头的元 素包含码头的各设备 元素。 4.根据权利要求1所述基于全景拼接和视频AI的自动化码头数字舱系统， 其特征在于， 所述实时数据库系统， 读取与码头 设备作业状态相关的实时数据； 其中， 码 头各处视频监控 数据实时与实时数据库系统同步， 除码头各处视频监控数据外的其它数据进 行不同时间间 隔的定期更新； 实时数据库系统通过与TOS系统信息交互， 集 成了岸桥设备、 轨道吊设备、 水 平运输设备 的实时作业状态、 位置以及设备编号信息； 通过与数字舱系统其它系统进行数 据连接， 为数据查询、 调用以及状态展示 提供依据。 5.根据权利要求1所述基于全景拼接和视频AI的自动化码头数字舱系统， 其特征在于， 所述视频 处理系统包括前端视频采集设备和 后端全景拼接服务器， 后端全 景拼接服务器利 用全景拼接与视频AI 算法完成实时图像数据的变换、 匹配及融合操作。 6.根据权利要求5所述基于全景拼接和视频AI的自动化码头数字舱系统， 其特征在于， 所述前端视频采集设备选用枪机和球机， 利用枪机完成全景图像拼接， 调用球机进行细节权　利　要　求　书 1/2 页 2 CN 114286062 A 2联动， 部署6台呈扇形架设的枪机实时捕获码头拍摄位1800的实景视频信息 。 7.根据权利要求5所述基于全景拼接和视频AI的自动化码头数字舱系统， 其特征在于， 所述后端全景拼接服 务器进行图像数据的变换， 匹配以及整合操作的具体步骤如下： S1.几何变换： 通过平移、 转置、 镜像、 旋转、 缩放操作对采集的图像处理， 纠正图像采集过程中存在的 随机误差或仪器参数引起的系统误差； S2.色彩校正： 利用基于反向传播的神经网络算法对图像色调、 明暗进行调整， 通过算法训练矫正模 型的各项误差值； S3.图像增强： 利用频率域法增强图像的有用信息， 改善 图像视觉效果； 包括针对集装箱码头的应用 环境， 增强 图像局部特征， 抑制不感兴趣特征， 扩大图像中不同物体特征之间的差异， 改善 图像质量； S4.图像匹配： 利用图像的特征匹配点对， 通过反变换的方式得到彼此间的对应位置， 再利用视频图 像上的特征点对， 通过图像笛卡尔坐标优化方法使特征点对在图像展开后距离之和 最小， 进而获取两个图像的相对空间以及像素位置关系； S5.图像融合： 利用基于加权平均的融合方法对图像进行融合操作， 保证图像结构的完整性， 去 除图 像间的冗余像素信息 。 8.根据权利要求1所述的基于全景拼接和视频AI的自动化码头数字舱系统， 其特征在 于， 所述三维可视化系统， 其功能具体包括： 将各种摄像机视频接入全景画面， 用户通过鼠标点击全景画面中对应的摄像机标志， 可调看目标设备的实时状态视频， 若调用球机， 还 可通过画 面控制球机的云台转动， 实现交 互操作； 接入第三方系统的各类报警信息， 在二维GIS矢量地图和全景视频的相应位置进行重 点提示， 设置红色闪烁标志， 并有声音提示， 同时支持各种类型的第三方业务系统报警信号 的接入与联动； 所述三维可视化系统， 可对各类报警源设备的参数进行阈值设置， 当发生报警时可自 动提醒， 可联动全景中关联的视频资源， 包括枪机和球机， 并可通过全景对控制球机进行细 节的追踪。权　利　要　求　书 2/2 页 3 CN 114286062 A 3