随着AI、物联网、数字孪生等技术与露天煤矿开采管理的逐步融合，国内露天煤矿的开采管理模式正由机械化、自动化向数字化、智能化快速发展。国家对露天煤矿采场的监控和管理提出了更高要求，为适应露天煤矿采场的大场景，提出了复眼全景视频融合技术的应用，为露天煤矿采场等大场景及多类型移动设备全方位安全监管，提供可靠的技术支撑。

复眼全景视频融合系统功能及架构

复眼全景视频融合系统是由复眼全景视频感知系统和爆破面监控监管子系统组成，复眼全景视频感知系统由部署在前端的复眼感知器（含细节甄别球机） 和部署在模块化机房的复眼视频重建存储一体化服务器及复眼全景可视化综合管理平台组成；爆破面监控监管子系统是由部署在模块化机房的爆破面监控监管业务可视化管理端服务器及数据分析处理平台部分组成。复眼全景视频融合系统组成如图1 所示。

图1　复眼全景视频融合系统组成

复眼全景视频融合系统功能

（1） 复眼感知器是基于仿生学原理，仿造蜻蜓复眼结构，通过图像处理和机器学习算法，实现对视频的实时分析。复眼感知器将具有鹰眼视力的长短焦光学镜头组成成像阵列，通过复眼重建算法，重建出具有广角和特写兼备的超高空间分辨率的图像。

（2） 复眼视频存储重建一体化服务器包含视频重建及存储软硬件，是复眼全景视频感知系统全景视频重建、像素级融合、视频存储的重要处理服务器。完成对来自复眼感知器的多路视频的编码、视频重建、像素点级融合工作，并可同步完成复眼感知器（含细节甄别球机） 及高、低联动视频监控等设备的视频数据的同步存储、循环覆盖、数据冗余备份、事件图片归档存储等，实现历史记录数据的查询调取。

（3） 爆破面监控监管子系统从复眼视频重建存储一体化服务器获取视频流后，对视频流进行AI 分析处理，输出完整的露天矿生产现场全景视频监控图像，具备电子围栏、车辆跟踪、摄像机联动、危险行为预警等监控监管功能。全景视频监控图像具有超大范围、超高分辨率、基本无畸变等特点，并具备整体性、连续性等属性。拼接输出的视频监控图像可覆盖5 km2作业区域，水平视场角可达100°，画面放大后视频图清晰显示细节。可多人同时动态缩放全景视频监控图像，实现对整个生产现场安全生产情况的实时掌握及对安全生产态势的宏观掌控。

复眼全景视频融合系统架构

（1） 基于非结构阵列感知原理，构建非结构阵列像感器多模态多尺度阵列感知架构，建立环境自适应感知模型，根据感知目标、观测距离、环境光和天气的情况，智能调整每个感知模态，实现复杂环境大视场多对象的鲁棒高通量感知，非结构动态光场感知技术如图2所示。

图2　非结构动态光场感知技术

（2） 多模态阵列智能融合方法，刻画多模态多尺度图像之间的关联关系，通过跨模态跨尺度映射融合方法，实现多模态信息的有机融合与高保真重建。

（3） 跨尺度场景内容映射包括全局尺度映射、特征点池化、局部尺度分块映射3 步。通过全局及局部分尺度特征匹配技术，通过全局尺度映射找到得到精度高鲁棒的匹配点，再通过局部尺度分块映射优化匹配点精度，解决跨尺度匹配中分辨率差距过大造成的匹配难问题；特征点池化技术提高了映射参数估计的鲁棒性和效率，跨尺度场景内容映射如图3 所示。

图3　跨尺度场景内容映射

（4） 跨异构像感器多尺度高频迁移融合，跨尺度场景内容映射实现了局部到全局的映射，但受限于分块大小，无法处理细小物体造成的视差。提出跨异构像感器多尺度高频迁移融合网络CrossNet，将跨尺度映射的局部图像IREF 与全局图像ILR 进一步对齐并融合。CrossNet 包括2 级对齐模块、图像编码器、解码器模块，多尺度融合网络CrossNet 如图4 所示。

图4　多尺度融合网络CrossNet

（5） 跨异构像感器RGB−深度高频迁移融合，通过多尺度高频迁移融合提高空间分辨率，跨异构像感器多尺度融合应用在不同维度数据上，通过RGB−深度高频迁移融合实现高分辨深度感知。输入全局多视角深度信息和局部高分辨细节图像，RGB−深度高频迁移融合网络将高分辨细节图像信息和低分辨全局深度信息融合，得到高分辨局部深度图，跨异构像感器RGB−深度高频迁移融合如图5 所示。

图5　跨异构像感器RGB−深度高频迁移融合

（6） 大场景空间−视角隐式编码重建，刻画大场景多对象光场的空间−视角冗余特性，建立非结构层内−层间大场景多对象的映射关系，研究光场空间−视角隐式编码方法，实现大场景多对象光场的高效高分辨重建。场景空间−视角隐式编码光场重建方法如图6 所示。

图6　大场景空间−视角隐式编码光场重建方法

复眼全景视频融合系统特点

复眼全景视频融合技术具有全景相机视频画面漫游、多细节框放大、设备部署简单等特点，更好地适应像露天采场大场景。在全景相机视频画面漫游中对矿场区域全景监控视频进行画布漫游操作，通过鼠标滚轮放大或缩小全景画面中的任意区域，通过框选可放大任何区域细节并支持拖动画面进行位置选择，全景视频画面如图7所示。

图7　全景视频画面

复眼全景视频融合系统最多可支持3 个细节窗口放大功能，多人同时预览不同细节画面，根据不同需求实现对作业现场的全面管控而互不干扰，满足同时监控多个重点区域的需求。多细节重点区域展示如图8 所示。设备部署包含前端视频采集终端和后端数据分析服务器2 部分，前端设备可因地制宜部署于已有建筑物或水泥杆体上，后端设备部署于机房内，前后端设备通过光纤或微波网络完成连接，可根据实际需求实现快速安装、快速应用，设备现场部署情况如图9所示。

图8　多细节重点区域展示

图9　设备现场部署情况

复眼全景视频融合系统解决的问题

露天煤矿覆盖范围广、设备机动性强、人员活动灵活，随着开采规模和产量的不断扩大，车辆和人员数量也在不断增加，对车辆和人员实时定位跟踪管理十分重要。传统视频监控系统和技术对目标的跟踪画面清晰度较低且对目标的识别精度低，无法快速确认目标，复眼全景视频融合系统通过复眼全景相机，以及多目标识别深度学习算法，有效解决了车辆跟踪速度慢及定位准确率低的问题。

胜利东二号露天煤矿应用情况

胜利东二号露天煤矿（简称胜利东二矿） 露天煤矿安全管理系统集成了复眼全景可视化综合管理平台。实现了采场精细化、可视化安全生产管理，在采场北侧非工作帮固定点位布设2 台复眼全景视频融合技术的亿像素阵列计算摄像机，阵列摄像机正对主采区工作面，主要监测作业区域内的人、车活动情况。采集到的视频数据经微波基站接入矿山万兆环网，经视频存储重建一体化服务器，推出耦合后的视频到视频界面，并通过AI 分析实现智能感知和预警。

实现多目标高精度识别和感知

胜利东二矿采用的全景超高清视频流由36 个细节镜头通过融合算法拼接，视频拼接后画面水平视场角达到90°，整体画面超过3 亿像素，可同时清晰观察1.5 km 范围内所有设备动作及人员活动情况，框选任意区域均可预览4 K清晰画质。目前全景相机点位位于北侧非工作带，覆盖区域如图10所示。

图10　全景相机点位覆盖区域

复眼全景视频融合技术实现的全景监控使得目标在空间中的相对位置关系明显，便于多目标查找。对采场中不同人员和车辆等监控目标识别精度低的问题，部署对应的多目标识别深度学习算法来解决，实现了在露天采场复杂环境下目标的高精度识别和感知，多目标实时识别如图11所示。

图11　多目标实时识别

实现车辆在可控范围内快速跟踪定位

胜利东二矿各类车辆型号多，传统车辆设备终端的跟踪定位需GIS 地图的图层展示，再结合视频监控实时显示移动车辆等设备的分布情况。复眼全景可视化综合管理平台依靠部署的车辆跟踪算法和全景相机联合球机的坐标转换技术，实现了对框定车辆的实时跟踪，解决了对车辆跟踪速度慢的问题，满足车辆作业情况的动态实时监控需求，车辆在可控范围的跟踪如图12所示。

图12　车辆在可控范围跟踪

车辆跟踪使用改进DeepSORT 算法，使用全尺度网络（OSNet） 替换Deep SORT 中的浅层残差网络进行全方位特征学习，更好地实现车辆重识别，提高目标跟踪定位准确性。在全景相机联合球机的坐标转换技术中全景系统支持多路低点位接入，实现全景相机与低点位相机联动。在全景系统中框选区域后，球机快速定位至选定区域，解决了传统球机无法快速定位的问题。在亿像素阵列计算摄像机的全景画面上发现目标后，自动联动低点位相机对局部区域或具体目标进一步特写放大，以实现对动态目标的快速跟踪定位，满足对违章或高风险作业行为的快速确认。全景相机与球机联动如图13所示。

图13　全景相机与球机联动

实现管控区域车辆闯入报警

复眼全景可视化综合管理平台依托全景算法实现区域防控。在有滑坡风险或人员坠落风险的区域划设电子围栏，当系统检测到人员或车辆进入管控区域后会形成报警数据，管理人员第一时间发现异常情况并予以管控。在现场爆破作业时，为防止人员、车辆误入爆破区域造成重大安全事故，在采场全景视频中划定爆破面警戒区，平台实时监控爆破全过程全区域全细节，发现人员或设备进入警戒区域，系统快速弹出预警界面并进行声光警示，实现现场安全管控。管控区域车辆闯入报警如图14所示。

图14　管控区域车辆闯入报警

通过复眼全景视频融合系统对矿场危险区域统一管理，减少人工现场监管、检查频次，降低人员管理成本，提高监管效率；及时将监控区域内的违规信息存储到数据库中，包括时间、地点、快照、视频等，方便事后查询。基于AI 智能检测分析、平台视频处理等方法，使得复眼全景视频融合技术可以监测和预警车辆是否闯入，减少矿场的安全事故发生，重点管控区域电子围栏如图15 所示。

图15　重点管控区域电子围栏

实现管控区域人员违规下车预警

复眼全景可视化综合管理平台的检测算法可自动检索监控画面内是否有人员违规下车，若发现有人员出现在监控画面内，以红色线框对人员加以标注，并在平台主界面上弹出预警信息，管理人员第一时间发现人员下车并采取管控措施。管控区域人员闯违规下车预警如图16 所示。

图16　管控区域人员闯违规下车预警

结 语

复眼全景视频融合系统解决了露天矿采场复杂场景中对目标识别精度低、无法快速确认目标、对车辆跟踪响应慢和定位准确率低等问题。在未来的煤矿智能化发展中，复眼全景视频融合系统应用到煤矿的其他大场景中，辅助大型复杂露天环境、多类型移动设备的安全监控监管。复眼全景视频融合技术全面助力安全生产及监管智能化，促进煤矿行业向安全、智能、高效的方向发展，并对推动整个煤炭行业持续蓬勃发展具有重要的意义。

策划：赵瑞 编辑：李雅楠