智能化综采工作面全景视频远控技术研究及应用
时间：2023-04-20 来源：中国煤炭杂志官网 分享：★ 科技引领 ★
智能化综采工作面全景视频远控技术研究及应用
综采工作面作为煤炭生产的核心区域，相关作业人员的安全保障问题，需要寻求切实有效的方案去解决。现阶段，就薄煤层和中厚煤层而言，已经初步实现综采工作面内无人操作远程控制采煤[1]，但设备的智能化自适应能力尚不能适应复杂工况，对存留隐患和突发情况的感知与处理措施无法支撑决策的信息需求和指令的可靠执行[2]。目前，无线通讯技术发展已进入5G并初步应用于煤矿综采工作面的智能化建设[3]。井下5G通信网络构建的要求一是要全覆盖与低复杂度，二是要低成本、抗干扰和高精度，三是要高速、大容量[4]。此外，通过在综采工作面安装多路摄像机引入视频系统，将作业人员的视觉延伸至综采工作面，提供给远程操作者身临其境的可视化感受，也是指导远程生产的一项重要手段[5]。
然而，若综采工作面仍不脱离传统视频系统的监控模式，则只能观察局部视角，无法对整体场景进行全局实时检测和把握[6]。因此必须扩大视野范围，获取宽视角。全景视频拼接是一种通过实时视频采集，然后进行拼接融合处理并最终显示的技术，该技术能将同一场景的多路具有重叠区域的视频拼接成一幅大尺度广角图像[7]。综采工作面空间有限、工况环境复杂，过往已有的成熟拼接算法并不适用，因此有必要对综采工作面的全景视频拼接进行研究[8]。
基于以上问题，笔者以晋能控股煤业集团三元煤矿(以下简称“三元煤矿”)智能化综采工作面建设为工程背景，介绍综采工作面全景视频远控技术的研究及应用情况，着重阐述其中的关键性技术细节，并针对技术方案落地过程中的工程实施难点进行分析。
1 全景视频远控技术架构
在煤矿综采工作面具备一定智能化开采能力与手段的基础上，例如具备采煤机记忆截割、液压支架自动跟机拉架等功能[9]，搭配全景视频拼接的呈现与采煤机设备的远程操控，以实现综采工作面的全景视频远控。通过综采工作面全景视频拼接，加之局部多视角视频，使能综采工作面全景监控、采煤机远程操控以及AI智能预警和联动，从而推动综采工作面少人化。智能化综采工作面全景视频远控技术架构如图1所示。
图1 智能化综采工作面全景视频远控技术架构
智能化综采工作面全景视频远控技术的构建包括以下4个部分。
(1)在综采工作面液压支架和部分特殊点位处，安装多个高清广角摄像机进行视频采集；对于采煤机内的无线信号控制单元进行改造，增强其收发信号的性能；在综采工作面两端，建设5G基站，天线朝向综采工作面内，通过调试确保信号穿透整个综采工作面，视频数据与采煤机控制数据将通过5G网络回传。
(2)在井下运输巷道新建或复用巷道集控中心，并在此处建设5G分站，以收集现场生产情况并传递至地面的调度中心。
(3)在机房中，回传的多路摄像机图像在视频拼接服务器内进行预处理，形成一幅“画卷”覆盖整个综采工作面，拼接后大视频进入大屏综合管理服务器，经过一系列后处理和转码后可以达到全景可视的效果。另外，存储在视频拼接服务器内的视频图像还可以传至算力中心，由其提供算力加持，对视频图像做AI训练和深加工推理，以获取更多有用的信息，例如识别违规行为和潜在危险等，通过与控制设备联动确保安全生产。
(4)在地面调度中心，设置综采工作面全景视频远控工作站，新建或复用作业大屏，将综采工作面的全景拼接视频以及相关数据和信息呈现出来，辅助采煤司机远程操控采煤机，方便调度员协调指挥生产。
2 全景视频远控关键技术
2.1 井下综采工作面5G网络部署
井下综采工作面是煤炭生产工作中的核心场景[10]。在综采工作面全景视频远控场景中有2处关键环节，要求具备高质量、大带宽、低时延、多联接的网络传输条件：一是综采工作面上百台摄像机所采集图像的传输，二是从井上直接遥控井下采煤机操作信号的及时传递与常规稳定化运行。采煤机割煤时，时刻处于移动状态，若要对其实行远程操控，则对时延要求很高，使用有线的光纤介质易折断，而诸如传统微波、WiFi等无线技术经测试在井下综采工作面又会出现时延高、不稳定的情况，可能会造成采煤机停机保护，影响生产。基于以上因素，运用5G技术是一个良好的选择。
华为矿用5G网络设备可容纳上百台矿用本安型高清摄像机图像的并发上传，设计与实际上行能力表现均大于1 Gbps；支持远覆盖，对于一般200 m 左右长度的综采工作面，设置2个基站即可全面覆盖，大大减少了基站建设数量；另外，其充分利用了端到端的网络切片技术，在独立的物理网络上虚拟切分出多个逻辑网络，每个网络规划专属的网络功能不仅可以适配多种不同类型的场景化服务需求，而且可以避免为每一个场景化服务专门建设一个专用物理网络，极大节了省网络覆盖的部署成本。综采工作面全景视频远控5G网络切片架构如图2所示。
图2 综采工作面全景视频远控5G网络切片架构
通过此种部署方式能够实现远程操控业务、无线视频监控业务和其他业务同链路，但分属不同切片，切片之间通过硬隔离承载(FlexE)，保障不同业务间相互独立、互不影响。
2.2 短物距下大视场摄像机成像
中厚煤层的厚度一般在1.3～3.5 m，相应综采工作面的设计高度一般在1.5～4.0 m。摄像机安装布放在液压支架处，液压支架拉架前后，两立柱中心距煤壁长度为4～6 m。相较于采煤机自身15 m左右的机身长度，加上采煤机运行方向前后约10 m范围，整体从35 m左右的区间长度来看属于短物距。
结合以上场景中的实际情况，若要提供给采煤司机可满足其操控需求的视野，则必须极大增加综采工作面全景视频远控技术方案中所选用摄像机镜头的视场范围(Field of View,FOV)，使之能支撑视频拼接任务和图像覆盖范围。经过对摄像机机芯传感器的一系列测试验证，最终落实在整体技术方案中的摄像机镜头FOV提升至水平方向108°、垂直方向74°的超广角，畸变率≤-7.9%，且摄像机模组设计支持整机煤安认证(EX ib I Mb)。综采工作面实景与其对应大物距摄像机所摄图像对照如图3所示。
图3 综采工作面实景与其对应大物距摄像机所摄图像对照
2.3 全景视频实时拼接算法
全景视频实时拼接是利用摄像机拍摄的实时图像组成全景空间[11]。结合综采工作面的场景和工况，通过算法设计将固定在液压支架处的百余台摄像机回传的多路图像拼接成一幅正对采煤机与煤壁的全景图。全景视频实时拼接涉及技术比较广泛，大体包括数学建模与仿真、计算机视觉分析与图形学、数字图像处理等。实现综采工作面全景视频实时拼接的重要步骤包括摄像机内参标定、传感器畸变与视差校正、3D-2D特征点对的空间投影变换、全景视频融合以及拼接图像的后处理等。
进行摄像机内参标定时，由于不同摄像机在安装到点位的过程中存在许多差异，每路视频流之间会形成图像的缩放、倾斜、方位角差异，对于此种物理因素导致的差异需要预先校准，保证摄像机所取画面的一致性，便于后续的图像融合。
在尽可能消除摄像机镜头的光学畸变影响后，由于采煤机普遍距离摄像机较近(约1.5 m)，特别是在拉架后，相邻摄像机的图像在重叠区域中，物体的相对位置有差异，受此产生的视差成为图像校正的困难因素。基线越大，物距越近，视差越大。另外，每路视频图像由摄像机在不同点位、不同角度下采集，所以并不在同一空间投影平面上，如果直接对重叠区域进行无缝视频拼接，会破坏综采工作面实景的视觉一致性，因此需要先对摄像机画面中的特征点对做空间投影变换，再进行归一化拼接。若定义煤壁所在空间平面为“背景”，同时定义采煤机一级机身所在空间平面为“前景”，经初步拼接测试发现，在较大视差条件下，以“背景”为基准拼接则“前景”缺失，以“前景”为基准拼接则“背景”重影，然而分开拼接的“背景”与前景”画面中的多数内容均得到了保留。基于此，为避免大视差造成的影响，华为创新性地提出并设计了综采工作面前后景分离的拼接算法，这也是后续进行全景视频融合的核心。综采工作面全景视频实时拼接算法流程如图4所示。
图4 综采工作面全景视频实时拼接算法流程
综采工作面全景视频实时拼接算法流程包括以下8类重要模块。
(1)摄像机调度模块。该模块根据上报中心支架号信息计算采煤机所处位置，执行调度并拉起采煤机及其运行方向前后一定范围内的摄像机视频流，通常模块输入图像数不大于16。
(2)外参求解模块。该模块根据检测到的特征点对(3D-2D点对)，通过透视n点(Perspective-n-Point，PnP)算法估算各路摄像机的外参，进而估算透视变换矩阵。由于这个模块是整个算法流程中的基石，故在此详细讨论一下本模块的数学原理以及模型的建立。典型的PnP问题是寻找一种描述空间3D点转换到平面2D点运动的方法，在井下作业这一场景中，目的就是求解固定在液压支架处的摄像机坐标系相对于综采工作面空间坐标系的态势。PnP算法数学模型如图5所示。
图5 PnP算法数学模型
用数学语言可以表达为，已知存在有n个点，在综采工作面空间坐标系下的坐标为P1、P2、…、Pi、…、Pn，其对应的摄像机坐标系下的坐标为p1、p2、…、pi、…、pn，求解摄像机坐标系OcXcYcZc相对于综采工作面空间坐标系OwXwYwZw的位姿信息，旋转矩阵R和平移向量t的计算见式(1)：
(1)
式中：Xc、Yc、Zc——摄像机坐标系下坐标；
Xw、Yw、Zw——综采工作面空间坐标系下坐标；
R——旋转矩阵；
t——平移向量。
将综采工作面空间中3D点坐标与其投影后的2D点坐标作齐次坐标形式变换，依据透视投影模型，加之已经进行过摄像机内参标定(内参矩阵K已知)，可得每组3D-2D匹配点对应2个方程的方程组，共有12个未知数。当匹配点不少于6组时，模型可以转化为一个超定方程求解。在满足一定的约束条件下，通过SVD(奇异值分解)和一系列数学变换，可以求得接近R、t的增广矩阵见式(2)和式(3)：
式中：
旋转矩阵之增广矩阵；
平稳向量之增广向量；
K——摄像机内参矩阵；
f——摄像机标定方向焦距。
(3)透视矩阵计算及透视映射模块。该模块根据透视变换矩阵对图像进行透视矫正。
(4)前景拼接模块。该模块计算拼缝在采煤机3D模型上的位置，并根据拼缝分别在两路视频上的2D投影位置实现前景拼接。
(5)背景拼接模块。该模块计算拼缝在煤壁上的位置，并根据拼缝分别在两路视频上的2D投影位置实现背景拼接。
(6)前后景分割模块。该模块依据在线标定模块获得的外参以及采煤机的3D模型，在2D图像中实时动态分割采煤机。
(7)前后景融合模块。该模块将模块(4)、模块(5)、模块(6)处理后的结果进行融合。
(8)图像后处理模块。该模块进行拼接后图像的黑边去除、角度修正、尺寸调整等工作。
2.4 采煤机端侧远程操控改造
综采工作面覆盖5G信号后，虽然一定程度上确认了数据传递的低时延，但煤炭生产更依赖于网络运行状况的高可靠性。综采工作面环境较复杂，无线单链路难以保障采煤机远程操控的及时稳定。
AR物联网关是一种专为严酷环境设计的工业路由设备。华为通过创新AR双发选收技术，向采煤机端侧加装AR路由器来改造5G远控模块，在发送端对控制流进行包复制，利用2个空口冗余发送相同的报文，接收端从两条链路的流中，逐包进行准确性检验包重组，并作时延最优选择，从而实现系统级时延及可靠性优化，以克服某一信道空口突发大抖动影响，大幅提升采煤机远程操控的及时性与稳定性。除控制信号外，少部分采煤机生产业务重要数据指标也可上报至远控工作站，提供信息以辅助采煤司机精准作业，例如中心支架号、牵引速度、左右摇臂角度、左右滚筒高度、左右截割电流等。采煤机远程操控应用AR双发选收技术示意如图6所示。
图6 采煤机远程操控应用AR双发选收技术示意
3 工程实施难点
3.1 综采工作面5G网络优化
综采工作面工况复杂，不确定性因素较多。例如在采煤机往复割煤时，每刀过后液压支架向回采方向拉架，还有部分煤层构造脆弱处需超前拉架，都会造成距离基站相对靠后区域的5G信号被相对靠前的支架遮挡；综采工作面地形有起伏，将概率性出现非视距通信的情况；综采工作面内设备分布密集，且金属物件较多，无线传播过程中的“多径效应”显著，引发5G信号衰落。
针对以上场景，需要对采煤机5G网络进行工程优化。在采煤机原有一部5G CPE的基础上，新增一种专属型号的隔爆AR路由器，组成5G信号双保险。另外，经多次试验发现平面形态的外置天线收发信号的效果最佳，因此将采煤机原有5G CPE和新增AR路由器的天线均更换为外置平板天线，分置于采煤机两侧。而后启动综采工作面5G信号覆盖摸底测试，检验5G信号的参考信号接收功率(RSRP)、信号与干扰加噪声比(SINR)、上行速率等指标，根据测试结果进行天线调向、参数调优。经过超5万次的采样打点，获取到往返时延(Round-Trip Time,RTT)时延散点图、RTT时延概率密度函数(PDF)以及RTT时延累积分布函数(CDF)，数据显示，在采样范围内，RTT时延最大值为32 ms、最小值为7 ms、平均值为12 ms，其稳定性及可靠性水平较高。5G信号RTT时延采样测试结果数据如图7所示。
图7 5G信号RTT时延采样测试结果数据
3.2 摄像机的安装点位工勘选取和结构件设计
对于综采工作面采煤司机而言，在执行生产任务操作采煤机时，需要重点关注采煤机前后滚筒上下边沿与煤壁接触位置的情况。为了实现综采工作面全景的视频图像拼接，从采煤司机视角正对煤壁的水平方向来看，需要留足相邻摄像机的重叠区域，以获取相当数量的特征点对做算法匹配。此外由于涉及到与支架工的配合，从采煤司机视角正对煤壁的垂直方向来看，液压支架的护帮板、伸缩梁、前探梁、部分上顶板和下底板需要完全可见。至于如线缆槽线缆、刮板输送机轨道等特定视角，则需结合实际工况观察分析。
基于以上场景中的具体需求，本方案拟定在综采工作面液压支架处，实地进行摄像机安装点位的工勘选取。由于综采工作面地形有起伏，拉架推溜时崎岖不平，部分设备会出现一定的倾斜和震动，继而影响摄像机偏移歪斜。因此，用于固定摄像机的结构件在设计上必须要稳固，采用抱箍式结构件设计，可将摄像机安装在液压支架立柱的一侧。抱箍式结构件设计与实际应用效果如图8所示。
图8 抱箍式结构件设计与实际安装效果
3.3 空间坐标转换识别率提升
在全景视频实时拼接算法设计求解摄像机外参数的过程中，是依赖能够获取到相当数量的特征点对作为输入的。但在实际综采工作面的复杂工况和复杂环境之下，获取到足量而优良的特征点对并不容易。为了克服这一问题，可以通过增设AprilTag[10]标定卡的方式人为引入一些易于识别的四边形区域。这些区域通常比周围亮度更低，因而可以利用这个特点使之尽可能多的去检测特征点对。由左侧图像空间特征点对向右侧图像平面特征点对做辅助线映射，通过对AprilTag标定卡的识别，依据其中标定信息的编码值对野值进行剔除，大大改善了特征点对的匹配不良情况，提升了空间坐标转换识别率，可以更好地判断摄像机的位姿。引入AprilTag后特征点对匹配改善情况如图9所示。
图9 引入AprilTag后特征点对匹配改善情况(由左向右映射)
3.4 综采工作面粉尘污染
综采工作面粉尘浓度较高，如若摄像机镜头不作任何处理，基本上在综采队组执行一个生产班次后，就会产生明显脏污。同样，采煤机处的粉尘浓度更大，将AprilTag标定卡放置于采煤机机身处，在采煤机启动截割后的几十分钟内，标定卡即可被粉尘完全覆盖，无法识别，影响全景视频实时拼接算法的正常运行。
因此，为了减少综采工作面粉尘污染对全景视频实时拼接的影响，在工程上对综采工作面摄像机镜头和标定卡分别应用华为创新的透明超疏膜技术和超疏涂层技术，可极大减少粉尘粘附情况，延长使用时间，便于维护。透明超疏膜技术选用低表面能材料，设置微纳结构实现超疏水和普通疏油，以保障摄像机镜头不沾水、不积尘的自清洁效果。通过特定工艺透明化材料，并进行尺寸、形状调控，保障摄像机镜头的清洗成像效果。该材料还具有一定的耐磨、耐冲击性能，可承受一定的高压水冲、煤灰剐蹭。经试验，在无人为外力影响(如碰撞、不规范擦拭、频繁正对高压水冲等)和极端恶劣条件(大颗粒煤矸石冲击等)发生时，透明超疏膜使用寿命超过1.5个月。摄像机镜头经透明超疏膜技术处理(左)与未做任何处理(右)对比如图10所示，透明超疏膜摄像机镜头使用寿命跟踪如图11所示。
图10 摄像机镜头经透明超疏膜技术处理(左)与未做任何处理(右)对比
图11 透明超疏膜摄像机镜头使用寿命跟踪(44 d)
超疏涂层技术通过纳米颗粒自组装微纳结构，并使用含氟分子修饰涂层表面，保障标定卡不沾水、不积尘的自清洁效果。涂层可承受一定的高压水冲、煤灰剐蹭，并耐受矿井碱性环境。经综采工作面实测，超疏涂层标定卡最长寿命约1个月，且与所处位置相关，尚需进一步优化。有无超疏涂层技术处理的AprilTag标定卡对比如图12所示。
图12 有无超疏涂层技术处理的AprilTag标定卡对比
4 实际应用效果
4.1 综采工作面概况
本次选取三元煤矿4306综采工作面作为试验局点，成功实现综采工作面全景视频远控技术方案的落地与应用。4306综采工作面是三元煤矿的主工作面，煤层平均厚度为7.18 m，工作面长度为189 m。采用综合机械化低位放顶煤工艺，其中采高约 3 m，放煤厚度约4 m。三元煤矿综采作业人员素质能力较高，置备选用综采设备的规格型号和使用年限较新，且4306综采工作面已预先完成了集控系统改造与液压支架电液控改造，初步具备一定的智能化水平，比较适合开展综采工作面全景视频远控技术方案的验证工作。三元煤矿4306综采工作面的设备配置情况见表1。
表1 三元煤矿4306综采工作面设备配置情况
设备名称规格型号生产厂家数量单位电牵引采煤机MG300/730WD太重煤机有限公司1台转载机(含自移)SZZ960/400 52ZRA宁夏天地奔牛实业集团股份有限公司1台轮式破碎机PLM1000宁夏天地奔牛实业集团股份有限公司1台刮板输机(前溜)SGZ900/1050 122SJA宁夏天地奔牛实业集团股份有限公司1部刮板输机(后溜)SGZ900/1050 116SHA宁夏天地奔牛实业集团股份有限公司1部端头端尾支架ZT7200/25/40郑州煤矿机械集团股份有限公司4架
续表1
设备名称规格型号生产厂家数量单位过渡支架ZFG10800/22/38D郑州煤矿机械集团股份有限公司6架中部液压支架ZF10000/20/32D郑州煤矿机械集团股份有限公司99架超前支架ZQ28800/24/38D郑州煤矿机械集团股份有限公司4套带式输送机DSJ120/100/2∗250焦作市新立康输送机械有限公司1部喷雾泵BPW500/10无锡煤矿机械厂有限公司3台乳化液泵站BRW400/31.5KXR400/25山东名盾防爆科技有限公司2台集中控制系统KTC101天津华宁电子有限公司1套
4.2 应用效果分析
三元煤矿基于全景视频远控技术的研究已在4306综采工作面实际应用，整体方案运行稳定。采煤司机脱离传统井下现场截割操作，转变为在井上全景视频远控工作站执行生产任务辅助开采，工作环境大为改善，单个生产班可减2～3人次，有效提升了综采作业的安全性。同时矿企职工通过培训，深入了解了该技术的方案及架构，学习并掌握了数智化系统的操作与运维方法，自身技能素养也得到改进。综采工作面全景视频远控技术应用效果及系统界面如图13所示。
图13 综采工作面全景视频远控技术应用效果及系统界面
5 结语
全景视频远控技术依托于井下综采工作面5G网络部署、短物距下大视场摄像机成像、全景视频实时拼接算法、采煤机端侧远程操控改造等关键技术突破得以实现。在工程上，通过综采工作面5G网络优化，合理化选取摄像机安装点位及结构件设计，引入AprilTag标定卡以提高特征点对的空间坐标转换识别率，制造新理化特性材料在一定程度上抵御综采工作面的粉尘污染，使整体技术方案的可用性和易用性得到加强。应用综采工作面全景视频远控技术能够实现将部分综采设备由井下的现场操控转移至地面工作站上远程操控，该智能化功能不仅减少了下井人次，改善了工人工作环境，而且还提高了采煤作业的安全性，具有较高的技术价值及社会效益。
[1] 王国法.煤矿智能化最新技术进展与问题探讨[J].煤炭科学技术，2022，50(1):1-27.
[2] 葛世荣，王世博，管增伦，等.数字孪生-应对智能化综采工作面技术挑战[J].工矿自动化，2022，48(7):1-12.
[3] 李凤英，季现伟，张维国，等.智能矿山5G技术发展与应用场景分析[J].中国矿山工程，2022，51(4):89-92.
[4] 王国法，赵国瑞，任怀伟.智慧煤矿与智能化开采关键核心技术分析[J].煤炭学报，2019，44(1):34-41.
[5] 黄曾华.煤矿综采工作面视频系统的应用研究[J].煤矿机电，2013(4):1-5.
[6] 陶智慧.煤矿工作面视频拼接算法研究[D].西安：西安科技大学，2020.
[7] XU W.Panoramic video stitching[D].Boulder: University of Colorado at Boulder，2012.
[8] 厉丹，钱建生，刘增宝，等.煤矿复杂环境视频拼接技术[J].煤炭学报，2011，36(5):878-884.
[9] 索智文.煤矿综采工作面无人化开采技术研究[J].工矿自动化，2017，43(1):22-26.
[10] 田子栋，赵学，武智超.煤矿综采工作面无人化开采的实现策略[J].能源与节能，2020(9):138-139.
[11] 岑陈.多路实时视频拼接技术的研究与实现[D].北京：北京工业大学，2019.
[12] Olson E.AprilTag: A robust and flexible visual fiducial system[C]//2011 IEEE international conference on robotics and automation.IEEE，2011: 3400-3407.
Research and application of panoramic video remote control technology for intelligent fully mechanized mining face
ZHANG Kailong.Research and application of panoramic video remote control technology for intelligent fully mechanized mining face[J].China Coal，2023，49(2):70-81.DOI:10.19880/j.cnki.ccm.2023.02.009
- 相关推荐
