武建军：矿山“人-机-环”全域视觉感知与预警技术研发与应用
时间：2025-07-07 作者：武建军,钱建生,朱若军,郭星歌,秦海初,杨发展 来源：智能矿山网 分享：目前，国内煤矿普遍采用人工方式对工业视频进行监测或事后回放，存在效率低、对各类突发事件反应不及时等问题，随着煤矿智能化建设的不断推进，以深度学习模型为代表的机器视觉技术得到了快速发展，通过建立云-边-端体系的煤矿视频智能分析处理系统，替代人工识别方式，已成为新一代煤矿工业视频监控系统的发展方向。
融合机器视觉、边缘计算、大数据分析、云服务和嵌入式智能终端等先进技术，建立矿山“人-机-环”全域视觉感知与预警系统，实现人员、设备和环境精准感知、实时分析和协同预警，提高煤矿安全生产保障能力和灾害监测预警水平。
全域视觉感知与预警系统架构
煤矿安全生产需要全面感知矿井人员、设备和环境的各类信息，并对感知信息进行深入融合分析，结合安全监测系统、生产自动化系统进行联动和预警，实现煤矿安全生产主动闭环管理。构建矿山“人-机-环”全域视觉感知与预警体系，形成多参量、多层次、多尺度的跨系统数据感知策略，提供煤矿安全生产的数据支撑。
矿山“人-机-环”全域视觉感知与预警系统应用架构如图1所示，分为感知层、边缘分析层、云服务层和应用层。
图1 矿山“人-机-环”全域视觉感知与预警系统应用架构
（1）感知层
通过高速、低速、红外光谱、双目和雷达测速等多种类型的矿用本安型AI摄像仪进行视频信息采集，实现人员、设备、环境信息感知；通过嵌入式AI分析模块，进行实时分析、就地控制。
（2）边缘分析层
基于边缘计算的视频分析装置，部署深度学习模型，完成视频数据的过滤、清洗，以及分布式边缘计算和处理，对关键、异常数据在边缘端就地处理并上传至云服务平台，同时接收来自云服务平台调优后的模型，实现边缘分析装置自动迭代升级。
（3）云服务层
AI赋能平台，融合汇聚感知层终端和边缘分析层计算数据，实现全系统的数据分析、预测和预警决策，实现对异常分级处置，提供预警与应急处置方案，构建实时分析、动态预测、预警决策、生产协同和闭环管理的管控优化新模式。
（4）应用层
针对不同应用进行细分和场景化的AI视频识别预警，实现人员的不安全（规范）行为识别、设备不安全状态识别和环境不安全隐患识别，提升煤矿安全生产的全场景防范能力和煤矿安全防范的整体联动预警水平。
全域视觉感知与预警视频检测
视频图像预处理
煤矿井下环境复杂、粉尘和雾气严重、低照度，采集的图像存在对比度和分辨力低、细节模糊、高噪声等问题，图像关键信息准确识别和提取难，影响视频分析结果。通过视频图像预处理技术消除图像中的干扰因素，提升视频图像质量，图像预处理技术主要包括图像增强和超分辨率重建。
（1）图像增强
图像增强可改善矿井视频图像光照不均匀、对比度低等问题。基于双边滤波和多尺度Retinex算法的图像增强方法流程如图2所示。基于深度学习的图像增强方法利用矿井低质图像数据集进行端到端神经网络模型训练，构建出高效图像增强网络，学习并捕获从低光照图像到高质量参考图像的复杂映射关系。
图2 双边滤波和多尺度Retinex算法的图像增强方法流程
基于反注意块的生成式对抗网络，双判别器从全局和局部2个维度生成图像，反注意力模块减少黑暗区域噪声干扰，基于反注意块的生成式对抗网络如图3所示。采用卷积神经网络构建煤矿井下低光照图像增强网络，提升矿井低光照图像的对比度和亮度，与原始低光照图像相比，增强图像的峰值信噪比提升约54%，结构相似性提升约140%。
图3 基于反注意块的生成式对抗网络
（2）超分辨率重建
视频图像在井下受环境影响，分辨率较低。采用基于深度学习的超分辨率重建技术，提高图像的重建精度和质量。轻量级的超分辨率重建网络，级联残差块充分利用浅层特征和深层特征，利用1×1卷积核减少模型参数量，提高网络的效率。基于锚定邻域回归的超分辨率重建技术，融入颜色恢复与边缘保持机制，增强低照度图像的特征表现能力，基于颜色恢复和边缘保持的低照度图像超分辨率重建方法如图4所示。
图4 基于颜色恢复和边缘保持的低照度图像超分辨率重建方法
视频识别场景模型
煤矿关键视频场景智能识别与检测主要用于人员行为、机器状态、环境参数识别与检测，融合多维度分析矿山数据，对矿山生产业务及规则进行结构化特征建模，提出了全流程生产风险管控的云边协同视频结构化分析平台模型如图5所示，识别场景主要包括以下3个方面。
图5 云边协同视频结构化分析模型
（1）人员不安全（规范）行为监管主要针对瓦检员作业不规范、乘车不规范、区域限员、乘坐输送带、人员脱岗、人员入侵、行人乘车不规范、钻场管理、危险区域监测、井下车辆超速抓拍等。
（2）设备不安全状态检测包括综采工作面、掘进工作面、主运输系统、辅助运输系统、辅助驾驶系统、供电与排水系统、风门等。
（3）环境不安全隐患监测包括围岩裂缝、煤壁片帮、烟雾明火、积水涌水、粉尘浓度、顶板变形、温度异常等。
全域视觉感知与预警技术的典型应用
中煤华晋集团有限公司王家岭煤矿（简称王家岭煤矿）是国家首批智能化示范建设煤矿，2022年联合中国矿业大学建设了工信部、应急管理部第一批安全应急装备应用试点示范工程，建设了矿山“人-机-环”全域视觉感知与预警系统，通过云-边-端多级AI视频识别体系，构建了覆盖矿山安全生产全域的典型场景库和模型算法群，实现3大类36种典型场景的智能识别，典型场景隐患识别方法准确率≥95%，隐患识别时间≤300 ms，目前，矿山“人-机-环”全域视觉感知与预警系统已在王家岭煤矿得到常态化应用，成效显著。矿山AI视觉智能识别管理平台界面如图6所示。
图6 矿山AI视觉智能识别管理平台界面
综采工作面
基于AI视频识别技术，建立综采工作面安全生产管理及预警体系，提高生产系统的可靠性和生产作业的安全性。场景包括采煤机的状态识别与跟踪、跟机移架工序识别、刮板输送机断链、拉斜和推直识别、液压支架护帮状态监测和机尾刮板运行状态监测等。综采工作面AI视频识别与预警场景界面如图7所示，综采工作面AI视频识别与预警场景应用见表1。
图7 综采工作面AI视频识别与预警场景界面
表1 综采工作面AI视频识别与预警场景应用
| 综采系统 | 工作面片帮识别 | 智能识别工作面煤壁片帮范围片帮量，提醒支架司机或集控人员及时提前移架护顶 |
| 跟机移架工序识别 | 智能识别液压支架跟机移架工序，发现为异常跟机移架，提醒作业人员进行处置 | |
| 刮板机推直识别 | 智能识别工作面刮板推直情况，当前采煤工序中，确保工作面三直两平 | |
| 液压支架护帮状态监测 | 智能识别工作面液压支架护帮状态，发现护帮板异常及时提醒集控人员处理，避免因护帮板护帮不到位，导致的煤壁大面积片帮 | |
| 机尾刮板运行状态监测 | 智能识别工作面刮板输送机运行过程中缺刮板、断链、斜链等异常状态，通知检修人员及时处理 |
掘进工作面
基于AI视频识别技术，建设掘进工作面安全生产管理及预警体系，实现对掘进工作面关键作业的工艺过程进行监管，对人员不安全行为进行监控预警。对掘进工作面敲帮问顶、前探梁安装、背板结顶等关键作业工艺过程进行智能识别监管，对钻杆工作状况实时监测。掘进工作面AI视频识别与预警场景界面如图8所示，掘进工作面AI视频智能识别场景应用见表2。
图8 掘进工作面AI视频识别与预警场景界面
表2 掘进工作面AI视频智能识别场景应用
| 掘进系统 | 探放水钻孔作业过程识别 | 识别钻机定位、定向、钻井深度和轨迹，识别钻孔内煤岩，自动生成钻探作业全过程数据 |
| 掘进工序异常识别 | 对掘进工序进行智能识别，当识别到掘进工序异常时，对掘进人员进行报警提示，并联动相关设备停机 | |
| 溜煤眼上口堆煤识别 | 对输送带溜煤眼上口堆煤进行智能识别，当识别到堆煤高度达到设定的报警停机线时，联动输送带停机 | |
| 敲帮问顶合规检测 | 割煤后、临时支护前必须进行敲帮问顶工作，及时发现松动、断裂或离层的煤体，避免顶板冒落、煤壁片帮。未严格执行敲帮问顶操作，易发生顶帮活煤活矸掉落砸死、伤作业人员。通过视觉AI识别，有效杜绝安全隐患 | |
| 钻机工作状况 | 实现钻杆自动计数，降低人工成本，计数更加精确，将数据实时显示和上传，有效杜绝虚报进尺、打加钻 | |
| 空顶作业检测 | 掘进工作面严禁空顶作业。超循环作业和支护不及时是导致大面积空顶的主要原因。通过视频AI技术对掘进头进行实时监控，规避空顶作业情况发生 |
主运输系统
基于AI视频识别技术，建立主运输系统安全生产管理及预警体系，对主煤流运输系统的异物、跑偏、撕裂和转载点堆等进行异常情况分析和识别，提升煤流运输系统的生产效率并增强系统运作的安全性。精确识别输送带煤量变化，实时统计运煤量，主运场景AI视频识别与预警场景界面如图9所示，主运场景AI视频识别与预警场景应用见表3。
图9 主运场景AI视频识别与预警场景界面
表3 主运场景AI视频识别与预警场景应用
| 主运系统 | 异物识别 | 利用AI视觉感知识别锚杆、铁丝、木条、刮板、安全帽等非煤异物，对于可导致输送带撕裂或大概率堆煤上报严重级别告警，及时人工介入，根据情况联动输送机停机 |
| 大块煤识别 | 对大块进行分级定义，最多可以支持 4 级；对输送带上的大块进行检测，发现大块后进行等级报警，必要时可控制输送带启停 | |
| 输送带跑偏识别 | 检测输送带两侧的托辊是否在画面中显示；当有一侧有显示，另一侧没有显示时判定为跑偏立即报警 | |
| 输送带纵撕、起皮、坑洼、毛刺、脱胶检测 | 当输送带的形态发生变化，例如产生撕裂、起皮、坑洼、毛刺、脱胶等，装置实时判断输送带的状况，自动判断是否发生撕裂事故，或对输送带的状况进行预测并警示 | |
| 转载点堆煤识别 | 利用输送带转载点堆煤识别模型识别安装在输送带转载点的高清摄像机拍摄的实时视频数据。识别到转载点堆煤高度达到自定义堆煤高度线时，触发输送带沿线语音报警和集控中心监控画面报警 | |
| 煤量统计 | 通过一字激光器检测输送带上的煤量多少；通过微积分算出体积，再根据体积和密度算出重量 |
辅助运输系统
基于AI视频识别技术，建立辅助运输系统安全生产管理及预警体系，实现车辆及信号灯状态检测、车辆计数、超速监测、乘车规范性检测等，强化运输现场管理，确保辅助运输过程精准高效，辅助运输场景AI视频识别与预警场景界面如图10所示，辅助运输场景AI视频智能识别场景应用见表4。
图10 辅助运输场景AI视频识别与预警场景界面
表4 辅助运输场景AI视频智能识别场景应用
| 辅助运输系统 | 运输目标跟踪监视 | 在上坡、下坡和拐弯点对轨道运输的掉轨、掉绳等识别 |
| 路口车辆类型识别 | 识别重载、载人、上坡车辆等类型，根据重载、载人、上坡车辆优先通过等规则，通过辅助运输监控系统智能控制路口信号灯。 | |
| 闯红灯行为识别 | 识别行人、车辆违章闯红灯行为，语音提示行人、司机违章行为，同时将违章信息上传地面 | |
| 挂车识别 | 对挂车进行识别并统计数量，对超挂车进行报警，对车辆超速抓拍等。对车辆进入倒车硐室车场，在车场停留进行识别，车辆倒车识别，系统实时提醒报警 |
人员规范行为
建立多维度、多角度、全场景的人员不安全行为视频识别，主要包括矿工不安全操作设备行为识别、危险区域入侵识别、人员不安全行为识别和巡检轨迹识别等，人员不安全行为AI视频识别与预警场景界面如图11所示，人员不安全行为AI视频智能识别场景应用见表5。
图11 人员不安全行为AI视频识别与预警场景界面
表5 人员不安全行为AI视频智能识别场景应用
| 人员不安全行为 | 不安全操作设备行为识别 | 对在风锤、锚杆机、单体、钻机、综掘机炮头、矿（叉）车车沿、耙斗上作业；斜巷提升车场内车辆未停稳进行摘挂钩、掩（锁）车；向运行输送带上铲煤或杂物；没有按时进行主副井验绳；机车异轨抵车或拉车、用机车或矿车顶开风门等识别 |
| 危险区域入侵识别 | 对钻机正在钻进时，跨越、低头钻过钻具或从后方通过；钻机运转时操作人员离开操作台；钻杆运行时，打钻人员站在钻杆的正后方；打钻出水时起钻操作；使用风锤打眼时，人员从钻杆下方通过；采煤机割煤时，滚筒上、下5架范围内，支架前立柱与电缆槽间行走或逗留等识别 | |
| 不规范行为识别 | 识别井下变电所、地面变电所操作人员不戴绝缘手套，不穿电工绝缘靴；井下不戴安全帽、未戴口罩进入采掘面；特殊岗位班中脱岗或睡岗、地面瓦斯抽放站内吸烟等 | |
| 巡检轨迹识别 | 实时检测人员并显示跟踪轨迹，将巡检轨迹信息实时发给平台，检测水泵房、变电所等巡检人员有无按计划巡检 |
环境异常隐患
通过AI视频识别与分析技术，实现煤矿安全生产过程中内外环境的风险预测、预警和灾害防治，主要应用于煤矿火灾感知、粉尘识别等，环境异常隐患AI视频识别与预警场景界面如图12所示，环境异常隐患AI视频智能识别场景应用见表6。
图12 环境异常隐患AI视频识别与预警场景界面
表6 环境异常隐患AI视频智能识别场景应用
| 环境不安全隐患 | 烟火识别 | 当检测到划定区域有烟火时立即报警 |
| 积水突水水源检测 | 当检测到划定区域有积水、突水水源时立即报警 | |
| 粉尘检测 | 将粉尘按照类别识别，实时显示粉尘类别以及置信度，分析检测结果后自动发送降尘指令给设备 | |
| 采空区上隅角垮落识别 | 检测采空区上隅角垮落情况，发生未充分垮落情况立即报警 |
全域视觉感知与预警系统面临的挑战
（1）复杂多变的环境条件
矿山环境复杂多变，受井下光照不足、阴暗、潮湿、粉尘等多种因素的影响，对视觉感知设备成像质量和稳定性造成干扰，对智能算法的识别精度和可靠性产生影响。在复杂多变的环境条件下，实现稳定、可靠的视觉感知与预警是技术面临的重要挑战。
（2）多样化的矿山设备和人员行为
矿山设备和人员行为的多样化给视觉感知与预警技术带来了挑战。不同设备和人员的外观、运动轨迹、行为特征等，实现准确识别和区分差异是精准预警的关键，设备和人员的交互行为也是干扰预警系统准确性的重要因素之一。
（3）实时性和准确性
矿山生产对实时性和准确性要求高，若发生异常情况，预警系统必须迅速、准确做出反应，以避免或减少事故发生，在保证实时性的同时提高预警准确性，满足矿井安全生产的需求。
（4）环境不安全隐患的复杂性
煤矿地质灾害的复杂性、安全风险的多变性，导致矿井环境隐患识别和预警面临困难。巷道变形和煤壁外移等由于变化过程长且缓慢，难以有效识别；粉尘导致图片质量差，识别难度大等因素，对精准预警环境隐患提出更高要求。
结 语
矿山“人-机-环”全域视觉感知与预警技术，从人员不安全行为、设备不安全状态和环境不安全隐患多维度精准感知、实时分析和协同预警，形成多参量、多层次、多尺度的跨系统数据的感知策略，推动煤矿智能化建设全覆盖、自感知、边计算的新理念。
全域视觉感知与预警技术在“人-机-环”多个监控场景中取得了应用，并取得一定的应用效果，但部分场景受工况环境的影响局限性强，无法精准有效联动预警。下一步将构建煤矿通信联络、生产自动化、安全监控多系统的联动与协同，实现高水平的智能矿山数据分析与智能决策，推动煤矿行业向更高效、更安全的方向迈进。
策划：李金松 编辑：王晓珍
- 相关推荐
- 版权声明
- 本网站所发布的部分公开资料来源于互联网，转载的目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
- 本站部分作品是由网友自主投稿和发布、编辑整理上传，对此类作品本站仅提供交流平台，不为其版权负责。
- 如果您发现网站上有侵犯您的知识产权的作品，请与我们取得联系，我们会及时修改或删除。
- 新煤网 Copyright 2019- All Rights Reserved.