摘要

随着智能化矿井建设的持续推进，选煤厂大数据平台和私有云建设为多源数据提供了数据开发底座，为多系统数据融合共享及综合管控提供技术支撑。针对选煤厂发展现状及短板展开分析，剖析了巴拉素选煤厂TBDS大数据平台和TStack私有云，对其数据采集、数据处理和分析、数据推送原理及私有云部署进行了概述。同时对实际应用部署效果进行了介绍，重点对于生产系统的PLC数据通过OPC UA实时采集数据，实现数据的存储和清洗，并将重要数据通过kafka软件输出至各个子系统，历史数据被存储在hive库中，实现大数据的深度挖掘和应用。选煤厂大数据平台和私有云建设随着各类智能化子系统的逐步完善和数据接入整合的进一步推进，会产生更多附加价值。

顺应国家和行业智能矿山发展政策与趋势，智能示范矿井也快速推进了选煤厂大数据平台和私有云的建设，海量数据存储及强大的算法算力为选煤厂数据深度挖掘提供了数据开发底座，也为多系统数据融合共享、数字孪生平台提供了数据支撑。笔者分析了陕西延长石油巴拉素煤业有限公司选煤厂（简称巴拉素选煤厂） 智能化建设中的大数据平台和私有云建设的探索性应用，旨在供行业内同仁借鉴。

行业现状及建设意义

巴拉素选煤厂作为高产高效的智能化示范矿井配套选煤厂，在设计之初也面临着常规选煤厂的信息孤岛现象。这些现象主要是由于设备PLC及上位组态软件的多样性，以及各类通信协议的不兼容性造成，并进一步导致了数据互联互通困难，缺少统一的数据采集、整合、存储及处理平台。

在此背景下，选煤厂大数据平台和私有云建设显得尤为重要。因其可以整合和处理大量数据，并为智能控制、智能管理和决策提供必要的支撑。

尽管中国煤炭加工利用协会已发布了《智能化选煤厂建设通用技术规范》团体标准，但许多相关的技术细节仍在探索中。巴拉素选煤厂作为智能化矿井配套型选煤厂，在大数据平台和私有云建设方面做了许多探索，随着投产后各类智能化子系统的逐步完善和数据接入整合的进一步推进，其会产生更多附加价值。

TBDS 大数据平台

巴拉素选煤厂大数据处理套件TBDS （TencentBig Data Suite） 平台整体逻辑架构如图1 所示。

TBDS 可提供海量数据存储、大数据开发者门户、高性能的离线实时计算、统一任务调度、多租户资源、数据管控、大数据运营监控和大数据平台运维支持服务。基础平台层（IASS 层） 提供数据接入、存储、计算、分析与挖掘能力；平台服务层（PASS 层） 提供数据和平台管理能力；应用服务层是基于大数据平台的数据应用业务。在大数据平台部署规划中重点需要为IASS层（网络、硬件、操作系统）、PASS层（大数据基础平台层和服务管理层）数据的最终可视化应用提供支撑，应用服务层一般是通过客户端接口提供配套服务。

大数据平台是智能化选煤厂的重要组成部分，大数据平台收集来自不同自动化控制子系统数据，对数据进行预处理和分析，并将处理后的数据推送给其他系统或应用。选煤厂智能化大数据平台除了可对重要生产数据进行海量存储外，其特有的数据推送能力可实现多系统数据的协同和共享，提高生产效率。大数据平台的数据推送分为以下步骤。

数据采集

通过现场各类传感器、配电柜、PLC、网络交换机等设备将选煤厂集中控制系统生产过程中的各种数据和各单机自动化子系统产生的数据进行采集。

针对选煤厂西门子PLC 设备产生的生产数据，大数据平台采用工业自动化领域通用的OPC UA通信协议，实时对设备运行数据进行快速、稳定采集。因各单机智能化子系统产生的数据存储格式不同，包含MY SQL数据库（如设备点检系统、停送电管理系统、巡检机器人系统等）、SQL SERVER数据库（如MES、人员定位、高压综自系统、智能装车系统等）、文本增量形式（3D料位计）、WebAPI 形式、IP 端口形式（高清数字摄像头） 等多种形式。因此，大数据平台针对不同数据存储形式进行数据采集，完成数据整合和分析，实现对选煤厂生产过程的全面监测和掌控，提高决策的科学性和准确性。

数据存储

将采集到的数据存储在大数据平台中，以便后续处理和分析。在现代选煤厂的运营中，高效的数据处理与存储已成为提高生产效率的关键。巴拉素选煤厂TBDS大数据平台特点如下：

（1） 实时流数据处理

大数据平台采用kafka 作为实时流数据的核心，确保了主控PLC的生产数据与各子系统的实时数据能够得到即时处理与传输。不仅可以保证数据的实时性和可靠性，还为后续的数据推送提供了便利。

（2） 历史数据高效存储

为了更好地分析与决策，选煤厂选择了hive 作为历史数据的存储工具。通过应用hive，巴拉素选煤厂得以深入洞察生产过程中的各种规律与趋势。

借助这些先进的数据处理与存储手段，巴拉素选煤厂成功地优化了各生产流程并显著提高了生产效率。TBDS大数据平台中kafka 和hive 的操作界面如图2 所示。

数据处理和分析

对存储在大数据平台中的数据进行清洗、分类、处理和分析，提取有价值的数据信息。为了实现生产效率的最大化，巴拉素选煤厂TBDS 大数据平台不仅强调数据的存储，更加重视数据的处理与分析，核心优势如下：

（1） 数据预处理

对于从各个子系统收集到的数据，大数据平台首先进行格式转化、去重、异常值处理以及缺失值填充等预处理工作，确保数据的质量和规范性。

（2） 深度数据分析

巴拉素选煤厂利用TBDS 大数据平台对各类洗选生产数据，如电流、温度、振动频率等进行深入分析。通过这些分析，能够发现典型的机械故障，如设备不平衡、轴系松动、轴承润滑不良等，并进行预测和定位，帮助选煤厂提前预测设备的故障类型、时间和概率，为后续的维修和保养提供支持。

（3） 选煤专家知识库

尽管当前行业内缺乏统一的选煤专家知识库，但巴拉素选煤厂已经开始建设自己的知识库。针对洗选系统的核心设备，如泵、筛机等，选煤厂已经开始归类、存储相关数据，并逐步建立对应的专家知识库及故障状态索引库，旨在实现大数据价值的深度挖掘，进一步提高生产效率。

数据推送

数据推送是指将处理和分析完成的数据按照一定的规则和格式，将其传递给需要使用数据的应用程序或系统。在大数据平台中，数据推送可以通过多种方式进行实现，如消息队列、RESTful API、WebSocket、Kafka、hive 等。

将处理和分析后的数据推送给其他系统或应用程序，以便进行下一步的系统集成操作，如推送给数字孪生平台。大数据平台的数据推送可以帮助选煤厂实现数据集成展示、远程监控和生产系统优化等目标。通过实时推送数据，选煤厂的工作人员可以及时了解各个生产系统工作状况，以便进行高效统筹管控。

巴拉素选煤厂实时数据推送主要采用了kafka 软件，该软件是一种高吞吐量的分布式消息传递系统，可以将数据以实时信息流的形式进行传输和处理。选煤厂通过将各类PLC及其他单机系统产生的实时数据放到kafka 当中，由其完成数据推送。推送数据可实时应用在各个子系统，如推送至数字孪生平台进行设备状态展示和MES系统等。

TStack 私有云平台

TStack （Tencent Stack） 私有云平台（简称云平台） 是一种基于云计算技术的IT 基础设施平台，可以提供计算、存储、网络、安全等各种服务和资源，帮助企业快速构建和部署应用程序，提高业务的可扩展性、可靠性和安全性。巴拉素选煤厂TStack 私有云软件操作界面如图3 所示。

云平台中有2 项重要数据存取和虚拟化基础架构的部署，分别为数据湖和超融合技术。

（1） 数据湖

数据湖是一种集中存储不同类型和格式数据的系统，具有高度可扩展性和灵活性。在选煤厂将数据湖应用于云平台中，可以实现大量数据的存储和管理，并且可以快速地进行数据的提取和分析。数据湖还可以通过使用各种数据分析工具进行数据分析，包括机器学习、人工智能和数据挖掘等，这有助于选煤厂更好地进行数据探索，了解生产过程中的数据变化和发展趋势，为优化生产系统提供科学依据。

（2） 超融合

超融合是一种基于软件定义的数据中心基础架构，将计算、存储和网络功能整合到一个单一的系统中，以提高数据中心的性能、可靠性和管理效率。选煤厂超融合可以实现虚拟化基础架构的部署，包括虚拟机和容器等；可以提供高可用性和容错性，确保系统运行的连续性和稳定性；可以加速应用程序和数据的交付，并提供快速的故障恢复和灾难恢复功能，从而增强选煤厂的业务灵活性和可靠性。

现场部署应用效果

TBDS 大数据平台部署应用

巴拉素选煤厂生产数据接入方案的主要数据来源为主控生产系统OPC UA实时数据，采用独立的OPC API程序接入大数据平台。目前共接入1.2 万个字段，字段值实时更新同步，数据接入频率约为1次/s，满足系统实时响应要求。

（1） PLC数据链路综述

在数据流向中，西门子PLC采集现场各设备运行保护数据，并进行逻辑运算管理，与WinCC V7.5上位组态软件服务器进行通信。大数据平台也采用此方式，按照传统方式输出原有数据，通过OPCUA采集实时数据，并将其通过kafka 软件输出至各个子系统，历史数据被存储在hive 库中。通过统一的数据管理方式，实现了实时数据采集和历史数据存储的重要目的。PLC数据链路如图4 所示。

（2） 数据采集和清洗

巴拉素选煤厂在数据采集和清洗方面确保了数据的准确性和完整性，从而为后续的数据处理和分析提供坚实的基础。平台的关键功能及其在巴拉素选煤厂的实际落地应用如下。

使用OPC UA协议进行数据采集：巴拉素选煤厂采用OPC UA协议来进行数据采集，这是一种现代的、开放的、跨平台的协议，被广泛应用于工业自动化领域。

获取PLC中的点位信息：为了更准确地进行数据采集，选煤厂首先获取各设备在PLC中的点位信息。信息来源于STEP7 V5.6 PLC编程软件，可确保数据采集的准确性。

图示化展示设备名称地址：为了更直观地展示数据采集的情况，巴拉素选煤厂还为部分设备制作了名称地址图。

通过实时获取PLC 的DB块地址，巴拉素选煤厂实现了高效的数据清洗。针对大量数据的处理，采用实时获取PLC 的DB块地址的方法，完成数据清理、规则部署以及格式转换等关键操作。不仅确保了数据的质量，而且提高了数据的可用性。

（3） 数据定向输出

完成数据采集和清洗后，巴拉素选煤厂能够实时地将数据应用于各个子系统。如数据可以推送至数字孪生平台，实时展示设备的工作状态，从而使工作人员能够及时了解并调整生产流程，提高生产效率。图5 展示了数字孪生平台的主界面，可以看出平台清晰、直观地展示了各设备的实时状态，为工作人员提供了有力的决策支持。

TStack 私有云平台部署应用

巴拉素选煤厂采用私有云平台，不仅是基于云计算技术的IT 基础设施平台，更为巴拉素提供了全局各系统的统一监控和管理功能。私有云平台通过自动部署、自动扩容和自动备份功能，成功地解决了长期困扰选煤行业的信息孤岛问题。利用私有云平台，选煤厂可以更快速地发现并协同处理各系统间的问题，大幅提高了生产效率和管理的灵活性。

以巴拉素设备点检系统在云平台的应用为例，通过私有云平台，选煤厂可以成功地将设备点检系统的物理服务器及其相关数据完美映射，使得该平台能够实现实时监控、动态分配内存和硬盘，以及增添数据服务等，大幅提高了数据处理和应用的效率。TStack 私有云平台不仅为设备点检系统提供了稳定的部署环境，还确保了数据的安全性和完整性。TStack 私有云平台中的设备点检系统部署应用示意如图6 所示。

结 语

巴拉素选煤厂在其智能化建设中成功地部署应用了TBDS 大数据平台和TStack 私有云技术，是延长石油千万吨级矿井选煤厂中的首次尝试。基于BIM平台的三维可视化数字孪生技术的进一步应用，不仅为选煤厂重要生产场所实现了三维数字孪生再造，更为后期的信息集成和系统扩容奠定了坚实的基础。

自投入运营以来， 巴拉素智能化选煤厂的TBDS 大数据平台和TStack 私有云技术已经开始展现其价值，为选煤厂的智能管理和决策提供了科学指导。随着数据的持续积累，以及各种算法和专家知识库的不断完善，这些技术将为选煤厂带来更大的效益。

尽管巴拉素选煤厂已经在智能化方面取得了显著的进展，但仍存在一些未考虑或待完善的因素。如随着数据存储量的迅猛增长，如何更高效地处理和分析这些数据将成为一个新的问题。此外，为了更好地支持智能决策，进一步优化和完善专家知识库也是必要的。未来，巴拉素选煤厂将继续深入探索和研究以上问题，以实现其智能化建设的更高水平，为选煤厂的智能管理与决策提供更加科学的指导。