郑州衡量科技股份有限公司 孙小祥

摘要：近年来，信息呈现爆炸性增长趋势，实时数据监测系统逐渐成为一体化、综合性应用平台，其功能主要有数据管理与资产管理、数据库管理、可用性监控等。开发并运用实时数据监测系统，能够提高企业运营效率，增强企业服务质量，降低运营成本。

关键词：大数据；平台构建；实时数据监测；措施

1大数据概念

海量数据集合被称为大数据，其规模超出了常规数据处理工具的处理和管理能力，需要采用先 进的技术手段进行解析和组织。这些数据主要源自两大部分：一是源于各种传统业务操作系统的数据；二是由互联网活动生成的数据流。大数据的引入引 领了社会运作模式的革新，尤其在数据探索和分析领域展现出巨大的实用价值。

从技术层面探讨，大数据涵盖了数据获取、存储、处理和探查等多个环节，使得从海量信息中提炼出有价值或关键内容成为可能。以公共服务为例，传统的服务体系存在效率低下的问题，可能导致公众满意度下降，影响公共服务的整体质量和效能。因此，大数据技术的应用被视为解决此类问题的有效策略，它能够提升政府部门在数据分析和挖掘方面的技能，从而提高行政服务的运行效率。以房产登记为例，通过线上平台，居民可以自行办理相关手续，避免了来回奔波，既减轻了民众的困扰，也提升了政府的服务形象。

2大数据平台实时数据监测面临的挑战

大数据平台实时数据监控业务在发展过程中面临着众多挑战，主要为采集类问题监控与存储类问题监控两大类。采集类问题监控指的是如何精细化管理大数据，如何高 效监测和处理大数据加工过程中各类问题的过程；存储类问题监控主要是由于大数据信息量巨大，数据的更新速度较快，导致在大数据处理过程中一旦存储及转换过程中出现问题，会极速将问题放大，进而影响上层业务应用系统的连续性和稳定性。主要表现在以下方面：

(1）监督信息化系统规范程度不高、功能简单重复，存在数据资源浪费现象。

(2）大数据平台实时数据监测应用缺乏深入研究，没有形成统一的行业标准和模式，更多的是结合自身实际、当前所需，进行探索性的建设，距离专 业化、规范化目标还有很大差距。

(3）数据共享与信息安全平衡把握不到位，用户应用大数据平台成功打通各行业数据壁垒后，对平台数据量不断增加、数据安全挑战加剧的风险预判和技术储备不足，态势感知、监测预警、风险评估、应急处置的数据安全全程闭环管控链条有待加强。

研究符合行业或企业自身实际的标准、统一、通用的大数据平台，是实时数据监测体系迫切解决的问题。

3大数据平台实时数据监测平台架构

3.1网络数据信息安全监控与管理系统架构设计

构建于Hadoop的大数据架构之上，该系统利用MapReduce计算模型、HDFS分布式文件系统、Flume数据收集器、MySQL数据库、Web服务器及存储设备，打造了一个涵盖基础设施层、数据层、分析层和展示层的多层级网络数据安全监控体系。它能实时捕获和深度分析安全警报日志，有效监控和管理网络安全隐患。在Flume、MySQL、Web服务器和存储硬件的支持下，Flume负责从各种来源收集网络安全日志。运用MapReduce的Map和Reduce函数，将安全相关的日志数据切割成相同大小的块，每个块默认为2MB，切割后的日志数据块分散存储在网络的不同节点，并加载到HDFS中。zui后，通过优化的K-means聚类算法对日志进行分类分析，能够识别出DoS攻击、DDoS攻击、XSS攻击和恶意扫描等安全威胁，形成追踪责任的证据链，从而为网络安全防御提供决策支持。

3.2自动化实时数据监测功能设计

采用自动化实时数据监控系统，其核心在于整合并展示三类关键信息：既有的统计数据、即时发生的动态数据以及基于预测的前瞻性数据。设计时，应明确各功能模块的职责，精细划分处理流程，以适应不同类型的数据特性和目标。这一系统主要由几个关键部分构成：包括详尽的巡查与实时监控模块，设备管理和知识库管理系统，以及第三方平台的无缝对接。巡查管理模块聚焦于提升运维效率，值班人员通过记录在大数据平台上的实时维护情况，形成标准化报告，交接给下一班次，确保信息传递的连续性。可视化技术的应用，使得复杂的数据以直观的图表形式呈现，便于系统管理员即时、精准地查询服务器状态。所有操作都建立在流程精细化和平台集成化的基础之上，便于快速检索和问题解决。数据管理方面，简化平台建设，降低接入门槛，采取加密措施保护文件安全，存储在中心存储库中，常规格式即可。同时，借助云计算的强大能力，我们构建了大数据中心，对敏感和普通文件分别进行加密存储，确保数据处理的高 效与数据安全。这样的设计旨在优化数据管理流程，提升整体工作效率。

3.3HDFS数据预处理与存储技术

HDFS作为分布式文件系统，处理着各个数据块文件的存储任务。它基于Hadoop的HDFS分布式框架，以Block为基本的存储单元，对包含安全日志数据和ID编码信息等的每个文件进行分割。在操作中，客户端向DataNode节点发起数据读写请求，随后NameNode控制节点会指定多个数据块副本的位置。该节点会核查请求的数据块文件名、ID和位置信息，如果找不到相关信息，它会返回一个文件I/O异常通知。反之，如果信息正确并通过验证，它会提供后台服务器的数据文件。当所有的网络数据文件被读取并验证后，NameNode节点会把编号的数据块文件放入文件查询映射队列，并将此信息反馈给客户端。

3.4体系架构

利用大云物移智链等前沿科技，打造数据资源化能力，实现全类型数据融合、全过程数据管控、全产业数据协同。体系架构方面主要包括数据采集，指数据从源端系统，经数据采集汇入数据库或其他数据库中。其中，采集也包含手工填报的数据。数据库提供统一的数据汇聚与存储的容器和数据访问能力，包括各类原始数据的汇聚，数据标准化的存储以及统一的数据访问能力。数据中台提供统一的数据加工、处理、管理与运营，主要提供数据分析、数据服务、数据管理等。实施数据监测系统实现数据采集、存储、管理的实时有效监测。

3.5网格计算

在大数据监控技术的复杂运算和算法应用中，有些环节难以直接转化为数据库内的操作或者内置函数，因此，我们倾向于采取一种分离的方法。我们将数据从复杂的函数结构中剥离出来，转而利用传统且独立的分析工具和软件进行深度剖析。然而，随着分析师群体的日益壮大和分析需求的增长，服务器的扩展或增设成为必要。为应对高昂的服务器成本，我们引入了网格计算策略。网格计算巧妙地将众多任务分散到多台 独立的计算机上，让每台机器负责特定的职责，这种策略显著提升了系统的运行效率和承载能力，同时又有效地控制了整体的运营开支。这样，即使在资源有限的情况下，也能保证数据分析的高 效进行。

结论

利用自动化实时数据监测系统，企业可确保日常运营的稳定性和安全性的基础设施管理。该系统通过实施连续监控并结合预警机制，提升了业务运行的安全性和效率。将大数据平台整合到集团的数据管理监督中，能强化对海量信息的处理能力，通过优化和智能化的视频处理技术，进一步提升了监控效能。

参考文献：

[1]付春林，陈学.智慧燃气安全监控平台大数据采集和存储技术应用[J].科技风，2020(13):116.

[2]张启春，梅莹.基本公共服务质量监测：理论逻辑、体系构建与实现机制[J].江海学刊，2020(4):242-247.

[3]高重晖，吴希，王玉坤，等.吉林电网调控大数据动态预警平台架构及关键技术[J].吉林电力，2021,49(3):1-3.