2024-07-03
1835
郑州衡量科技股份有限公司 孙小祥
摘要:近年来,信息呈现爆炸性增长趋势,实时数据监测系统逐渐成为一体化、综合性应用平台,其功能主要有数据管理与资产管理、数据库管理、可用性监控等。开发并运用实时数据监测系统,能够提高企业运营效率,增强企业服务质量,降低运营成本。
关键词:大数据;平台构建;实时数据监测;措施
1大数据概念
海量数据集合被称为大数据,其规模超出了常规数据处理工具的处理和管理能力,需要采用先 进的技术手段进行解析和组织。这些数据主要源自两大部分:一是源于各种传统业务操作系统的数据;二是由互联网活动生成的数据流。大数据的引入引 领了社会运作模式的革新,尤其在数据探索和分析领域展现出巨大的实用价值。
从技术层面探讨,大数据涵盖了数据获取、存储、处理和探查等多个环节,使得从海量信息中提炼出有价值或关键内容成为可能。以公共服务为例,传统的服务体系存在效率低下的问题,可能导致公众满意度下降,影响公共服务的整体质量和效能。因此,大数据技术的应用被视为解决此类问题的有效策略,它能够提升政府部门在数据分析和挖掘方面的技能,从而提高行政服务的运行效率。以房产登记为例,通过线上平台,居民可以自行办理相关手续,避免了来回奔波,既减轻了民众的困扰,也提升了政府的服务形象。
2大数据平台实时数据监测面临的挑战
大数据平台实时数据监控业务在发展过程中面临着众多挑战,主要为采集类问题监控与存储类问题监控两大类。采集类问题监控指的是如何精细化管理大数据,如何高 效监测和处理大数据加工过程中各类问题的过程;存储类问题监控主要是由于大数据信息量巨大,数据的更新速度较快,导致在大数据处理过程中一旦存储及转换过程中出现问题,会极速将问题放大,进而影响上层业务应用系统的连续性和稳定性。主要表现在以下方面:
(1)监督信息化系统规范程度不高、功能简单重复,存在数据资源浪费现象。
(2)大数据平台实时数据监测应用缺乏深入研究,没有形成统一的行业标准和模式,更多的是结合自身实际、当前所需,进行探索性的建设,距离专 业化、规范化目标还有很大差距。
(3)数据共享与信息安全平衡把握不到位,用户应用大数据平台成功打通各行业数据壁垒后,对平台数据量不断增加、数据安全挑战加剧的风险预判和技术储备不足,态势感知、监测预警、风险评估、应急处置的数据安全全程闭环管控链条有待加强。
研究符合行业或企业自身实际的标准、统一、通用的大数据平台,是实时数据监测体系迫切解决的问题。
3大数据平台实时数据监测平台架构
3.1网络数据信息安全监控与管理系统架构设计
构建于Hadoop的大数据架构之上,该系统利用MapReduce计算模型、HDFS分布式文件系统、Flume数据收集器、MySQL数据库、Web服务器及存储设备,打造了一个涵盖基础设施层、数据层、分析层和展示层的多层级网络数据安全监控体系。它能实时捕获和深度分析安全警报日志,有效监控和管理网络安全隐患。在Flume、MySQL、Web服务器和存储硬件的支持下,Flume负责从各种来源收集网络安全日志。运用MapReduce的Map和Reduce函数,将安全相关的日志数据切割成相同大小的块,每个块默认为2MB,切割后的日志数据块分散存储在网络的不同节点,并加载到HDFS中。zui后,通过优化的K-means聚类算法对日志进行分类分析,能够识别出DoS攻击、DDoS攻击、XSS攻击和恶意扫描等安全威胁,形成追踪责任的证据链,从而为网络安全防御提供决策支持。
3.2自动化实时数据监测功能设计
采用自动化实时数据监控系统,其核心在于整合并展示三类关键信息:既有的统计数据、即时发生的动态数据以及基于预测的前瞻性数据。设计时,应明确各功能模块的职责,精细划分处理流程,以适应不同类型的数据特性和目标。这一系统主要由几个关键部分构成:包括详尽的巡查与实时监控模块,设备管理和知识库管理系统,以及第三方平台的无缝对接。巡查管理模块聚焦于提升运维效率,值班人员通过记录在大数据平台上的实时维护情况,形成标准化报告,交接给下一班次,确保信息传递的连续性。可视化技术的应用,使得复杂的数据以直观的图表形式呈现,便于系统管理员即时、精准地查询服务器状态。所有操作都建立在流程精细化和平台集成化的基础之上,便于快速检索和问题解决。数据管理方面,简化平台建设,降低接入门槛,采取加密措施保护文件安全,存储在中心存储库中,常规格式即可。同时,借助云计算的强大能力,我们构建了大数据中心,对敏感和普通文件分别进行加密存储,确保数据处理的高 效与数据安全。这样的设计旨在优化数据管理流程,提升整体工作效率。
3.3HDFS数据预处理与存储技术
HDFS作为分布式文件系统,处理着各个数据块文件的存储任务。它基于Hadoop的HDFS分布式框架,以Block为基本的存储单元,对包含安全日志数据和ID编码信息等的每个文件进行分割。在操作中,客户端向DataNode节点发起数据读写请求,随后NameNode控制节点会指定多个数据块副本的位置。该节点会核查请求的数据块文件名、ID和位置信息,如果找不到相关信息,它会返回一个文件I/O异常通知。反之,如果信息正确并通过验证,它会提供后台服务器的数据文件。当所有的网络数据文件被读取并验证后,NameNode节点会把编号的数据块文件放入文件查询映射队列,并将此信息反馈给客户端。
3.4体系架构
利用大云物移智链等前沿科技,打造数据资源化能力,实现全类型数据融合、全过程数据管控、全产业数据协同。体系架构方面主要包括数据采集,指数据从源端系统,经数据采集汇入数据库或其他数据库中。其中,采集也包含手工填报的数据。数据库提供统一的数据汇聚与存储的容器和数据访问能力,包括各类原始数据的汇聚,数据标准化的存储以及统一的数据访问能力。数据中台提供统一的数据加工、处理、管理与运营,主要提供数据分析、数据服务、数据管理等。实施数据监测系统实现数据采集、存储、管理的实时有效监测。
3.5网格计算
在大数据监控技术的复杂运算和算法应用中,有些环节难以直接转化为数据库内的操作或者内置函数,因此,我们倾向于采取一种分离的方法。我们将数据从复杂的函数结构中剥离出来,转而利用传统且独立的分析工具和软件进行深度剖析。然而,随着分析师群体的日益壮大和分析需求的增长,服务器的扩展或增设成为必要。为应对高昂的服务器成本,我们引入了网格计算策略。网格计算巧妙地将众多任务分散到多台 独立的计算机上,让每台机器负责特定的职责,这种策略显著提升了系统的运行效率和承载能力,同时又有效地控制了整体的运营开支。这样,即使在资源有限的情况下,也能保证数据分析的高 效进行。
结论
利用自动化实时数据监测系统,企业可确保日常运营的稳定性和安全性的基础设施管理。该系统通过实施连续监控并结合预警机制,提升了业务运行的安全性和效率。将大数据平台整合到集团的数据管理监督中,能强化对海量信息的处理能力,通过优化和智能化的视频处理技术,进一步提升了监控效能。
参考文献:
[1]付春林,陈学.智慧燃气安全监控平台大数据采集和存储技术应用[J].科技风,2020(13):116.
[2]张启春,梅莹.基本公共服务质量监测:理论逻辑、体系构建与实现机制[J].江海学刊,2020(4):242-247.
[3]高重晖,吴希,王玉坤,等.吉林电网调控大数据动态预警平台架构及关键技术[J].吉林电力,2021,49(3):1-3.