一套应用系统主动发现油田和智能诊断方法

  • 时间:
  • 浏览:1

一、引言

油田大力推进“两化”淬硬层 融合,通过“两化”本质贯标,着力培育构建智能勘探开发、创新驱动发展、价值创造推动能力,应用安全也成为重要的基石。经越多年的建设,油田信息设施已具有一定的规模,各种各样的应用系统持续上线运行。肯能应用系统分散部署,复杂,难以准确发现、监管和管控,给日常管理、维护带来很大的障碍。怎样保证计算机系统及应用系统的正常运行,并实现高效安全的运转成了有有有有一个 艰巨的任务。为实现应用系统的集中管控,集成基础服务和业务应用数据,系统管控的可视化、规范化和精细化,为生产、办公、决策等提供更大的价值,有效提高应用系统资源的利用率,最终达到统筹管理、运维和使用的目的,油田应用系统集成整合势在必行。为了完成油田应用系统的整合,首没能进行对各个应用系统进行探测发现。在应用主动发现的基础上,通过对发现应用系统的运行现状、软件功能等情况报告进行多维分析和实际效果评估,最终形成一套应用系统主动发现和智能诊断方式 ,准确发现油田网上运行的应用系统,实现应用系统的优化管理。

二、应用系统主动发现技术

为了判断各服务器部署和发布的疑似应用系统,将采用网络爬虫技术,Web内容扫描技术以及桌面管理系统的数据挖掘相结合的方式 ,对疑似应用系统特征信息进行挂接、分析和识别,多方式 综合判定。综合利用本身技术,弥补了单种技术所带来局限性,形成一套删改的逻辑解决方式 ,较大程度实现了对应用系统的主动探测。

(一)爬虫技术

要实现应用系统的主动发现,首没能使用爬虫技术。在对应用系统的主动发现过程中,网络爬虫和扫描插件在调度中心的统一调度下工作。取舍固定入口,设计应用特征库解析关联链接,逐级“爬行”遍历,探找未注册、未登记应用。与一般爬虫相比,主动发现技术所使用的网络爬虫不仅要发现在页面内的正常链接,也时要发现目标服务器上趋于稳定的某些特殊文件数据用来分析,比如相关脚本的备份文件以及配置信息等。后来 ,要实现应用系统信息的有效爬行抓取,提高解析速率和准确性,动态扩展网页分析能力,对淬硬层 网页分析及JS脚本分析,提供更富足的爬行信息和技术方式 是应用系统主动发现技术网络爬虫的主要特点。网络爬虫工作机理如图1所示。

(二)Web信息扫描

对某些爬虫技术如此发现的孤立系统,还不可以方式 油田安全漏洞扫描的结果数据来比对应用特征库,开展定点排查,追踪疑似应用。借鉴扫描工具的功能,对Web进行内容扫描,对应用系统路径、暴露关键大现象信息等进行挂接、分析。这里主要研究开源的Web内容扫描软件,建立数据分析和特征库,形成应用识别模型和算法。

(三)油田桌面管理系统的数据挖掘

为了全面实现服务器部署和发布的疑似应用系统的主动探测。采用桌面管理系统的数据挖掘来弥补爬虫技术和Web信息扫描对探测的严重不足之处。按照油田网络管理规定,油田桌面管理系统安装率50%。后来 还不可以对油田桌面管理系统的数据分析和挖掘,监控主机下IIS、Tomcat等進程及配置数据,辅助实现应用系统的发现。

(四)建立综合应用识别方式

次责技术方式 都一定的局限性,如爬虫方式 时要有链接关系,时要几种技术要综合应用,从多维度综合判定。桌面系统根据进程监控,通知爬虫系统对疑似URL遍历;根据油田信息安全扫描数据,对肯能的Web应用进行爬行遍历;通过内容扫描,进一步识别。

三、系统性能分析与量化评估技术

在应用主动发现的基础上,通过对发现应用系统的运行现状、用户粘度、分布情况报告、应用范围、软件功能等情况报告进行多维分析和实际效果评估,形成一套删改的发现应用运行情况报告评估技术方案;建立应用质量评估模型,形成应用性能监测诊断技术体系。最终达到为应用瘦身、停用替代、提供诊断的目的,使油田网络资源达到统一管理、安全运维和节约化使用,实现应用系统集中管控,有效提高应用系统利用率。

(一)性能监控

分为模拟性能监控和真实用户监控。模拟性能监控通过嵌码和探针等方式 从应用前后端获取不同性能参数,设计算法形成应用性能综合评价。定期访问网站并记录每次运行的性能数据。测量的流量好的反义词实际用户所产生的,却说用于挂接页面性能时生成的。真实用户监控由供应商提供嵌入到每个页面的代理(JavaScript脚本),报告当前页面的每个请求的加载数据,观测实际用户的交互,分析数据,最终形成应用性能指标。

(二)性能分析与量化评估数据解决

1、数据挂接

在获取了几滴 的有关应用系统的数据事先,哪几个数据中肯能富含某些不一致、重复、不删改、趋于稳定错误或异常(次责期望值)的数据,为了使后续预测阶段有较好的表现,时要对哪几个数据进行:数据清洗,加带噪声和无关数据;数据集成,将多个数据源中的数据结合起来存插进有有有有一个 一致的数据存储中;数据变换,把原始数据转加带为适合数据挖掘的形式;数据归约,数据立方体聚集,维归约,数据压缩,数值归约,离散化和概念分层等。

2、关联分析

有有有有一个 或有有有有一个 以上变量的取值之间趋于稳定本身规律性,就称为关联。数据关联是数据中趋于稳定的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据中隐藏的关联网。一般用支持度和可信度有有有有一个 阀值来度量关联规则的相关性,还不断引入兴趣度、相关性等参数,使得所挖掘的规则更符合需求。

3、序列模式

时间序列分析则侧重研究数据序列的互相依赖关系。实际上是对离散指标的随机过程的统计分析,却说又可看作是随机过程统计的有有有有一个 组成次责。在一组有序的数据列组成的数据集中,一直出显的哪几个序列组合构成的模式。跟.我 所熟知的关联规则挖掘不一样,序列模式挖掘的对象以及结果都在有序的。在经过了数据解决事先所得到的数据还不可以直接用于预测模型,还不可以提高后期工作速率。

(三)应用性能指数(Apdex)

Apdex是用户对应用性能满意度的量化值,提供统一的测量和报告用户体验方式 ,把最终用户的体验和应用性能作为有有有有一个 删改指标进行度量。采样结果被量化为有有有有一个 0到1之间的数值即“Apdex指数”,0代表如此满意用户,1则代表所有用户都满意。经过统计,Apdex把本身数值与用户满意程度细化对应,如图4所示.

对于应用性能的Apdex评分与用户的体验紧密关联,为管理者提供了本身通过应用性能量化值来评估用户满意度的方式 。

(四)量化分析指标

挂接系统模块访问量、在线人数、停留时间、数据库增量、更新时间、数据更新情况报告等数据;通过指标对比、应用对比、分单位应用情况报告、数据库更新对比等。建立符合实际的量化分析指标,在此基础上形成可视化的性能分析。

四、实现方案

针对应用系统难以准确掌握,低效无效应用占用资源,趋于稳定安全风险的大现象,借鉴国内外相关应用优化最新成果,采用网络爬虫技术,Web内容扫描技术以及桌面管理系统的数据挖掘相结合的方式 ,多维度综合判定趋于稳定的应用系统;对所发现应用系统的运行现状、用户粘度、分布情况报告、应用范围、软件功能等情况报告进行多维分析,建立应用智能识别和评估模型和算法,开发应用发现与诊断系统,对应用系统进行性能分析与量化评估,达到高效利用有限网络资源,提高用户体验和降低维护成本的目的。

平台架构如图5所示,分为三层。

数据挂接层:获取用户访问信息、响应时间等;

数据分析层:利用应用系统性能分析与量化评估技术对挂接到的数据进行多维度分析;

告警层:通过应用性能监测及故障诊断技术对出显的异常情况报告告警可视化。

平台通严重不足速数据挂接设备对核心交换机骨干链路的业务流量进行实时挂接和DPI分析,通过系统性能分析、量化评估和应用系统异常预警进行端到端的性能测量和管理,帮助网络运维部门预先和实时掌握网络应用系统运行质量情况报告。

首先,在系统性能与量化评估分析方面,平台具备数据流量透视能力,可实现对链路层、网络层、传输层的流量和流数目进行统计分析。从应用、用户、内控 地址有有有有一个 不同的淬硬层 对流量的趋势、排名进行统计分析,查看最近5分钟、最近3小时、最近1天、最近一月、最近一年等不同時 间段里哪几个应用所产生的流量最大,可取舍异常流量来源、识别其所对应的应用类型、记录其趋于稳定的时刻和趋于稳定的时间、追踪其传输的路径和目的地,对异常流量进行定位、跟踪、溯源。传统的网管监测,对链路性能进行监测时,不可以通过运维人员ping链路IP,不可以看出链路的延迟、丢包率等数据,无法监测出链路实时速率。而应用性能监测及故障诊断平台还不可以实时看出应用服务器网络的延迟、抖动、丢包率,甚至是可用速率、瓶颈速率等性能参数。能对链路上运行的应用进行淬硬层 分析得出有价值的性能数据和统计数据,方式 统计数据可分挥发性链路中哪种应用运行更加顺畅,定位应用性能瓶颈,利于合理分配网络应用资源,快速解决因资源分配不合理由于的网络拥塞大现象。

其次,在智能诊断方面,针对油田内控 网络各类业务(包括Web、DNS、视频、流媒体、FTP、数据库、邮件、内控 生产业务等)实时运行性能进行可视化淬硬层 分析,可实时感知DDos攻击、蠕虫爆发、大规模病毒传播和非规律的流量变化等网络异常情况报告,精准定位大现象根源组件,利于区分故障是在网络侧还是服务器侧。通过对应用网络流量动态基线分析,维护人员好的反义词为每一异常流量数据包特征寻求或开发专属的侦测进程,高精度、高同步性的动态流量监测测量数据为运维人员提供了更可靠、更精确网络应用流量告警。使运维人员对油田内控 网络应用巡视维护速率大大提升;从传统的被动排查,到现在及时主动发现,提高故障响应速率,降低应用网络性能分析成本,从而提升整一千公里田内控 应用的可靠性及运维速率。利于即时发现网络应用配置故障、路由环回故障、显著性能下降等服务器网络故障,解决了传统排查的费时费力。

五、结语

通过研究,形成一套应用系统主动发现和智能诊断方式 ,准确发现油田网上运行的应用系统,实现应用系统的优化管理。对于进一步整合油田应用系统,高效利用网络资源具有重要意义。还不可以实现油田应用系统的有效管控,对整一千公里田应用系统的分布情况报告,应用范围,利用率,运行现状等全面及时了解。明确油田各應用系统之间的关系,为应用的故障预测提供方式 。使油田网络资源达到统一管理、安全运维和节约化使用。分析应用系统的功能和业务,在更高层次上分析业务关联,为信息化顶层设计提供科学的决策方式 。为云平台的推广应用,基于组件复用集成稳定运行提供保障。

基金项目:中国石化胜利油田分公司科研项目“应用系统主动发现与诊断解决技术分析”,项目编号:YKJ1904-1

注:文章内的所有配图皆为网络转载图片,侵权即删!