华为AIOps使能服务加速新基建运维智能化转型
人工智能经历了六十多年的浮浮沉沉,随着计算算力的进步,算法的创新和互联网发展下的海量数据积累,人工智能技术未来十年将焕发出新的活力,成为最具有冲击力的 科技 发展趋势之一。
在HUAWEI CONNECT 2020期间,华为基于对电信领域的深刻理解和多年经验沉淀,带来了《AIOps使能服务》的分享,旨在结合电信领域应用场景,使能网络达到自动、自愈、自优和自治的自动驾驶网络,提升整个网络的效率,降低OPEX。
AIOps成为电信网络运维智能化转型趋势
随着“5G 新基建”的加速实施,数字经济发展迎来新的动能。不仅推动投资消费的快速成长,还将驱动各行业的数字化转型升级。随之而来的是网络问题复杂化与业务质量高要求的挑战,运维能力的演进成为电信网络能否持续发挥效能的关键因素。
电信网络运维作业正面临问题发现被动(75% 问题由用户发现),故障根因定位难(90% 时间用于问题定位)的业务挑战。同时,各专业运维支撑系统功能也面临开发周期长,闭环流程自动化程度低的技术瓶颈。因此,运营商期望引入AI实现智能运维,做到主动维护和故障自愈。
在运维支撑系统的演进方向上,AIOps(运用AI及大数据技术解决运维问题)已经成为电信行业运维智能化转型的趋势和共识:构建AIOps平台能力,支撑不同运维场景应用。在未来五年内,电信行业市场的运维系统和平台将加速AI能力的升级,成为电信领域AI应用的核心场景,投资占比达到60%。
因此,AIOps已经成为电信网络运维智能化转型趋势。通过构建电信领域AIOps平台能力,快速实现智能运维升级。
华为AIOps助力网络提升可靠性及使能智能化运维
按照自动驾驶网络的等级定义,运维的智能化目标是要实现全域、全流程的预测性运维,自动监控、定位、自愈。
华为AIOps使能服务作为自动驾驶网络AI引擎NAIE的核心能力,基于AI平台,提供了一系列的电信领域AIOps原子能力以及组合编排能力,使能网络管控析单元、智能运维解决方案等运维系统,最终帮助运营商打破原有的烟囱式建设方式,将各专业运维系统的应用与AI能力解耦,采用分层的服务化架构对接共享数据中心,集中提供AIOps能力,适配运维场景应用百花齐放的需求。
如下是华为AIOps使能服务预组合编排好的服务,可开箱即用:
kpi异常检测服务, 快速智能识别海量kpi/kqi的异常情况,广泛应用在网络性能和质量监控场景;
故障识别与根因定位服务, 根据海量告警结合对应网络拓扑和传播知识,实时识别故障及根因网元及告警,可自动学习知识规律,保证持续优化,可广泛应用在各种网络场景;
日志异常检测服务, 实现日志的自动分类和统计规律发掘,实时监控出系统的异常行为和相关日志,可广泛应用在IT及电信网络场景;
硬盘异常预测, 可智能预测短期内(14天)的硬盘故障,以采取规避预防措施,以免对业务产生影响,广泛支持主流厂商的HDD及SSD型号。
细数华为AIOps使能服务四大核心竞争力
提供丰富的AIOps原子能力: AIOps的原子能力覆盖运维全流程,包括预测、检测,定位、执行。原子能力库支持流量预测,故障预测,KPI异常检测,日志异常检测,CHR异常检测,异常关联分析,事件聚合,根因定位等20+原子能力。
作为电信领域的AIOps使能服务,具备两个核心特点:一是基于华为电信领域的经验,原子能力将AI算法与电信领域行业知识融合,预制了默认的电信领域模型参数,同时支持现网运行态的调优,解决当前通用算法模型在具体行业落地效果差的难题。目前,已经在现网得到了规模验证。
另一个是AIOps原子能力采用标准化模型规范,统一数据输入,参数配置,结果输出等接口。为AIOps单点原子能力到灵活的组合串接提供了基础。
组合编排与DevOps能力: 通过组合编排功能,使用者可选择业务场景所需的AIOps原子能力,通过可视化方式完成流程串接,并进行业务泛化参数配置,包括数据接入方式,模型参数,内置电信领域泛化参数,事件通知方式、可视化Dashboard等配置。上述能力支持可视化编排或接口调用方式实现。此外,基于NAIE平台训练服务,AIOps的原子能力库支持使用者根据实际业务需求开展算法模型的创新与开发,不断扩展AIOps能力。NAIE的生态服务也提供专业的人员培训赋能。
支持电信领域数据对接: 支持KPI、告警、日志、xDR等电信领域主流运维数据。支持Kafka,数据库,文件系统,Restful等电信运维系统的主流数据对接方式。AIOps使能服务提供通用的数据源对接和标准化数据治理组件,通过配置项快速建立与运维系统的数据源连接,通过SDK将不同的数据类型和格式治理成标准化的AIOps原子能力输入集,用于模型训练和推理。
场景组合服务: 围绕运维全流程(发现、分析、处理)提供预制典型场景组合应用,快速接入运维流程。
综上所述,华为AIOps使能服务作为智能运维AI能力引擎,融合AI的技术优势与华为在电信领域的专业优势,为运维系统的智能化演进提供AIOps平台能力支持,助力到各专业运维系统的应用快速上线,让运维专家专注场景应用设计和业务目标达成。
华为AIOps助力运营商及企业网络打造最佳实践
在KPI异常检测方面,电信网络中,通过KPI来预测和检测网络问题是最普遍的场景。通过AI算法基于 历史 数据自动生成每个KPI的动态门限,避免传统静态门限带来的误报和漏报。
华为NAIE融合了电信领域的运维业务特点,提供单指标/多指标检测,异常原因关联分析,模型的自学习调优等关键能力。目前已经用在核心网,无线,数通等不同业务领域。国内某运营商采用了核心网KPI异常检测服务以后,实现提前5小时识别异常并主动预警,降低了业务损失。
在告警根因定位方面,发现异常或者故障之后的定位是运维流程中的难点,如何准确的将多维度的异常、告警等事件进行汇聚,减少故障噪声,准确定位到具体原因?这些工作目前主要依赖专家经验或者手工分析,而且受限于分析算力和知识信息,效果并不好。
华为NAIE AIOps通过AI算法与业务的融合,支持多类异常/告警等事件的智能故障定位,自动实现时间,拓扑和故障传播图等维度的事件汇聚和根因定位。目前已经应用到无线接入网等业务领域,经过实际验证,无效上站减少60%,根因识别准确率85%+,运维效率整体提升15%。
写在最后,电信领域AIOps落地的关键是需要将行业知识与AI技术融合。网络运维系统的AIOps能力构建的趋势是业务与能力解耦,做到AIOps能力的复用、拉通,支持,适配运维场景应用百花齐放和快速上线迭代的需求。
因此,AIOps使能服务作为智能运维AI能力引擎,融合AI的技术优势与华为在电信领域的专业优势,为运维系统的智能化演进提供AIOps平台能力支持,助力到各专业运维系统的应用快速上线,让运维专家专注场景应用设计和业务目标达成。目前,华为AIOps使能服务已经在无线,核心网,数通等网络域得到了广泛的应用。
中兴通讯推动5G云核心网部署和运维的智能化变革
在面向5G的核心网络演进中,电信设备从传统设备向虚拟化、云化演进,软硬件架构发生了很大的变化。电信业不仅引入了很多IT的软件架构,还引入了新的思维和方法。在这样的挑战背景下,中兴通讯将自动化、智能化引入5G核心网运维,实现方案架构、运维技术、运维方式等方面的创新变革,有力推动了5G云核心网部署和运维的智能化变革。
自动化一键部署解决客户网络部署痛点
与2G、3G、4G并存,5G大规模的商用网络部署,在现有人力情况和网络形势下,为了降低部署难度,提升交付效率,端到端、自动化的核心网络交付解决方案成为迫切之需。
为了有效解决客户在虚拟化网络交付部署中的痛点,中兴通讯提供NFV AIC(Auto Integration Center)自动化集成工具平台,能全面满足运营商这一需求。
通过整合和固化NFV集成流程,AIC工具平台实现了5G核心网虚拟化建设的规划设计、网络部署和验收测试的自动化,大幅缩短网络建设时间,并通过友好的用户交互界面在网络集成全生命周期中实现工具功能与客户需求之间的“零距离”。
AIC工具平台能提供虚拟化核心网建设从规划设计、方案验证、网络部署、到集成测试等环节端到端、一站式的工具支持,实现了NFVI、MANO、VNF等各种场景的自动化集成,大幅度降低网络建设的集成难度,提高效率,保障质量,降低集成成本,加速运营商NFV网络建设,助力客户实现网络快速转型。
通过AIC工具的应用,运营商能自动化完成虚拟化网络规划、部署和测试,极大提升NFV网络集成效率和质量,真正做到了以简驭繁,实现了NFV交付部署模式的革新。
智能化快速定位解决网络运维难题
改变传统设备“三板斧”的固有维护模式,网络运维迫切需要自动化和智能化的技术支撑,真正发挥虚拟化特性的作用,将人从繁重的运维工作中解放出来,实现问题的快速定位,解决系统出现的各种问题。
完成网络交付并正式运营后,遇到问题或业务故障,如何快速定界定位?中兴通讯提供了相应的思路和解决方案。
首先,部署智能监控,当软件自动化发现系统运行异常,自动触发下一步对异常的分析,从而定位出系统异常根源,快速修复故障。
智能监控有直接方式和间接方式,直接方式下,对环境、硬件(计算、存储、网络)、Cloud OS等关键设施进行指标监控,一旦出现异常数据,进行直接的故障告警、定位。间接方式下,对5G业务关键KPI进行监控和多维度的对比分析,通过分析发现KPI异常判断故障是否发生,从而触发故障进一步关联分析定位,多维度的对比分析可以从几个方面进行。
其次,引入自动化运维手段,通过纵向关联和横向关联两个维度进行故障根源分析,即在监控系统发现系统异常后,触发纵向分层告警、分层日志关联分析,横向关联NF内微服务间,NF-NF间进行关联分析。
在纵向架构上,网络结构包括物理层、虚拟层、业务层三个层次,当底层出现故障时,将影响上层业务,纵向关联关键识别出根故障的根源是在哪个层次PIM层、VIM层还是VNF业务本身。在水平层次上,VNF内部的微服务间存在业务流程关联,存在相互影响的关系,微服务间横向关联用作发现出问题根本原因的微服务,横向关联关键是把一个网元的故障和另一个业务相关网元的故障关联起来,把一个微服的故障和真正出问题的微服务关联,在应用层这同一层次识别出真正出问题的微服务或组件。
自动化运维的关键技术,除了故障监控和故障根源分层关联分析,故障自愈能力、全局透视、跨域全方位数据采集能力、全网网络拓扑管理、一键自动化测试、一键自动化业务部署等,都是智能运维应具备的成熟商用能力。
网络切片实现网络运营的增值服务
网络运营催生出网络切片技术的诞生,使得各行各业依托5G网络创造出更多应用,让自动驾驶、工业控制、智能电网、大视频、AR/VR等丰富的垂直行业应用普及到我们的日常生活。超大带宽、超低延时及海量连接场景在不久的将来将无处不在,这既是5G核心网络运营的重大挑战,也是5G核心网络走向繁荣的重要机遇。
5G核心网络本质上是一个虚拟化网络,它具备虚拟化的所有特性。网络切片就是一个重要特性,通过对网络资源灵活分配,能力灵活组合,基于一张物理网络虚拟出网络特性不同的逻辑子网,以满足不同场景的定制化需求。
网络切片运维,实质上就是提供切片实例的全生命周期管理,包含设计、开通、SLA保障、终结等阶段。网络切片带来极大灵活性的同时,也增大了运维管理复杂度。基于人工智能来增强切片自动化管理能力是必然趋势。
在切片管理系统中引入人工智能,根据AI训练平台输出决策依据,自动化执行管理策略,赋予网络智能感知、建模、开通、分析判断、预测等方面的能力,实现切片灵活性和管理复杂度之间的完美平衡。通过智能化切片开通、切片智能SLA保障、切片智能闭环运维端到端实现切片的交付维护。
可以预见, AI与5G切片网络的结合将产生耀眼的火花,推动网络高速发展和演进。
面对多样化的垂直行业应用,构建以云原生/SBA/AI为技术基石,集灵活、敏捷、智能、开放为一体的5G核心网迫在眉睫。作为数字经济筑路者,中兴通讯基于OpenStack开源技术的云平台产品、核心网业务和硬件基础设施的三层解耦等给电信应用带来了很多便利的同时,也给网络建设、运维甚至运营方式都产生了较大的影响,促使着网络交付、运维及网络运营的智能化变革,同时为5G赋能万业提供了强劲动力。
践行AI战略:华为引领数据中心网络迈入人工智能时代
AI正在成为企业助力决策、提升客户体验、重塑商业模式与生态系统、乃至整个数字化转型的关键驱动力。
但在崭新的AI时代,数据中心网络性能也正在成为AI算力以及整个AI商用进程发展的关键瓶颈,正面临诸多挑战。
为此,华为以“网络新引擎 AI赢未来”为主题发布了业界首款面向AI时代数据中心交换机CloudEngine 16800,将人工智能技术创新性的应用到数据中心交换机,引领数据中心网络迈入AI时代。
AI时代数据中心网络面临三大挑战
当前,数字化转型的持续推进,正在提速驱动数据量暴增;同时,语音/视频等非结构化数据占比持续提高,庞大的数据量和处理难度已远超人类的处理能力,需要基于机器运算深度学习的AI算法来完成海量无效数据的筛选和有用信息的自动重组,从而获得高效的决策建议和智慧化的行为指引。
根据华为GIV 2025(Global Industry Vision)的预测,企业对AI的采用率将从2015年的16%增加到2025年86%,越来越多的企业将利用AI助力决策、重塑商业模式与生态系统、重建客户体验。
作为人工智能的“孵化工厂”,数据中心网络正成为AI等新型基础设施的核心。但与此同时,随着AI时代的到来,AI人工智能的算力也受到数据中心网络性能的影响,正在成为AI商用进程的一大瓶颈。
华为网络产品线总裁胡克文指出,AI时代的数据中心网络将面临以下三大挑战:
挑战1.AI算力。高性能数据中心集群对网络丢包异常敏感,未来的网络应该做到零丢包。但传统的以太网即使千分之一的丢包率,都将导致数据中心的AI算力只能发挥50%。
挑战2.大带宽。未来5年,数字洪水猛增近20倍,现有100GE的网络无法支撑。预计全球年新增数据量将从2018年的10ZB猛增到2025年180ZB(即1800亿TB),现有100GE为主的数据中心网络已无法支撑数据洪水的挑战。
挑战3.要面向自动驾驶网络的能力。随着数据中心服务器规模的增加,以及计算网络、存储网络和数据网络三网融合,传统人工运维手段已难以为继,亟需引入创新的技术提升智能化运维的能力,如何用新的技术去使能、把网络问题排查出来成为业界都在思考的问题。
华为定义AI时代数据中心交换机三大特征
从行业大势来看,随着以人工智能为引擎的第四次技术革命正将我们带入一个万物感知、万物互联、万物智能的智能世界,数据中心网络也必须从云时代向AI时代演进。在华为看来,数据中心需要一个自动驾驶的高性能网络来提升AI算力,帮助客户加速AI业务的运行。
那么,AI时代的数据中心网络究竟该如何建设呢?胡克文指出,“华为定义了AI时代数据中心交换机的三大特征:内嵌AI芯片、单槽48 x 400GE高密端口、能够向自动驾驶网络演进的能力。”
特征1.业界首款内嵌AI芯片数据中心交换机,100%发挥AI算力
从应用侧来看,刷脸支付的背后是上亿次图像信息的智能识别,深度 健康 诊断需要基于数千个算法模型进行分析,快捷网购体验离不开数百台服务器的智能计算。也就是说,新商业物种的诞生,产业的跨越式发展以及用户体验得以改变,强烈地依赖于人脸识别、辅助诊断、智能推荐等AI应用的发展。
但由于AI算力受到数据中心网络性能的影响,正在成为AI商用进程的关键瓶颈。为了最大化AI算力,存储介质演进到闪存盘,时延降低了不止100倍,计算领域通过采用GPU甚至专用的AI芯片将处理数据的能力提升了100倍以上。
CloudEngine 16800是业界首款搭载高性能AI芯片的数据中心交换机,承载独创的iLossLess智能无损交换算法,实现流量模型自适应自优化,从而在零丢包基础上获得更低时延和更高吞吐的网络性能,克服传统以太网丢包导致的算力损失,将AI算力从50%提升到100%,数据存储IOPS(Input/Output Operations Per Second)性能提升30%。
特征2.业界最高密度单槽位48 x 400GE,满足AI时代5倍流量增长需求
数据中心是互联网业务流量汇聚点,企业AI等新型业务驱动了数据中服务器从10G到25G甚至100G的切换,这就必然要求交换机支持400G接口,400GE接口标准化工作已经于2015年启动,目前针对数据中心应用已经完成标准化,400G时代已经来临。
集群的规模是数据中心架构演进的动力,经典的无阻塞CLOS理论支撑了数据中心服务器规模从千台、万台到今天10万台规模的发展,增大核心交换机容量是数据中心规模扩大的最常见手段。以一个1000T流量规模的数据中心组网为例,采用400GE技术,核心汇聚交换机需要5K个接口,相对100GE技术减少75%。
为此,CloudEngine 16800全面升级了硬件交换平台,在正交架构基础上,突破超高速信号传输、超强散热、高效供电等多项技术难题,不仅支持10G→40G→100G→400G端口平滑演进能力,还使得单槽位可提供业界最高密度48端口400GE线卡,单机提供业界最大的768端口400GE交换容量,交换能力高达业界平均的5倍,满足AI时代流量倍增需求。同时,CloudEngine 16800在PCB板材、工艺、散热,供电等多方面都进行了革命性的技术改进和创新,使得单比特功耗下降50%。
特征3.使能自动驾驶网络,秒级故障识别、分钟级故障自动定位
当数据中心为人工智能提供了充分的技术支撑去创新时,人工智能也给数据中心带来巨大利益,如借助telemetry等技术将异常信息送到集中的智能运维平台进行大数据分析,这极大提升了网络的运行和运维效率,降低运维难度和人力成本。但是当前计算和存储正在融合,数据中心服务器集群规模越来越大,分析的流量成千倍的增长,信息上报或者获取频度从分钟级到毫秒级,再加上信息的冗余,这些都使得智能运维平台的规模剧增,智能运维平台对性能压力不堪重负降低了处理的效率。如何减轻智能运维平台的压力,在最靠近服务器,最靠近数据的网络设备具有智能分析和决策功能,成为提升运维效率的关键。
CloudEngine 16800基于内置的AI芯片,可大幅度提升“网络边缘”即设备级的智能化水平,使得交换机具备本地推理和实时快速决策的能力;通过本地智能结合集中的FabricInsight网络分析器,构建分布式AI运维架构,可实现秒级故障识别和分钟级故障自动定位,使能“自动驾驶网络”加速到来。该架构还可大幅提升运维系统的灵活性和可部署性。
引领数据中心网络从云时代迈入AI时代
自2012年进入数据中心网络市场以来,目前华为已服务于全球6400+个用户,广泛部署在中国、欧洲、亚太、中东、非洲、拉美等全球各地,帮助互联网、金融、政府、制造、能源、大企业等多个行业的客户实现了数字化转型。
2017年华为进入Gartner数据中心网络挑战者象限;2018年进入Forrester数据中心SDN网络硬件平台领导者;2013-2018年,全球数据中心交换机厂商中,华为连续六年复合增长率第一,发展势头强劲。
早在2012年,华为就以“云引擎,承未来”为主题,发布了CloudEngine 12800数据中心核心交换机,七年以来这款面向云时代的交换机很好的支撑了数据中心业务弹性伸缩、自动化部署等核心诉求。
而随着本次华为率先将AI技术引入数据中心交换机、并推出面向AI时代的数据中心交换机CloudEngine 16800,华为也在引领数据中心网络从云时代迈入AI时代。
2018年,华为轮值董事长徐直军宣布:将人工智能定位为新的通用技术,并发布了人工智能发展战略,全面将人工智能技术引入到智能终端、云和网络等各个领域。而本次华为发布的业界首款面向AI时代数据中心交换机CloudEngine 16800,也是华为在网络领域持续践行AI战略的集中体现。
而作为华为AI发展战略以及全栈全场景AI解决方案的一个重要组成部分,CloudEngine 16800不仅是业界首款面向AI时代的数据中心交换机,还将重新定义数据中心网络的代际切换,助力客户使能和加速AI商用进程,引领数据中心真正进入AI时代。
大家用的智慧楼宇管理系统可以实现AI全自动运维吗?
楼主可以和我们一样选择企业盒子,它的的物管盒子通过智能模型算法和边缘服务器,实现AI全自动运维,帮助物业进行物业运维管理,并通过小程序为业主进行服务。
智能运维是什么?
得益于IT外包服务的发达,现在的运维已经不包括搬机器上架、接网线、安装操作系统等基础工作,运维人员一般会从一台已安装好指定版本的操作系统、分配好IP地址和账号的服务器入手,工作范围大致包括:服务器管理(操作系统层面,比如重启、下线)、软件包管理、代码上下线、日志管理和分析、监控(区分系统、业务)和告警、流量管理(分发、转移、降级、限流等),以及一些日常的优化、故障排查等。
随着业务的发展、服务器规模的扩大,才及云化(公有云和混合云)、虚拟化的逐步落实,运维工作就扩展到了容量管理、弹性(自动化)扩缩容、安全管理,以及(引入各种容器、开源框架带来的复杂度提高而导致的)故障分析和定位等范围。
听上去每一类工作都不简单。不过,好在这些领域都有成熟的解决方案、开源软件和系统,运维工作的重点就是如何应用好这些工具来解决问题。
传统的运维工作经过不断发展(服务器规模的不断扩大),大致经历了人工、工具和自动化、平台化和智能运维(AIOps)几个阶段。这里的AIOps不是指Artificial Intelligence for IT Operations,而是指Algorithmic IT Operations(基于Gartner的定义标准)。
基于算法的IT运维,能利用数据和算法提高运维的自动化程度和效率,比如将其用于告警收敛和合并、Root分析、关联分析、容量评估、自动扩缩容等运维工作中。
在Monitoring(监控)、Service Desk(服务台)、Automation(自动化)之上,利用大数据和机器学习持续优化,用机器智能扩展人类的能力极限,这就是智能运维的实质含义。
智能运维具体的落地方式,各团队也都在摸索中,较早见效的是在异常检测、故障分析和定位(有赖于业务系统标准化的推进)等方面的应用。智能运维平台逻辑架构如图所示。
智能运维平台逻辑架构图
智能运维决不是一个跳跃发展的过程,而是一个长期演进的系统,其根基还是运维自动化、监控、数据收集、分析和处理等具体的工程。人们很容易忽略智能运维在工程上的投入,认为只要有算法就可以了,其实工程能力和算法能力在这里同样重要。
智能运维需要解决的问题有:海量数据存储、分析、处理,多维度,多数据源,信息过载,复杂业务模型下的故障定位。这些难题是否会随着智能运维的深入应用而得到一定程度的解决呢?我们会在下一篇文章中逐步展开这些问题,并提供一些解决方案。
本文选自《智能运维:从0搭建大规模分布式AIOps系统》,作者彭冬、朱伟、刘俊等,电子工业出版社2018年7月出版。
本书结合大企业的智能运维实践,全面完整地介绍智能运维的技术体系,让读者更加了解运维技术的现状和发展。同时,帮助运维工程师在一定程度上了解机器学习的常见算法模型,以及如何将它们应用到运维工作中。
智能运维就是由AI代替运维人员?
AIOps智能运维并不是完全取代传统的运维人员,而是对于已经构建的传统集中监控系统首先是一种赋能的作用,也就是新建立的AIOps智能告警系统可以和既有的系统协同工作,这里会有一个并存的过程;在第二阶段,就可以随着智能监控的日益成熟逐步完成转型,也就是将主要的工作舞台迁移到智能集中监控系统;当然,对于还未构建集中监控的企业,完全可以换道超车,直接建立具备智能运维能力的集中监控系统。
在运维管理中,运维管理者和智能运维的关系应该是相辅相成,各取所长,而不是互相替代的关系。可以理解为,智能运维是一种特殊的“人”,运维管理者要能用其所长。
比如说以智能告警为例,机器学习算法的能力是人难以企及的,“他”可以从时间维度、拓扑维度甚至告警语义的维度去洞察原始告警的相关性,并且把所发现的结论以友好的方式展示出来,消除人类识别数据能力的不足和可能存在的盲区;
而运维管理者,则可以利用专业知识和经验,对于洞察的结果进行判断,因为对于自身业务逻辑最清楚的莫过于具体运维者,而且人的思维具备一种机器所无法企及的发散性,这对于利用经验判断尤为有效。这样的人机互动和闭环使得运维管理者和智能运维工具各自发挥所长,从而达到最卓越的成效。