京东科技（张静）：让运维更智能：大模型时代下京东科技的AIOps之路会员免费

让运维更智能：大模型时代下京东科技的AIOps之路张静京东科技

目录京东科技AIOps整体能力京东运维大模型探索应用异常检测与智能预测实践多场景根因定位实践

智能运维整体能力知识图谱ü完整度高，覆盖新老设备和应用，一张图支撑所有业务ü大量内部经验和规则沉淀ü专业图计算能力加持大数据ü京东大数据同款能力，专业、可扩展能力强ü日志处理，实时、海量存储，也可复用客户资源人工智能ü数据挖掘/机器学习/强化学习算法ü内部复杂场景训练调优，积累大量负样本标记ü专业人员及京东AI团队支持故障发现ü经验平台化，减少对老专家经验依赖；ü上下穿透，一站式无需分层分别排查ü无阈值监控减少误报，避免漏报ü应急处理预案化、提升效率故障定位ü多种固定位算法策略灵活组合，基于APM调用链扫描挖掘故障节点关联性ü通过NLP日志模板提取技术，基于知识图谱快速定位故障，做到故障发生时，扫描真正根因，输出根因报告业务可观测性：AI赋能运维监控，智能化故障发现与根因定位，快速感知业务健康度，提升运维效率和问题修复效率系统稳定性：基于机器学习的磁盘/表空间预测提高资源利用率，基于AI算法的硬盘故障预测，降本增效磁盘/表空间趋势预测ü依托京东大数据，利用机器学习、深度学习算法，对数据库磁盘空间、表空间以及内存未来使用趋势预测，大促容量预测快速调度，降本增效，精细化运营硬件故障预测ü标签数据不足够的PU Learning半监督学习模式下，引入主动迁移学习，完成故障预测模型的训练；通过时空数据关联增强feature，输入给时间注意力模型，进而提升硬盘故障预测准确性。技术底座

G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站智能运维Themis平台：技术架构运维系统流程系统应用系统主机系统网络系统缓存系统Nginx系统域名管理……负载系统数据库资产系统……对接各个系统运维数据数据采集计算数据库MQKafkaAPI接口（Push/Pull）Flink/Spark流式计算定时WorkerAPI接口数据库MQ/Kafka数据管道作业中心数据应用层异常检测智能基线监控告警根因定位BI报表自定义查询应用健康度运维知识图谱数据服务-算法 时序异常检测智能文本分析根因编排告警共性分析……数据服务-基础 接口平台OpenAPI事件回调数据存储-时序 时间序列多维聚合数据存储-数仓数据分层主题划分数据模型数据存储-图数据建模数据映射数据整合实时离线智能监控智能告警数据采集计算数据存储数据服务与应用崩溃启动速度响应率进程慢SQLCPU日志分析卡顿成功率交易量I/O慢事务内存链路追踪被动响应主动发现数据驱动智能驱动

智能运维Themis平台：核心功能② 智能文本分析③ 故障定位① 指标异常检测知识图谱日志模版提取基于apm 调用链扫描故障节点关联性通过统计学习、时序聚类和时序网络算法，融合学习运维专家知识，生成多套运维专家算法组件，基于京东内部历年大促运维经验沉淀，覆盖核心业务交易、基础资源组件监控场景的故障预警，开箱即用，能够快速发现线上故障，实时监测系统稳定性，为系统运维提供有力支持。通过Bert预训练等NLP技术，对日志全貌聚类分析，内置K8S、缓存、数据库等多场景专家语料库，从日志角度发现问题，保证线上系统稳定性。基于运维专家知识和算法融合生成式智能故障诊断方案，内置日常业务依赖的应用、主机、容器、宿主机、缓存、数据库、ES、KAFKA、K8S及网络等40+智能故障定位场景。通过AI训练，生成精通运维全场景技术的智能诊断专家，能够在复杂业务场景中快速定位故障。集中管理监控指标，AI算法智能化检测分析海量日志处理，AI算法实时聚类分析将运维领域的知识语料与大模型结合，训练生成式运维预训练大模型，提升运维专家排障可迁移

智能运维能力数据层指标监控中心指标聚类分析单指标异常检测多指标异常检测日志监控中心日志模式识别日志增量学习日志关联分析日志异常检测日志分类日志模板AI标注告警分析中心告警聚类告警关联分析相似事件召回告警模板提取告警事件分析智能告警定级故障定位中心多维下钻根因全链路根源定位事件根因分析机器指标定位运维知识图谱故障传播关系故障注入模...