从存储到计算的极致弹性化：百度搜索中台检索系统弹性化架构演进-刘伟会员免费

百度搜索中台检索系统的弹性化演进——从存储到计算的极致弹性化百度搜索中台检索架构负责人/ 刘伟

个人介绍刘伟 搜索中台检索系统技术负责人2014年加入百度后，一直从事搜索架构相关工作在集群管理、在离线混布、检索引擎、成本优化方面有非常多的积累和实践工作方向：检索系统智能化架构，超自动化交付，检索低代码

目录一．百度搜索中台检索系统背景1. 业务背景2. 系统特点与技术挑战3. 系统架构简介二．弹性化架构演进1. 阶段一：自动化运维保障服务质量1.故障和高频变更引发服务质量风险2.服务弹性化实现自动化运维2. 阶段二：自动化交付提升交付效率1.需求和变更带来交付效率挑战2.存储和计算的弹性化实现自动化交付1.存储控制器2.内容计算控制器3.自动化交付效果示例3.阶段三：自适应优化降低成本和保持架构合理性1. 局部最优化陷阱2. 引入成本约束实现全局化弹性调整三. 展望：超自动化交付1.需求理解阶段引发交付效率风险2.策略插件模板机制打通需求到交付的全流程

百度搜索中台检索系统背景

百度搜索中台检索系统背景——业务背景可配置化①配置化阿拉丁⑤爱采购独立站②医疗阿拉丁③有驾APP④知了好学小程序支撑多元业务场景，满足不同形态/规模/发展阶段的业务要求

百度搜索中台检索系统背景——系统特点与技术挑战•数十个产品线业务，从孵化到深耕各类业务•搜索本身足够复杂，叠加业务异构，复杂度非常高•数百亿的天级入口流量，数十亿的天级建库量•运营卡片、热点事件会导致流量的剧烈波动•民生、商业类很多场景不能接受流量和时效性损失•周级别数百次业务变更和数十次的业务需求•更多变更是自动的，比如数据更新，流量成分变化系统特点技术挑战 用一套架构同时满足多元异构大规模复杂业务是检索系统面临的核心挑战，通过不断增强系统的弹性化能力去自适应的满足不同业务的场景和需求是应对架构挑战的主要思路。多元异构业务，架构复杂度高流量和规模大，服务质量要求高变更频繁，需求密集复杂系统导致维护成本飙升服务质量保障压力大交付周期不可控•几十套部署，异构复杂链路，需要专业人员维护；架构升级包袱重•系统需要适配流量和数据量的快速变化•一旦出现问题，损失会很大•大量的业务需求依赖架构排期支持•业务变更导致的计算和存储的变更无法快速满足

建库(索引&向量&正排等生成)召回 & 粗排（倒排索引 & 向量索引）精排模型计算服务模型训练&生效系统内容计算系统（自定义数据处理逻辑）调度插件策略插件架构功能组件架构层接口层检索系统示意图模块内部示意图为策略提供的声明式结构接口架构层迭代和变更对策略透明各模块的区别在用架构层的功能集合不同比如召回模块有本地倒排索引功能，其他模块使用倒排引擎需要通过远程访问正排召回词典…算分打散相关性自定义模型cache聚类策略插件是策略复用和定制的基础单位百度搜索中台检索系统背景——系统架构简介…业务迭代方式：1. DAG插件配置（大部分业务)； 2. DAG + 自定义策略插件（少量业务） 表达式预估索引召回向量召回打散过滤算分截断预处理结果组装业务以DAG的策略插件拓扑形式表达检索策略需求

弹性化架构演进

弹性化架构演进• 在云原生思路下，单体服务向云化发展，实现了自动化运维，保障系统服务质量阶段一：自动化运维保障服务质量• 针对搜索场景的存储和计算特点，建设弹性化伸缩机制• 在中台建设的思路下，实现自动化交付，大幅提升交付效率•阶段二：自动化交付提升交付效率• 在服务质量和交付效率的约束下，加入成本因子指导系统的弹性化调整• 打破自动交付导致的局部最优陷阱问题，避免业务处于不合理的架构状态•阶段三：自适应优化降低成本和保持架构合理性

弹性化架构演进阶段一：自动化运维保障服务质量

自动化运维保障服务质量——故障和高频变更引发服务质量风险场景1：检索流量波动场景2：建库流量和复杂度波动场景3：机器故障或长尾频繁的业务运营导致流量波动突发热点事件会导致流量的剧烈波动业务逻辑或策略的变更引起流量变化B端业务, UGC场景数据建库规模不定建库策略高频更新，计算复杂度变化机器规模快速增加，故障次...