网易严选大数据架构演进会员免费

⽹易严选⼤数据架构演进⽹易严选 左琴

左琴2013年毕业于浙江⼤学，先后任职阿⾥/华云数据/⽹易等公司，主要从事⼤数据存储/计算引擎开发和优化⼯作⽬前就职于⽹易严选数据及风控部，同时担任⽹易集团数据委员会委员，是⽹易严选数据和算法⼯程团队的负责⼈，负责严选数据技术体系的建设(⼤数据平台/中台/数据产品和算法⼯程)社区的积极分享者，先后在SACC，QConf研习社等做过多次主题分享，举办过Alluxio、Pulsar杭州的Meetup.

12数据平台3数据驱动技术体系DataLakeAutoWarehouse数据分析-> 数据决策智能任务调度Cloud Native数据中台

1VIPAPP 移动数据⼯作台伏羲 营销数据分析⼤麦 商品数据运营轩辕 数据⼤屏谛听 舆情洞察辅助决策 统计 分析 诊断DIS 科学实验平台神相 流量分析产品哈勃 评论数据产品⽤户分析流量分析商品销售营销分析渠道销售仓储物流逆向分析品控分析供应商管理财务分析统计分析型 数据产品严选报表分析体系（有数）阶段1 2017~2020: 重点打造分析体系数据驱动技术体系数据业务的发展和变化

1VIPAPP 移动数据⼯作台伏羲 营销数据运营⼤麦 商品数据运营轩辕 数据⼤屏谛听 舆情洞察辅助决策 统计推荐分析 诊断智能决策 策略 模型搜索栏目风控榜单选品广告用户运营用户增长场货⼈DIS 科学实验平台数据服务化河洛 供应链协同决策业务财务⼀体化平台严选商品中⼼刑天 市场投放与归因系统破除数据门槛阶段2 2020~: 打造数据驱动工程体系 开放数据+能力数据业务的发展和变化数据驱动技术体系

债务演进标签: 3个不同的服务特征: 无统一访问服务推荐: 3个推荐服务存储: 10+存储引擎临时⽅案和烟囱开发积累的债务无ACID能力 无法应对在线业务要求数仓模式过于重度 无法应对标签与特征的大量需求开放表，没SLA的服务 无法应对业务系统对数据体系的要求…….⾯向分析 向 数据驱动 的⼯程演进推荐赛马风控榜单选品全域 用户运营用户增长场货⼈标签 特征 策略 模型河洛 供应链协同决策业务财务⼀体化平台严选商品中⼼刑天 市场投放与归因系统 开放数据+开放能力时效: T+1, T+10m, 实时数据能力质量:准确率，异常分析定义: 统一的定义访问: 一致的访问服务存储: 对外不直接暴露计算: 服务化的计算能力 Spark, flink etc.⼯程现状⼯程⽬标业务⽬标稳定:满足在线业务SLA要求1打造数据驱动技术体系翻译分析｜结合目标数据工程技术目标数据驱动技术体系

1数据应⽤数据中台看技术本质 通⽤能⼒下沉 数据平台Data PipeLine：数据集成 -> 数据开发 -> 数据访问AI PipeLine：数据集成 -> 特征/模型开发 -> 模型推理策略型智能型标签 + 规则特征 + 模型 + 规则业务⻆度切⼊，技术视⻆划分任务表数据计算 + 数据存储屏蔽底层细节 提供积⽊搭建数据驱动工程体系建设思路分析诊断型指标数据驱动技术体系

YAWS-统⼀任务调度Waiter-数据⽹关DataHub数据总线Atom计算平台机器学习平台统⼀数据查询平台VIPAPP商品-⼤⻨伏羲-营销谛听-服务刑天-渠道运营中⼼商品中⼼供应链中⼼榜单推荐客服中⼼MESSAGING⼴告选品系统⻛控搜索CRMCOMPUTINGRESOURCESCHEDULESTORAGE数据 集成BinlogLog数据湖数据仓库ODS/DW/DM特征 &模型服务指标服务标签服务策略引擎AI引擎召回/排序/赛⻢统计引擎1任务治理表治理流量控制效果分析科学实验平台FAAS平台数据治理标签治理指标治理数据⾎缘监控服务统⼀元数据基础服务平台中台前台数据驱动技术体系全景图数据驱动技术体系

YAWS-统⼀任务调度Waiter-数据⽹关DataHub数据总线Atom计算平台机器学习平台统⼀数据查询平台VIPAPP商品-⼤⻨伏羲-营销谛听-服务刑天-渠道运营中⼼商品中⼼供应链中⼼榜单推荐客服中⼼MESSAGING⼴告选品系统⻛控搜索CRMCOMPUTINGRESOURCESCHEDULESTORAGE数据 集成BinlogLog数据湖数据仓库ODS/DW/DM特征 &模型服务指标服务标签服务策略引擎AI引擎召回/排序/赛⻢统计引擎1任务治理表治理流量控制效果分析科学实验平台FAAS平台数据治理标签治理指标治理数据⾎缘监控服务统⼀元数据基础服务平台中台前台数据驱动技术体系全景图数据驱动技术体系2⾯向策...