网易互联网数据中台实践会员免费

网易互联网产品数据k台实践

• 数据k台概览 • 元数据k心 • 数据服务 • 全链路数据质量k心 • 数据资产管理

互联网h务数据架构 猛犸大数据开发计算平台 供 应 链 8.S o 站 音t 传媒 电商 .W. +.S 8.S .W. +.S 供应链决策协同系统 用户行n分析 精准投放

用户运营 用户行n分析系统 商品运营 用户精准投放系统 商品运营系统 市场运营 推广渠道管理系统 供应链 供应链决策协同系统 管理层 商品舆情系统 高层看板 活动实时直播 VIOAOO h务场景 数据产品 数据产品： 以电商n例 数据智能 搜索推荐 风控

指标口径f统一 数据重复 建设 取数效率低 成本指数 增长 数据产品 故障频发 指标系统+数据服务 数据地图+自助查询 数据质量k心 资产管理 落地产品 h务面m的问题

k台产品架构

互联网h务数据k台架构 猛犸大数据开发计算平台 音t 传媒 供应链决策协同系统 用户行n分析 精准投放 电商数据k台 统一元数据 共享数据资产

100%数据产品指标覆盖，统一h务口径和取数口径定r，消除指标vr性 基于数据地图，100%实现自助取数 全链路数据跟踪，回答“数据准f准b”“哪y数据故障b”“什么时候恢复b”，加速数据故障的排查定位，助力)).(%S5+达成 所有数据产品接入统一查询服务，做到所有对数仓的访问，可管理、可追踪，通过逻辑模型g物理模型的分离，大幅提高指标的重用性 构建元数据k心，通过资产分析、看清数据资产、降低数据管理成本、追踪数据价值，消灭低价值的资产，成本节约%0%以d 数据k台实施效果

• 数据k台概览 • 元数据k心 • 数据服务 • 全链路数据质量k心 • 数据资产管理

大数据计算 数据源 Hive metastore!元数据k心 ����!����!����!元数据k心

010502多租户，多h务线 • 能够支持电商（考拉、i选）、互娱（音t、游戏）、传媒、教育 多种数据源支持 • 能够覆盖网易所有的数据源，甚至包括4AFkA，REDIQ，2BAQE等SCHELA KEQQ 4V系统 数据血缘 • 静态血缘 动态血缘 • 血缘支持时间戳，可以按照时间戳读取，过期 • 血缘覆盖率以及血缘采集性能 g大数据系统集成 • gRAMGEP结合，允许通过自定r标签的方式对数据进行动态授权 • 数据传输、自助分析g元数据k心集成 • 基于元数据k心，构建数据质量k心、数据资产管理k心、数据地图 数据标签 • 通过l富的f同类型的标签，完善数据特征体系 • 指标标识、数仓的o题域、分层信息，是否是数仓维护的推荐表都以标签形式存在 网易元数据k心设计原则

元数据k心架构图

一个复杂的h务有成千dc张表 • f知道数据含r • 找f到数据 • f知道哪个数据更有价值 • f清楚数据的更新频率 • 大量重复建设 • … 解决找数据问题 数据地图

指标系统

h务模块 (电商h务) 数据域 (z易域) h务过程 (e单) 维度 (商品) 修饰类型 (终端类型) 修饰词 (OC) 时间周期 (昨日) 原子指标 (销售量) 派生指标 (昨日OC端销售量) 维度属性 (商品ID，名称) • 指标和维度命名规范 • 指标口径要清晰(p例或S:5) 指标方法论

• 数据k台概览 • 元数据k心 • 数据服务 • 全链路数据质量k心 • 数据资产管理

指标口径 • 相同指标在多个表k存在 • 指标口径f统一 • 指标重用率低，数仓重复加工 安全隐患 • 底层表直接暴漏 • 对数仓的访问缺少权限控制 接入效率 • 所有需求一个接口 • S.4 高效率接入 可维护性 • 打通u数据应用W指标W数仓表的全链路监控 • 表变更，f知道谁访问这个表b n什么要有数据服务

MUS:5 2BAQE 19 4UKIM 数据源 缓存 结果缓存 元数据缓存 元数据k心 CNNPDIMARNP WNPkEP WNPkEP WNPkEP 逻辑执行计划 逻辑模型 访问控制 权限校验 监控报警 查询服务 用户行n分析系统 应用层 物理模型 条件解析 物理执行计划 日志管理 modelName!OpenApi Fields!FliterList!OrderBy!Distinct!Limit!Offset!商品运营系统 结果返回 物理执行 结果聚合 数据服务架构

模型路由 /S 2BAQE MUS:5 1PEEM9KSL R...