通用知识图谱构建与应用-腾讯会员免费

通用知识图谱构建与应用腾讯 - QQ浏览器 - 知识图谱团队分享人：荆宁

DataFunTalk2个人介绍l毕业于中国科学技术大学，随后加入腾讯，先后参与了腾讯海量分布式文件系统、手机QQ浏览器小说和大数据相关研发工作，从17年初开始负责构建QQ浏览器通用知识图谱。l目前主要负责图谱构建技术方向，并主导PCG知识图谱中台的建设相关工作。关于我

DataFunTalk3分享背景在整体介绍知识图谱技术之上，重点分享我们在图谱构建和应用上的一些落地实践经验。以期抛砖引玉，对大家构建和应用图谱有所启发。J

DataFunTalk4分享大纲通用图谱构建与应用背景介绍图谱构建存储检索123应用探索4图谱中台5

DataFunTalk5背景介绍l 什么是知识图谱？知识图谱是人工智能的底层技术，让机器学会“思考”l 有什么用？2012年由Google提出，是一张由知识点（实体/概念）相互连接而成的语义网络。•知识结构化表示•点：表示知识点•边：表示知识点之间关系知识图谱统计逻辑知识图谱让机器理解世界

DataFunTalk6背景介绍-QQ浏览器通用图谱简介资源**亿实体**百个领域类型**十亿知识三元组聚合实体信息高效满足用户的搜索需求根据普适问答需求，直接给出权威的确定答案通用知识图谱实体卡片实体问答智能音箱图文标签其他应用阅文小说腾讯音乐腾讯视频搜狗百科……应用数据覆盖BG：**个BG使用部门： **个应用业务： **个API日调用： **亿•覆盖**百个数据源，百科、豆瓣、时光网等主要垂类站点•整合腾讯优势内容

DataFunTalk7背景介绍-QQ浏览器通用图谱简介融合管理清洗管理schema管理数据看板人工干预内容理解腾讯叮当精准问答实体卡片服务层应用层……实体链接知识表示算子服务实体检索存储层正排库图数据库索引库图引擎计算层清洗对齐实体对齐实体分类属性抽取推理计算关系挖掘新热发现概念抽取运营平台数据层垂类站点CP合作数据百科站点内部FT数据数据接入数据爬取……系统概览规则管理数据评估

DataFunTalk8分享大纲通用图谱构建与应用背景介绍图谱构建存储检索123应用探索4图谱中台5

DataFunTalk9整体思路整合百科+垂类站点+腾讯优势内容，使用自动化构建方式从上到下构建开放领域通用知识图谱！ü 应用场景多：搜索、推荐、内容理解、智能音箱ü 领域覆盖全：影视、人物、小说、游戏、软件等ü 质量要求高：TOP1问答、搜索卡片ü 规模和成本：快速构建、低成本、大规模规模成本质量领域多实体全数据准服务稳人力省更新快从上到下 vs 从下到上构建思路开放领域 vs 垂直领域建设类型百科站点 vs 垂类站点数据来源人工构建 vs 自动构建构建方式

DataFunTalk10构建系统-构建流程异构数据同构数据规整数据消岐数据实体属性 (点)Schema对齐百科：1961年9月27日出生香港时光网：1961-9-27 中国香港刘德华出生日期: 1961年9月27日出生地: 香港来源: 百科出生日期: 1961-9-27出生地: 中国香港来源: 时光网出生日期: 1961年9月27日出生地: 香港来源: 百科出生日期: 1961年9月27日出生地: 香港来源: 时光网刘德华(明星)百科: 刘德华刘德华(老师)时光网: 刘德华百科: 刘德华(清华大学教授)刘德华出生日期朱丽倩妻子作品《冰雨》1961年9月27日出生地香港属性择优实体对齐数据清洗获取数据爬取接入百科：1961年9月27日出生香港时光网：1961-9-27 中国香港刘德华实体数据 (点+边)刘德华出生日期朱丽倩妻子作品《冰雨》1961年9月27日出生地香港关系建设

DataFunTalk11构建系统-系统设计配置平台构建流程算法组件构建流程算法可插拔知识抽取V1知识抽取V2周期构建不定期迭代算法MDB交互控制信息Hive交互数据来源管理Schema管理清洗映射推理规则⋯⋯知识抽取实体分类实体消歧实体建边……接入解析分类对齐数据清洗实体对齐属性融合关系建设校验出库处理框架高性能流批一体容错性好中间存储高吞吐成本低格式化数据检索高性能易扩展全文索引分层设计，功能模块化水平扩展，通用化算法可插拔，升级透明低成本易维护

DataFunTalk12构建系统-系统特色实时数据实时构建亿级实体万级实体百级实体秒级时延小时级时延天级时延实时数据部分数据快速构建部分实体全量数据离线构建全量...